AIM-Decision: Jev contro Kev contro gli LLM
I decision model, chiamati anche System One model,1 assegnano un punteggio a un insieme fisso di opzioni invece di generare testo token per token. Abbiamo testato 22 decision model su 1.655 domande di classificazione, come la valutazione di una falla di sicurezza o di un richiamo di prodotto, e ne abbiamo eseguiti 19 su 50 attività browser.
Risultati del benchmark di classificazione
- decider-12b ha ottenuto 46.4 sulle falle di sicurezza e 62.4 sui richiami, a $0,06 per 1.000 decisioni. Nessun decision model ha ottenuto un punteggio significativamente più alto in nessuna delle due attività.
- Jev 1.13 è costato $0,039 per 1.000 decisioni e ha ottenuto 47.9, circa un punto sotto Kev-9B e Nimble 9B, che costano circa 7 e 9 volte di più.
- Eikos-27B, con 27 miliardi di parametri, è costato $0,075 per 1.000 decisioni. Tev1 4B, con 4 miliardi, è costato $0.34.
- GLiDE ha ottenuto 46.5 sulle falle di sicurezza contro 46.4 di decider-12b, ma ha impiegato 15,7 secondi per decisione contro 0.13 ed è costato $0,48 per 1.000 decisioni. Clef ha registrato una media di 51.0 a $0,17 tramite l'API di Cloudflare.
Tassi di successo dell'automazione browser
Un tentativo per attività; gli LLM sono stati eseguiti con l'impostazione a basso sforzo di ragionamento della loro API.
- Solar Decide, Nimble 9B e i due model Tev1 non sono classificati: i loro servizi accettano al massimo 26 opzioni per domanda e 17 delle 50 attività si aprono su una pagina che ne contiene di più. Anche Laya non è classificata, perché i limiti di input hanno rifiutato richieste che gli altri model hanno ricevuto per intero.
- Kev-27B ha completato 40 attività, due in meno di Gemini 3.8 Flash e sette in meno di GPT-6 Astra, a un costo stimato di $0,006 per attività completata contro $0,026 per Gemini e $0,226 per Astra.
- I decision model insieme hanno completato 44 delle 50 attività, incluse due delle tre in cui Astra ha fallito.
- decider-12b, primo nella classificazione, ha completato 16 attività browser; Kev-27B, che ha ottenuto un punteggio inferiore a Jev nella classificazione, ne ha completate 40.
Vedi 10 attività di esempio e il risultato di ogni model su Hugging Face e come abbiamo eseguito il benchmark nella metodologia.
Decision models contro gli LLM nelle attività browser
La maggior parte degli LLM scrive la risposta un token alla volta e ogni token costa calcolo e tempo. Per la maggior parte dei passi browser, l'agente sceglie solo un'operazione e un controllo sulla pagina.
Un decision model legge la pagina e le opzioni, assegna un punteggio a ciascuna opzione e restituisce quella più probabile. Restituisce una probabilità per ogni opzione invece di testo generato, quindi un passo non richiede un output lungo. Se i decision model diventano sufficientemente accurati, la stessa automazione potrebbe essere eseguita molto più velocemente e a una frazione del costo degli LLM.
I decision model, come li abbiamo serviti, restituiscono punteggi delle opzioni e nessun testo, quindi un text model separato, Mercury 2.5,2 scrive i valori digitati nei campi del modulo. Lo chiamiamo text helper ed era disponibile per ogni model.
Abbiamo eseguito ogni model sul runtime open-source jev-ultrafast di browser-use,3 che è stato creato per Jev 1.13 di TypeSafe.4 GPT-6 Astra funge da riferimento LLM di fascia alta e Gemini 3.8 Flash da riferimento a basso costo. Tutti i model sono elencati nella metodologia.
Cinque model sulla stessa attività
Su Wikipedia, ogni model tranne Laya ha digitato nella casella di ricerca, il text helper ha scritto “Ada Lovelace” e il model ha scelto il suggerimento giusto. Jev ha raggiunto l'articolo in 8,1 secondi, Gemini in 11.0, Astra in 18.9 e Kev-9B in 43.8. Laya ha dichiarato l'attività completata nella pagina principale senza eseguire alcuna azione.
L'attività di filtro richiede due menu a discesa e un pulsante di ricerca. Jev, Gemini e Astra hanno eseguito gli stessi quattro passi e hanno terminato in 4.6, 10.7 e 20,3 secondi. Laya ha fatto clic sul logo del sito e ha dichiarato l'attività completata. Kev-9B ha fallito questa attività nel benchmark e nella demo stava ancora facendo clic dopo 11 minuti, quindi è escluso da questa clip.
Le didascalie mostrano l'operazione e il target scelti da ciascun model e, per i decision model, la probabilità di quell'operazione. Le clip provengono da una demo eseguita separatamente a velocità 1×, non dal benchmark valutato, e ogni pagina finale è stata controllata con il correttore del benchmark.
Come hanno fallito i model
Jev e Kev-9B insieme hanno completato 26 attività distinte. Entrambi hanno completato le due attività di Wikipedia e l'attività del menu a discesa di Web Scraper, così come entrambi gli LLM. Su Books to Scrape, dove ogni attività passa da un elenco di categorie a una pagina di prodotto, Jev non ne ha completata nessuna delle sei e Kev-9B ne ha completate tre. Kev-27B, Eikos-27B e AutoJev-27B le hanno completate tutte e sei.
- Jev ha dichiarato l'attività bloccata in 24 dei suoi 33 fallimenti, 16 volte prima di intraprendere qualsiasi azione.
- Kev-9B ha eseguito una mediana di 9.5 azioni nelle attività fallite, contro 3 nelle attività completate. Dieci tentativi hanno raggiunto il limite di azioni o di chiamate di decisione e altri cinque sono stati fermati dopo che tre azioni consecutive hanno lasciato la pagina invariata.
- Kev-4B, dello stesso sviluppatore di Kev-9B, ha dichiarato l'attività bloccata alla prima decisione in 29 delle 50 attività.
- Kev-27B, Eikos-27B e GLiDE hanno fallito tutte sette attività in comune. Ne hanno dichiarate bloccate quattro, due ricerche di prodotto ScrapeMe e due attività Web Scraper, e nessuno dei tre ha completato la casella di controllo o il modulo della calcolatrice.
- GPT-6 Astra ha fallito 3 attività. Ha contrassegnato come bloccata un'attività di categoria ScrapeMe, ha continuato a digitare nello stesso campo della calcolatrice fino a essere fermato e, nell'attività del modulo T02, il text helper non ha restituito alcun valore valido dopo che Astra aveva compilato e inviato il modulo.
- Gemini 3.8 Flash ne ha fallite 8, incluso lo stesso esito T02. Quattro fallimenti hanno raggiunto la pagina corretta senza terminare, due sono stati fermati dal nostro controllo dei costi quando OpenRouter non ha riportato una tariffa e uno ha raggiunto il limite di azioni.
Perché alcuni model hanno ottenuto 0/50
GLiNER2.5-Decide
GLiNER2.5-Decide di Fastino5 ha dichiarato tutte le 50 attività completate troppo presto, 49 di esse alla prima decisione. Nelle 37 attività che condividono una pagina iniziale con un'altra attività, le sue probabilità di operazione differivano di non più di 6 punti tra gli obiettivi.
Fastino descrive GLiNER2.5-Decide come un classificatore per decisioni come instradamento dei ticket, intento, urgenza e se un agente ha terminato, e afferma che il model non ragiona. Il model è costruito per input fino a 512 token, ma accetta input più lunghi. Le nostre richieste al primo passo avevano una mediana di 1.915 token.
CLM-v0.1-8B
CLM-v0.1-8B di Contrastive-LM6 ha scelto di attendere in 2.199 delle sue 2.288 decisioni di operazione, quindi 36 tentativi hanno esaurito le azioni. Nelle stesse pagine iniziali, le sue probabilità differivano al massimo di 13 punti tra gli obiettivi.
Contrastive-LM afferma che CLM-v0.1-8B, senza fine-tuning, ha prestazioni pari a Jev nelle attività di computer-use, gaming e tool-calling e che accetta il formato di richiesta di Jev senza modifiche.7 Gli abbiamo inviato richieste in quel formato.
Velocità e successo
Kev-27B, Eikos-27B e AutoJev-27B hanno completato dal 68% all'80% delle attività con una mediana di circa 7 secondi per tentativo, più velocemente di Gemini a 12,7 secondi e Astra a 17.4. decider-4b, decider-12b e Jev hanno impiegato da 2.5 a 4,2 secondi per tentativo e hanno dichiarato bloccate da 19 a 24 attività.
GLiDE ha completato il 72% con una mediana di 46,8 secondi per tentativo, il più lento di qualsiasi model, e 3 dei suoi tentativi hanno raggiunto il limite di 900 secondi.
GLiNER2.5-Decide (0,2 secondi) ha dichiarato 49 delle 50 attività completate alla prima decisione e Kev-4B ne ha dichiarate bloccate 29 alla prima.
Kev-9B ha impiegato una mediana di 38,3 secondi per tentativo, cinque volte Kev-27B. Ogni decisione di Kev-9B ha richiesto una mediana di 3,7 secondi di tempo server, contro circa 1 secondo per una chiamata completa all'API di Jev. L'overhead delle richieste ha aggiunto circa mezzo secondo.
Kev-9B ha registrato in media 26 decisioni per tentativo, contro circa 4 per Jev, e il 90% di esse è avvenuto nei tentativi falliti.
Costo
Costo dell'automazione browser
† Stima: costo A100 per token di input dal test di throughput di classificazione, moltiplicato per i token di input del browser, più le tariffe del text helper. Metodo nella metodologia.
‡ La cifra più alta aggiunge 17 richieste fallite senza token riportati, contate a 120.000 token di input ciascuna; Fastino potrebbe non addebitarle.
Astra, Gemini e Jev hanno usato ciascuno da 3.150 a 3.470 token di input per decisione. Il prezzo di input di Astra è circa 240 volte quello di Jev.89
Con ragionamento basso, Astra ha prodotto 6.599 token di output in 307 decisioni, contro 968.376 token di input. Il prezzo di output di Jev è $0.
Al prezzo di input di Jev, i 968.376 token di input delle decisioni di Astra sarebbero costati circa $0,04 invece di $9.68. Kev-27B è arrivato a sette attività da Astra per una stima di $0,25 nelle 50 attività, contro i $10,63 di Astra.
In base a queste stime, ogni decision model nella tabella che ha completato un'attività, eccetto Kev-9B, è costato meno per attività completata rispetto a Gemini. Nessuno è costato meno di Jev.
- Kev-9B è costato circa 3 volte Gemini e 46 volte Jev per attività completata. Il suo costo A100 stimato è stato di circa $0,47 per milione di token di input, 11 volte il prezzo dell'API di Jev, e ha preso 1.321 decisioni contro le 185 di Jev.
- Il costo GPU stimato per token di Kev-4B è stato circa 6.5 volte il suo prezzo su OpenRouter.
Il tempo A100 che abbiamo noleggiato per l'esecuzione di Kev-9B, 3.32 ore incluse configurazione e tempi di inattività, è costato circa $5.31. Una tariffa di Jev e due di Gemini non sono state registrate e mancano dalla tabella.
Costo della classificazione
I hosted model sono prezzati ai prezzi di listino delle loro API, tranne Solar Decide alle tariffe fatturate. I local model sono prezzati per 1.000 decisioni al throughput più alto che abbiamo misurato su una A100 noleggiata.
Una A100 noleggiata costa circa $40 al giorno, occupata o inattiva. Al ritmo che abbiamo registrato, $40 acquistano circa un milione di decisioni di Jev.
Aggiungi come fonte preferitaAddestramento dei decision model
Abbiamo sottoposto a fine-tuning Kev-9B e Laya sulle decisioni che GLM-5.3-Flash, il labeling model, ha preso nelle attività browser di otto siti web esterni al benchmark. Poi abbiamo eseguito nuovamente le 50 attività. Ogni model sottoposto a fine-tuning è confrontato con la sua versione stock, eseguita lo stesso giorno e sullo stesso hardware.
Il Kev sottoposto a fine-tuning e le due Laya versioni sono su Hugging Face.
p deriva da un test appaiato sulle stesse 50 attività (McNemar esatto) e un p inferiore a 0.05 è considerato significativo. Il Kev stock ha completato 21 attività in questo confronto, una in più rispetto ai risultati sopra. Uno dei 12 guadagni di Kev, C02, è stato un timeout del browser nell'esecuzione stock piuttosto che un fallimento del model. Senza di esso, Kev ha guadagnato 11 attività e ne ha persa 1 (p = 0.006).
- Il Kev sottoposto a fine-tuning ha guadagnato attività su sei dei nove siti web, tre ciascuno su Quotes to Scrape e Scrape This Site. I suoi risultati su Web Scraper, Wikipedia e i moduli TestPages non sono cambiati.
- Il Kev sottoposto a fine-tuning ha terminato 5 tentativi bloccati contro 12 e ha raggiunto il limite di azioni 6 volte contro 11. Ha dichiarato completata un'attività non finita 7 volte, contro 4.
- Su 41 attività dei siti di addestramento tenute fuori dall'addestramento, Kev ne ha completate 21 contro 13 in precedenza. Su 101 decisioni singole di 19 di quelle attività, ha scelto l'operazione del labeling model nel 94% dei casi, contro il 62% precedente.
- Il primo fine-tuning di Laya ha scelto l'operazione del labeling model nel 75% delle 88 decisioni che poteva leggere, contro il 19% della Laya stock. Ha dichiarato completata un'attività su una pagina che richiedeva ancora un'azione 2 volte invece di 53.
- Nel benchmark, il primo fine-tuning di Laya ha dichiarato completata un'attività non finita 36 volte, una volta prima di intraprendere qualsiasi azione. La Laya stock lo ha fatto 32 volte, 17 delle quali prima di qualsiasi azione.
Casi d'uso dei decision model
- Verifica del segnale di completamento di un agente. Sull'ultima pagina vista da un agente browser prima di dichiarare completata un'attività, 13 dei 22 decision model hanno ottenuto un punteggio superiore a 90 nel distinguere completato da non completato, e AutoJev-27B, Clef e Kev-27B hanno ottenuto 99.5. Non abbiamo testato i controlli su pagine precedenti di un'esecuzione.
- Triage con etichette fisse, come la valutazione di avvisi di sicurezza o richiami. decider-12b ha superato le risposte casuali di 21 punti sulla gravità e di 29 sui richiami. Sugli argomenti dei paper, un classificatore a parole chiave addestrato su 28.595 paper etichettati ha ottenuto 70.4 e nessun decision model ha ottenuto un punteggio significativamente più alto; lo stesso tipo di classificatore ha ottenuto punteggi quasi casuali su gravità e richiami.
- Scegliere ogni azione nell'automazione browser. Il miglior decision model, Kev-27B, ha completato 40 delle 50 attività, contro 42 e 47 per i due LLM. Il fine-tuning di Kev-9B su 606 decisioni di altri siti web lo ha portato da 21 a 32.
Nelle due principali attività di classificazione, i local decision model sono costati circa da $0,014 a $0,36 per 1.000 decisioni su una singola GPU noleggiata e hanno impiegato in media meno di un secondo per decisione. Nelle attività browser, il prezzo di input di Jev è stato circa 1/240 di quello di GPT-6 Astra.
Ogni risposta include anche una probabilità per opzione, che un'applicazione potrebbe usare per passare i casi incerti a un LLM. Non abbiamo testato quanto queste probabilità corrispondano all'accuratezza effettiva. Diciassette dei 22 model sono stati eseguiti su una singola GPU noleggiata; Jev, Solar Decide, GLiDE, Clef e Clef-Flash sono API ospitate.
Metodologia
Benchmark di automazione browser
Tutti i model hanno usato lo stesso runtime browser jev-ultrafast. A ogni passo, ha trasformato la pagina corrente in testo della pagina più un elenco numerato di controlli visibili. Il model ha scelto un'operazione, come clic, digitazione, selezione, completato o bloccato, e un target da quell'elenco. Il runtime ha eseguito l'azione e ha riletto la pagina.
I decision model classificano le opzioni fornite e non restituiscono testo. Quando un model sceglieva di digitare, il text helper scriveva il valore nel campo del modulo. Ogni tentativo partiva da una nuova sessione browser.
GPT-6 Astra, Gemini 3.8 Flash, Jev, Kev-9B e Laya sono stati eseguiti il 22 settembre 2026, con il browser su un Mac e Kev-9B su una A100 GPU noleggiata.
GLiNER2.5-Decide e CLM-v0.1-8B sono stati eseguiti il 25 settembre su GPU RTX 4090 noleggiate con Chrome su Linux. Kev-4B è stato eseguito il 29 settembre su una GPU RTX A6000 noleggiata. Solar Decide è stato eseguito il 30 settembre tramite OpenRouter dallo stesso Mac, e Nimble 9B e i due model Tev1 sono stati eseguiti lo stesso giorno tramite Ollama 0.35.0 su una GPU RTX A6000 noleggiata con Chrome su Linux.
GLiDE, Clef e Clef-Flash sono stati eseguiti il 2 ottobre tramite le API dei loro provider dallo stesso Mac, con Chrome 154 invece di 153. Kev-27B, AutoJev-27B, Eikos-27B, Eikos-4B, decider-4b e decider-12b sono stati eseguiti il 2 e 3 ottobre su GPU A100 noleggiate con Chrome su Linux.
Nessuna richiesta è stata accorciata per adattarsi a un model. L'API di Solar Decide e Ollama accettano da 2 a 26 opzioni per domanda. Una richiesta fuori da quei limiti ha terminato il tentativo, come hanno fatto le richieste troppo grandi per Laya. Ollama accetta le descrizioni delle opzioni solo come testo, quindi le opzioni strutturate sono state inviate come testo JSON compatto. Tev1 viene fornito con un contesto di 2.050 token; lo abbiamo portato a 8.194, l'impostazione di Nimble, in modo che le pagine non venissero tagliate.
Il servizio di Cloudflare legge solo i primi 2.048 token del testo della pagina per Clef e Clef-Flash. Non abbiamo inviato pagine più lunghe, cosa che ha terminato un tentativo per ciascun model.
Clef, Clef-Flash, decider ed Eikos richiedono almeno due opzioni per domanda. Una domanda con una sola opzione, come l'unico campo di testo di una pagina, è stata inviata con quell'opzione due volte e la risposta è stata ricondotta a essa.
Abbiamo eseguito Kev-9B con il codice di riferimento del produttore in precisione a 32 bit completa. Due pacchetti kernel opzionali che accelerano il model di base non sono stati installati, quindi il model è ricaduto sui kernel di riferimento più lenti. Non abbiamo testato una configurazione GPU più veloce.
Il codice di CLM trasforma ogni richiesta in testo. GLiNER ha ricevuto lo stesso testo, con l'obiettivo e le regole di ogni domanda come prompt. Kev-4B è anche servito su OpenRouter da SiliconFlow a precisione 8 bit.10 Eseguito tramite esso dal Mac il 29 settembre, Kev-4B ha completato 6 attività.
Model browser
Il ragionamento basso è un'impostazione di sforzo definita dal provider. Le 307 decisioni di Astra includevano 791 token di ragionamento riportati. Kev-9B11 e Kev-4B12 provengono dallo stesso sviluppatore e Nimble 9B è di Bespoke Labs.13 GLiDE proviene da Fastino, lo sviluppatore di GLiNER2.5-Decide,14 e Clef e Clef-Flash provengono da Cloudflare.15
Dataset
Le 50 attività coprono nove siti web: otto siti di pratica costruiti per scraping e test, più Wikipedia. Le attività includono navigazione nei cataloghi, ricerca, ordinamento, paginazione, opzioni di prodotto, moduli e ricerche di articoli. Ogni attività parte da una URL fissa e indica lo stato finale in una frase, per esempio “Passa a Science Fiction, trova Dune (Dune #1), apri i dettagli del prodotto e fermati.”
Prima dell'esecuzione dei model, una run scriptata ha completato tutte le 50 attività usando solo le azioni supportate dal runtime. Ogni attività è risolvibile senza password, CAPTCHA o il tasto Invio.
Attività di esempio
Dieci delle 50 attività sono pubblicate su Hugging Face con istruzioni, URL iniziale, condizioni di superamento e il risultato di ogni model. Le altre 40 sono trattenute per esecuzioni successive.
Valutazione
Un'attività è stata superata quando il model l'ha dichiarata completata entro i limiti e un controllo separato della pagina finale ha confermato ogni condizione: una URL finale accettata, i fatti dell'attività visibili sulla pagina, più di 100 caratteri di testo della pagina e una pagina completamente caricata.
Ogni tentativo aveva 900 secondi, 60 azioni browser e 120 chiamate di decisione. Gli errori delle API sono stati contati come fallimenti. Il tempo è misurato dalla prima pagina caricata al controllo finale.
I model non potevano vedere lo stato di caricamento della pagina richiesto dal controllo. Jev su B05 e Gemini su M04 hanno raggiunto il contenuto corretto ma hanno fallito solo quel controllo e sono conteggiati come fallimenti.
Costo
Il costo delle API copre le chiamate di decisione e il text helper, per tutti i 50 tentativi per model. OpenRouter ha riportato le tariffe per GPT-6 Astra, Gemini e Mercury. Il costo di Jev è dato dai token riportati al prezzo di listino del 22 settembre 2026: $0,042 per milione di token di input e nessun costo per l'output.4 Anche GLiDE, Clef e Clef-Flash sono prezzati ai prezzi di listino.
Le esecuzioni browser self-hosted hanno usato una A100, A6000, RTX 4090 o un Mac. Le prezziamo tutte sulla A100 dal test di costo della classificazione, a $1,673 l'ora: il costo per token di input di ciascun model, moltiplicato per i suoi token di input browser, più le tariffe del text helper.
Entrambi i carichi di lavoro sono quasi interamente input, perché questi model restituiscono punteggi di opzioni o pochi token. La stima presuppone che il costo cresca in proporzione ai token di input. Gli input browser erano in media da 2 a 12 volte la lunghezza delle domande di classificazione dello stesso model e non abbiamo eseguito le pagine browser attraverso il test di throughput.
Fine-tuning
Le 327 attività, 286 per l'addestramento e 41 tenute fuori, provengono da otto siti web non presenti nel benchmark, tra cui Demo Web Shop, Automation Exercise e Project Gutenberg. Ogni attività è stata verificata in un browser: la sua pagina iniziale non supera il correttore e, se l'attività termina su una URL diversa, quella pagina lo supera.
GLM-5.3-Flash, un open-weight model con licenza MIT,16 ha tentato 300 delle attività sul runtime del benchmark a ragionamento basso. Errori del provider gli hanno impedito di svolgere le altre 27. Non abbiamo usato GPT-6 Astra o Gemini per questo, perché i termini di OpenAI e Google vietano di usare il loro output per costruire model concorrenti.1718
Le 184 run di addestramento riuscite hanno prodotto 606 record di decisione. Una run è stata considerata riuscita quando il correttore l'ha promossa o quando ha raggiunto la pagina di prodotto giusta tramite la ricerca del sito e ha fallito solo il controllo esatto della URL, come hanno fatto 11 run in tutte le attività.
Il test a decisione singola ripete 103 decisioni registrate da 19 attività tenute fuori e conta quante volte un model sceglie l'operazione del labeling model. Kev poteva leggerne 101. Laya poteva leggerne 88 inviando solo le domande necessarie a ogni passo e 34 nella richiesta completa inviata dal benchmark. Su quelle 34, la Laya stock concordava il 29% delle volte, il primo fine-tuning il 71% e il secondo il 41%.
Entrambi i model sono partiti dai pesi stock che abbiamo valutato nel benchmark e hanno usato le ricette di addestramento dei produttori con i limiti di input del benchmark. Kev è stato addestrato anche per due epoche invece di una, senza i record di replay del produttore. Ogni run di addestramento ha richiesto meno di 20 minuti su una H100 GPU.
Il primo fine-tuning di Laya ha usato gli stessi 606 record, saltando quelli troppo lunghi per Laya. Il secondo ha mantenuto solo i 292 che entravano nella richiesta completa inviata dal benchmark e ha aggiunto 102 record dalle esecuzioni di Laya, in cui GLM-5.3-Flash subentrava dopo che Laya dichiarava un'attività completata o bloccata. Kev non ha avuto un secondo round.
La coppia di Kev e la prima coppia di Laya sono state eseguite su una H100 noleggiata in Francia, con Chrome su Linux. La seconda coppia di Laya è stata eseguita sul Mac del benchmark principale. Ogni coppia ha usato le 50 attività, il runtime, i limiti e il correttore del benchmark principale, con un tentativo per attività.
Benchmark di classificazione
Ogni elemento è una decisione con un insieme fisso di opzioni. Gli elementi provengono da record pubblicati da luglio a settembre 2026 e da istantanee non pubblicate di pagine finali delle nostre esecuzioni browser. Non si può escludere una sovrapposizione con l'addestramento.
Le prime tre attività chiedono a un model di riprodurre una decisione registrata da un'istituzione basandosi solo sul testo. GitHub e la FDA potrebbero aver usato prove che il testo non contiene. I livelli di gravità di GitHub sono i quattro livelli di CVSS, il sistema standard di valutazione delle vulnerabilità.19
Ogni model ha ricevuto le stesse istruzioni e definizioni delle opzioni per un'attività: le definizioni di classe della FDA, le fasce di gravità di GitHub, le descrizioni delle categorie di arXiv. L'ordine delle opzioni è stato mescolato per ogni elemento ed era lo stesso per ogni model. La gravità delle falle di sicurezza e il livello di pericolo dei richiami sono le attività principali, fissate prima di qualsiasi esecuzione; gli argomenti dei paper e il controllo di completamento delle attività sono supplementari.
Il punteggio è accuratezza bilanciata: il tasso di successo all'interno di ogni possibile risposta, mediato sulle risposte.
Un model che dà sempre la risposta più comune ottiene 25 sulla gravità, 33 sui richiami e 5 sugli argomenti dei paper. Il punteggio del grafico è la media delle due attività principali, dove quella risposta ottiene circa 29. Gli intervalli sono intervalli bootstrap al 95% che ricampionano insieme elementi correlati: avvisi per lo stesso pacchetto, richiami dello stesso evento di richiamo, pagine della stessa attività browser.
Due LLM, Qwen 3.8 Max e Claude Opus 5.5, hanno etichettato un campione di 350 elementi di test, 100 per attività e 50 pagine browser, senza vedere la risposta registrata.
Hanno concordato tra loro su 62 di 100 avvisi, 69 di 100 richiami, 84 di 100 paper e 49 di 50 pagine browser. Quando erano in disaccordo con il record su avvisi e richiami, erano per lo più fuori di un livello, verso i livelli intermedi. Hanno corrisposto alla gravità di GitHub su 55 e 56 di 100 avvisi.
Entrambi i giudici hanno dato la stessa risposta, diversa dal record, su 54 elementi. Abbiamo verificato i 53 record di GitHub, FDA e arXiv con la fonte in tempo reale e tutti corrispondevano, quindi nessuna etichetta è cambiata.
L'unica pagina browser era stata etichettata come completata perché il correttore contava almeno 40 recensioni sulla pagina completa, mentre l'istantanea vista dai model ne mostra circa nove. L'abbiamo rimossa insieme agli altri 48 elementi di attività completata la cui risposta dipendeva dal conteggio di 10 o più elementi, il che lascia 155.
I costi locali valgono per l'impostazione che abbiamo testato su quella GPU; un'altra configurazione server o un'altra GPU li cambierebbe. Tra la run valutata e la run di costo, CLM-v0.1-8B ha cambiato il 3,7% delle sue risposte, Shisa DE-1 il 2,2% e Tev1 0.8B l'1,2%, quindi i loro costi provengono da una configurazione che non riproduceva esattamente i loro punteggi. Gli altri 14 model locali sono cambiati sotto l'1%.
Eccezioni all'esecuzione di ciascun model come rilasciato:
- Laya è stata eseguita con un contesto di 8.192 token invece dei suoi 512 rilasciati (1.024 per typed-decisions), e Tev1 con 8.194 invece di 2.050, come nelle nostre esecuzioni browser.
- Dove il codice di Laya avrebbe tagliato un'opzione o un input lungo, il nostro connettore ha rifiutato la richiesta e un rifiuto conta come risposta errata. Ogni richiesta sugli argomenti dei paper è stata rifiutata perché le descrizioni degli argomenti sono più lunghe dei 48 token che Laya legge per opzione.
- Il contesto dell'encoder di CLM è stato portato da 2.048 a 16.384 token; GLiNER è stato eseguito oltre il suo input documentato di 512 token. Shisa ha usato un contesto di 32.768 token per adattarsi alla memoria della GPU.
- Non abbiamo potuto eseguire Decision-1.0-Lux-9B: il suo runtime esegue questo model solo su AMD (ROCm) GPU, mentre noi abbiamo usato una NVIDIA GPU.
- Together AI non aveva pubblicato una licenza per i pesi di Tev1 entro il 30 settembre 2026.
- Il servizio di Cloudflare legge solo i primi 2.048 token del testo dell'elemento per Clef e Clef-Flash, sebbene i model accettino 65.536. I 12 elementi più lunghi, 9 sulla gravità e 3 sui richiami, contano come risposte errate.
Limiti
Ogni model ha tentato ogni attività browser una sola volta, quindi una differenza di poche attività tra due model non indica quale sia migliore.
Le 50 attività provengono da nove siti web e le attività sullo stesso sito condividono i layout delle pagine. I model sono stati eseguiti su siti web live, che possono cambiare tra un'esecuzione e l'altra.
Il formato dei passi, un elenco di operazioni più elenchi di target, è stato creato inizialmente per Jev. Ogni model ha ricevuto lo stesso formato. Non abbiamo testato se un altro formato avrebbe cambiato i risultati. Laya è stata eseguita con limiti di input superiori alle impostazioni rilasciate, in modo che le pagine lunghe non venissero tagliate.
Nel benchmark di classificazione, ogni model ha risposto una sola volta a ogni elemento. Le risposte di GitHub e della FDA sono le decisioni registrate da quelle istituzioni, che possono basarsi su prove non contenute nel testo dell'avviso o del richiamo.
Cita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk},
title = {{AIM-Decision: Jev contro Kev contro gli LLM}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/decision-models}},
note = {AIMultiple. Consultato il 5 ottobre 2026}
}Risultati e timestamp di 251 punti dati. Scarica i dati di sintesi mostrati nei grafici e nelle tabelle di questo articolo come file ZIP contenente 10 file CSV e un README.
Vuoi i dati granulari che ci stanno dietro? Passa a Premium
Collegamenti di riferimento
Prossimo da leggere
Le 5 migliori piattaforme di threat intelligence a confronto
I migliori strumenti di gestione delle vulnerabilità
Benchmark delle piattaforme di agenti IA: Claude Managed Agents vs Google Vertex Agent Engine
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.