AIM-Decision: Jev contro Clef contro LLMs
I modelli decisionali, chiamati anche modelli System One,1 valutano un insieme fisso di opzioni invece di generare testo token per token. Abbiamo testato 59 modelli decisionali su 1.655 domande di classificazione, come la valutazione di una vulnerabilità di sicurezza o di un richiamo di prodotto, e abbiamo eseguito 46 di essi su 50 attività browser. Vedi AIM System One Index per i risultati combinati.
Risultati del benchmark di classificazione
- decider-12b ha ottenuto 46.4 sulle vulnerabilità di sicurezza e 62.4 sui richiami, a $0,06 per 1.000 decisioni. Nessun modello decisionale ha ottenuto un punteggio significativamente più alto in nessuno dei due compiti.
- Jev 1.13 è costato $0,039 per 1.000 decisioni e ha ottenuto 47.9, circa un punto in meno di Kev-9B e Nimble 9B, che costano circa 7 e 9 volte di più.
- pplx-decider-v1.1-27b e Mercury Decide hanno ottenuto 48.7 e 48.1, sopra il 47.9 di Jev, a circa un terzo del suo costo.
- Eikos-27B, con 27 miliardi di parametri, è costato $0,073 per 1.000 decisioni. Tev1 4B, con 4 miliardi, è costato $0.34.
- Strands Decider 2B ha ottenuto 62.6 sui richiami, il punteggio più alto tra tutti i modelli, e 33.9 sulle vulnerabilità di sicurezza, dove le risposte casuali si attestano in media a 25.
- GLiDE ha ottenuto 46.5 sulle vulnerabilità di sicurezza contro il 46.4 di decider-12b, ma ha impiegato 15,7 secondi per decisione contro 0.13 ed è costato $0,48 per 1.000 decisioni. GLiDE v2 ha registrato una media di 49.0 nei due compiti in 0,47 secondi e a $0.10. Clef ha registrato una media di 51.0 a $0,17 tramite l'API di Cloudflare.
Tassi di successo dell'automazione del browser
Un tentativo per compito; gli LLMs sono stati eseguiti con l'impostazione a basso sforzo di ragionamento delle loro API.
- Solar Decide, Solar Decide Flash ed entrambe le versioni di Nimble 9B, Tev1 4B e Tev1 0.8B non sono classificati perché accettano al massimo 26 opzioni per domanda, e 17 dei 50 compiti si aprono su una pagina che ne ha di più. Anche Laya e Strands Decider 2B sono esclusi, perché i loro limiti di input hanno rifiutato richieste che gli altri modelli hanno ricevuto per intero.
- SubQ Snap ha completato 41 compiti, due in meno di Gemini 3.8 Flash e sei in meno di GPT-6 Astra. È costato circa $0,001 per compito completato, contro $0,025 per Gemini e $0,226 per Astra.
- I modelli decisionali insieme hanno completato 49 dei 50 compiti, compresi tutti e tre quelli falliti da Astra.
- decider-12b, primo nella classificazione, ha completato 16 compiti browser; Kev-27B, che ha ottenuto meno di Jev nella classificazione, ne ha completati 40. JEV-27B-VL, distillato da Jev 1,13 secondo la sua scheda modello,2 ha ottenuto 45.8 contro il 47.9 di Jev e ha completato 24 compiti browser contro i 18 di Jev.
Vedi 10 compiti di esempio e il risultato di ogni modello su Hugging Face, e come abbiamo eseguito il benchmark nella metodologia.
Modelli decisionali contro LLMs nelle attività browser
La maggior parte degli LLMs scrive la propria risposta un token alla volta, e ogni token costa calcolo e tempo. Per la maggior parte dei passaggi nel browser, l'agente sceglie soltanto un'operazione e un controllo sulla pagina.
Un modello decisionale legge la pagina e le opzioni, assegna un punteggio a ciascuna opzione e restituisce quella più probabile. Restituisce una probabilità per ogni opzione invece di testo generato, quindi un passaggio non richiede un output lungo. Se i modelli decisionali diventano sufficientemente accurati, la stessa automazione potrebbe essere eseguita molto più velocemente e a una frazione del costo degli LLM.
I modelli decisionali, per come li abbiamo eseguiti, restituiscono punteggi delle opzioni e nessun testo, quindi un modello testuale separato, Mercury 2.5,3 scrive i valori digitati nei campi del modulo. Lo chiamiamo assistente testuale ed era disponibile per ogni modello.
Abbiamo eseguito ogni modello sul runtime open-source jev-ultrafast di browser-use,4 creato per Jev 1.13 di TypeSafe.5 GPT-6 Astra funge da riferimento LLM di fascia alta e Gemini 3.8 Flash come modello a basso costo. Tutti i modelli sono elencati nella metodologia.
Cinque modelli sullo stesso compito
Su Wikipedia, ogni modello tranne Laya ha digitato nella casella di ricerca, l'assistente testuale ha scritto “Ada Lovelace” e il modello ha scelto il suggerimento corretto. Jev ha raggiunto la voce in 8,1 secondi, Gemini in 11.0, Astra in 18.9 e Kev-9B in 43.8. Laya ha dichiarato il compito concluso nella pagina principale senza compiere alcuna azione.
Il compito di filtro richiede due menu a discesa e un pulsante di ricerca. Jev, Gemini e Astra hanno compiuto gli stessi quattro passaggi e hanno terminato in 4.6, 10.7 e 20,3 secondi. Laya ha fatto clic sul logo del sito e ha dichiarato il compito concluso. Kev-9B ha fallito questo compito nel benchmark, e nella demo stava ancora cliccando dopo 11 minuti, quindi è escluso da questa clip.
Le didascalie mostrano l'operazione e l'obiettivo scelti da ciascun modello e, per i modelli decisionali, la probabilità di quell'operazione. Le clip provengono da un'esecuzione demo separata a velocità 1×, non dal benchmark valutato, e ogni pagina finale è stata controllata con il valutatore del benchmark.
Come hanno fallito i modelli
Jev e Kev-9B hanno completato insieme 26 compiti distinti. Entrambi hanno completato i due compiti di Wikipedia e il compito del menu a discesa di Web Scraper, così come entrambi gli LLMs. Su Books to Scrape, dove ogni compito passa da un elenco di categorie a una pagina di prodotto, Jev ne ha completato uno dei sei e Kev-9B tre. Kev-27B, Eikos-27B e AutoJev-27B li hanno completati tutti e sei.
- Jev ha dichiarato il compito bloccato in 24 dei suoi 32 fallimenti, 16 volte prima di compiere qualsiasi azione.
- Kev-9B ha compiuto una mediana di 9.5 azioni nei compiti falliti, contro 3 in quelli completati. Dieci tentativi hanno raggiunto il limite di azioni o chiamate decisionali, e altri cinque sono stati interrotti dopo che tre azioni consecutive avevano lasciato la pagina invariata.
- Kev-4B, dello sviluppatore di Kev-9B, ha dichiarato il compito bloccato alla prima decisione su 29 dei 50 compiti.
- Kev-27B, Eikos-27B e GLiDE hanno fallito sette compiti in comune. Ne hanno dichiarati bloccati quattro, due ricerche di prodotto ScrapeMe e due compiti Web Scraper, e nessuno dei tre ha completato la casella di controllo o il modulo della calcolatrice.
- GPT-6 Astra ha fallito 3 compiti. Ha contrassegnato un compito di categoria ScrapeMe come bloccato, ha continuato a digitare nello stesso campo della calcolatrice finché non è stato fermato, e nel compito modulo T02 l'assistente testuale non ha restituito alcun valore valido dopo che Astra aveva compilato e inviato il modulo.
- Gemini 3.8 Flash ne ha falliti 7, incluso lo stesso finale T02. Tre fallimenti hanno raggiunto la pagina corretta ma non hanno terminato, due sono stati fermati dal nostro controllo dei costi quando OpenRouter non ha riportato alcuna tariffa, e uno ha raggiunto il limite di azioni.
Perché alcuni modelli hanno ottenuto 0/50
GLiNER2.5-Decide
GLiNER2.5-Decide di Fastino6 ha dichiarato tutti i 50 compiti conclusi troppo presto, 49 dei quali alla prima decisione. Nei 37 compiti che condividono una pagina iniziale con un altro compito, le probabilità delle sue operazioni differivano al massimo di 6 punti tra gli obiettivi.
Fastino descrive GLiNER2.5-Decide come un classificatore per decisioni come l'instradamento dei ticket, l'intento, l'urgenza e se un agente ha terminato, e afferma che il modello non ragiona. Il modello è progettato per input fino a 512 token, ma accetta anche input più lunghi. Le nostre richieste al primo passaggio avevano una mediana di 1.915 token.
CLM-v0.1-8B
CLM-v0.1-8B di Contrastive-LM7 ha scelto attendere in 2.199 delle sue 2.288 decisioni operative, quindi 36 tentativi hanno esaurito le azioni. Nelle stesse pagine iniziali, le sue probabilità differivano al massimo di 13 punti tra gli obiettivi.
Contrastive-LM afferma che CLM-v0.1-8B, senza fine-tuning, offre prestazioni paragonabili a Jev nei compiti di uso del computer, gioco e chiamata di strumenti, e che accetta il formato di richiesta di Jev invariato.8 Gli abbiamo inviato richieste in quel formato.
Velocità e successo
Kev-27B, Eikos-27B e AutoJev-27B hanno completato dal 68% all'80% dei compiti, con una mediana di circa 7 secondi per tentativo, più velocemente di Gemini a 12,7 secondi e di Astra a 17.4. SubQ Snap, pplx-decider-v1.1-27b e Mercury Decide hanno completato dal 72% all'82% in 5.3 a 6,3 secondi.
decider-4b, decider-12b e Jev hanno impiegato da 2.5 a 4,2 secondi per tentativo e hanno dichiarato da 19 a 24 compiti bloccati.
GLiDE ha completato il 76% con una mediana di 46,8 secondi per tentativo, e 3 dei suoi tentativi hanno raggiunto il limite di 900 secondi. NeoHorse-Jev-4B è stato il più lento, con 78,6 secondi, e 15 compiti completati. GLiDE v2 ha completato il 72% con una mediana di 6,0 secondi.
GLiNER2.5-Decide (0,2 secondi) ha dichiarato 49 compiti su 50 conclusi alla prima decisione, e Kev-4B ha dichiarato 29 compiti bloccati alla prima.
Kev-9B ha impiegato una mediana di 38,3 secondi per tentativo, cinque volte Kev-27B. Ogni decisione di Kev-9B ha impiegato una mediana di 3,7 secondi di tempo server, contro circa 1 secondo per una chiamata completa all'API di Jev. Il sovraccarico della richiesta ha aggiunto circa mezzo secondo.
Kev-9B ha registrato una media di 26 decisioni per tentativo, contro circa 4 per Jev, e il 90% di esse è avvenuto nei tentativi falliti.
Costo
Costo dell'automazione del browser
† Stima: costo A100 per token di input, misurato sulle richieste browser del modello stesso con la GPU piena, moltiplicato per i token di input del browser, più le tariffe dell'assistente testuale. Metodo in metodologia.
‡ La cifra più alta aggiunge 17 richieste fallite senza token riportati, conteggiate a 120.000 token di input ciascuna; Fastino potrebbe non addebitarle.
Astra, Gemini e Jev hanno usato ciascuno da 3.150 a 3.470 token di input per decisione. Il prezzo di input di Astra è circa 240 volte quello di Jev.910
Con ragionamento basso, Astra ha prodotto 6.599 token di output in 307 decisioni, contro 968.376 token di input. Il prezzo di output di Jev è $0.
Al prezzo di input di Jev, i 968.376 token di input decisionale di Astra sarebbero costati circa $0,04 invece di $9.68. Kev-27B è arrivato a sette compiti da Astra per una stima di $0,24 nei 50 compiti, contro i $10,63 di Astra.
In base a queste stime, ogni modello decisionale nella tabella che ha completato un compito, tranne Celeris 1.1 Decision, Kev-4B, Kev-9B e NeoHorse-Jev-4B, costa meno per compito completato rispetto a Gemini. Nove modelli costano meno di Jev 1.13 per compito completato: Mercury Decide, Decider V1.2, pplx-decider-v1.1-27b, Span-02, Drex v1.5, SubQ Snap, H2O-Lightning-4B, Jev 1.14 e Drex v2.0. Mercury Decide costa meno di un terzo di quello di Jev.
- Kev-9B è costato circa 5 volte Gemini e 84 volte Jev per compito completato. Il suo costo A100 stimato è stato di circa $0,80 per milione di token di input, 19 volte il prezzo dell'API di Jev, e ha preso 1.321 decisioni contro le 185 di Jev.
- Il costo stimato per token della GPU di Kev-4B era circa 12.1 volte il prezzo su OpenRouter.
Il tempo A100 noleggiato per l'esecuzione di Kev-9B, 3.32 ore incluse configurazione e tempi morti, è costato circa $5.31. Una tariffa di Jev e due tariffe di Gemini non sono state registrate e mancano nella tabella.
Costo della classificazione
I modelli ospitati hanno il prezzo di listino delle loro API, tranne i modelli su OpenRouter, che sono prezzati in base alle tariffe fatturate da OpenRouter. Mercury Decide è stato eseguito sulla rotta gratuito di OpenRouter ed è prezzato al prezzo di listino della sua rotta a pagamento. I modelli self-hosted sono prezzati per 1.000 decisioni al throughput più alto misurato su una A100 noleggiata con la GPU piena.
Alla nostra tariffa di $1,673 all'ora, una A100 noleggiata costa circa $40 al giorno, occupata o inattiva. Alla tariffa registrata, $40 comprano circa un milione di decisioni Jev.
Aggiungi come fonte preferitaAddestramento dei modelli decisionali
Abbiamo eseguito il fine-tuning di Kev-9B e Laya sulle decisioni che GLM-5.3-Flash, il modello di etichettatura, ha preso nei compiti browser di otto siti web esterni al benchmark. Poi abbiamo eseguito nuovamente i 50 compiti. Ogni modello con fine-tuning è confrontato con la sua versione stock, eseguita nello stesso giorno e sullo stesso hardware.
Il modello Kev con fine-tuning e entrambe le versioni di Laya sono su Hugging Face.
p deriva da un test appaiato sugli stessi 50 compiti (McNemar esatto), e un p inferiore a 0.05 è considerato significativo. Kev stock ha completato 21 compiti in questo confronto, uno in più rispetto ai risultati sopra. Uno dei 12 guadagni di Kev, C02, è stato un timeout del browser nell'esecuzione stock piuttosto che un errore del modello. Senza di esso, Kev ha guadagnato 11 compiti e ne ha perso 1 (p = 0.006).
- Kev con fine-tuning ha guadagnato compiti su sei dei nove siti web, tre ciascuno su Quotes to Scrape e Scrape This Site. I suoi risultati su Web Scraper, Wikipedia e i moduli TestPages non sono cambiati.
- Kev con fine-tuning ha terminato con 5 tentativi bloccati contro 12 e ha raggiunto il limite di azioni 6 volte contro 11. Ha dichiarato concluso un compito non terminato 7 volte, contro 4.
- Su 41 compiti dei siti web di addestramento tenuti fuori dall'addestramento, Kev ne ha completati 21 contro 13 precedenti. Su 101 decisioni singole di 19 di quei compiti, ha scelto l'operazione del modello di etichettatura il 94% delle volte, contro il 62% precedente.
- Il primo fine-tuning di Laya ha scelto l'operazione del modello di etichettatura nel 75% delle 88 decisioni che poteva leggere, contro il 19% di Laya stock. Ha dichiarato concluso un compito in una pagina che richiedeva ancora un'azione 2 volte invece di 53.
- Nel benchmark, il primo fine-tuning di Laya ha dichiarato concluso un compito non terminato 36 volte, una volta prima di compiere qualsiasi azione. Laya stock lo ha fatto 32 volte, 17 delle quali prima di qualsiasi azione.
Casi d'uso dei modelli decisionali
- Controllo del segnale di completamento di un agente. Nell'ultima pagina vista da un agente browser prima di dichiarare concluso un compito, 41 dei 59 modelli decisionali hanno ottenuto un punteggio superiore a 90 nel distinguere concluso da non concluso, e AutoJev-27B, Clef, d1-ultra, Decision-2.0-Vega-27B e Kev-27B hanno ottenuto 99.5. Non abbiamo testato i controlli su pagine precedenti di un'esecuzione.
- Triage con etichette fisse, come la valutazione di avvisi di sicurezza o richiami. decider-12b ha ottenuto 21 punti sopra il livello del caso sulla gravità e 29 sui richiami. Sugli argomenti dei paper, un classificatore a parole chiave addestrato su 28.595 paper etichettati ha ottenuto 70.4, e nessun modello decisionale ha ottenuto un punteggio significativamente più alto; lo stesso tipo di classificatore ha ottenuto un risultato quasi casuale su gravità e richiami.
- Scegliere ogni azione nell'automazione del browser. SubQ Snap ha completato 41 dei 50 compiti, contro 43 e 47 per i due LLMs. Il fine-tuning di Kev-9B su 606 decisioni di altri siti web lo ha portato da 21 a 32.
Sui due principali compiti di classificazione, i modelli decisionali locali costano una stima di $0,007 a $0,57 per 1.000 decisioni su una GPU noleggiata, e tutti tranne NeoHorse-Jev-4B e Shisa DE-2 hanno una media inferiore a un secondo per decisione. Nei compiti browser, il prezzo di input di Jev era circa 1/240 di quello di GPT-6 Astra.
Ogni risposta include anche una probabilità per opzione, che un'applicazione potrebbe usare per passare i casi incerti a un LLM. Non abbiamo verificato quanto queste probabilità corrispondano all'accuratezza reale.
36 dei 59 modelli sono stati eseguiti su una singola GPU noleggiata; gli altri 23 sono API ospitate.
Metodologia
Benchmark di automazione del browser
Tutti i modelli hanno usato lo stesso runtime browser jev-ultrafast. A ogni passaggio, ha trasformato la pagina corrente in testo della pagina più un elenco numerato di controlli visibili. Il modello sceglieva un'operazione, come clic, digitazione, selezione, concluso o bloccato, e un obiettivo da quell'elenco. Il runtime eseguiva l'azione e rileggeva la pagina.
I modelli decisionali ordinano le opzioni fornite e non restituiscono testo. Quando un modello sceglieva di digitare, l'assistente testuale scriveva il valore nel campo del modulo. Ogni tentativo partiva da una sessione browser nuova.
Ogni modello è stato raggiunto tramite un'API; Kev-9B e Laya sono stati eseguiti con il browser su un Mac, in Chrome 153 fino al 30 settembre e Chrome 154 dal 2 ottobre. Gli altri modelli self-hosted sono stati eseguiti con Chrome su Linux sulla GPU noleggiata.
Nessuna richiesta è stata accorciata per adattarsi a un modello. Solar Decide, Solar Decide Flash e Ollama accettano da 2 a 26 opzioni per domanda. Una richiesta fuori da quei limiti terminava il tentativo, come avveniva per Laya con richieste sovradimensionate. Ollama accetta le descrizioni delle opzioni solo come testo, quindi le opzioni strutturate sono state inviate come testo JSON compatto. Tev1 viene distribuito con un contesto di 2.050 token; lo abbiamo portato a 8.194, l'impostazione di Nimble, così le pagine non venivano tagliate.
Classify-1 rifiuta le istruzioni strutturate, le descrizioni delle opzioni e lo stato della pagina che ricevono gli altri modelli, quindi in entrambi i benchmark le abbiamo inviate come testo JSON compatto.
Strands Decider 2B legge al massimo 4.096 token e ha rifiutato le pagine più lunghe, il che ha terminato 11 tentativi.
Il servizio di Cloudflare legge solo i primi 2.048 token del testo della pagina per Clef e Clef-Flash. Non abbiamo inviato pagine più lunghe, il che ha terminato un tentativo per ciascun modello.
Per 21 modelli, tra cui Clef, decider ed Eikos, una domanda con una sola opzione, come l'unico campo di testo di una pagina, veniva inviata con quell'opzione due volte e la risposta veniva riportata a essa. I loro servizi rifiutano le domande con una sola opzione.
Abbiamo eseguito Kev-9B con il codice di riferimento del produttore in precisione a 32 bit completa. Non abbiamo installato pacchetti kernel opzionali che accelerano il suo modello base, quindi il modello è passato ai kernel di riferimento più lenti. Non abbiamo testato una configurazione GPU più veloce.
Il codice di CLM trasforma ogni richiesta in testo. GLiNER ha ricevuto lo stesso testo, con l'obiettivo e le regole di ogni domanda come prompt. Kev-4B è servito anche su OpenRouter da SiliconFlow a precisione 8 bit.11 Eseguito tramite esso dal Mac il 29 settembre, Kev-4B ha completato 8 compiti.
GPT-6 Luna Decisions è servito anche su OpenRouter, che restituisce un errore per l'intera richiesta quando il modello rifiuta una domanda; l'API di OpenAI risponde alle altre domande.12 Tramite OpenRouter, Luna ha completato 1 compito, quindi i risultati sopra usano l'API di OpenAI.
Per Celeris 1.1 Decision, 4 dei 50 compiti browser hanno usato Mercury 3 come assistente testuale invece di Mercury 2.5. Celeris ha fallito tutti e quattro con entrambi gli assistenti.
Modelli browser
Il ragionamento basso è un'impostazione di sforzo definita dal provider. Le 307 decisioni di Astra includevano 791 token di ragionamento riportati. Kev-9B13 e Kev-4B14 provengono dallo stesso sviluppatore, e Nimble 9B è di Bespoke Labs.15 GLiDE proviene da Fastino, lo sviluppatore di GLiNER2.5-Decide,16 e Clef e Clef-Flash da Cloudflare.17
La scheda modello di MATILDA JEV v1.5 afferma che un addestramento precedente nella sua linea ha usato materiale correlato al benchmark.18
Dataset
I 50 compiti coprono nove siti web: otto siti di esercitazione creati per scraping e test, più Wikipedia. I compiti includono navigazione di cataloghi, ricerca, ordinamento, paginazione, opzioni di prodotto, moduli e ricerche di voci. Ogni compito parte da un URL fisso e indica lo stato finale in una frase, per esempio “Passa a Science Fiction, trova Dune (Dune #1), apri i dettagli del prodotto e fermati.”
Prima che i modelli venissero eseguiti, un'esecuzione scriptata ha completato tutti i 50 compiti usando solo le azioni supportate dal runtime. Ogni compito è risolvibile senza password, CAPTCHA o il tasto Invio.
Compiti di esempio
Dieci dei 50 compiti sono pubblicati su Hugging Face con istruzioni, URL iniziale, condizioni di superamento e il risultato di ogni modello. Gli altri 40 sono trattenuti per esecuzioni successive.
Valutazione
Un compito risultava superato quando il modello lo dichiarava concluso entro i limiti e un controllo separato della pagina finale confermava ogni condizione: un URL finale accettato, i fatti del compito visibili nella pagina, più di 100 caratteri di testo della pagina e una pagina completamente caricata.
Ogni tentativo disponeva di 900 secondi, 60 azioni browser e 120 chiamate decisionali. Gli errori delle API contavano come fallimenti. Il tempo va dal primo caricamento della pagina al controllo finale.
Il controllo legge la pagina finale dopo che ha terminato il caricamento.
Calcolo dei costi
Il costo delle API copre le chiamate decisionali e l'assistente testuale, per tutti i 50 tentativi per modello. OpenRouter ha riportato le tariffe per GPT-6 Astra, Gemini e Mercury 2.5. Il costo di Jev è dato dai token riportati al prezzo di listino del 22 settembre 2026: $0,042 per milione di token di input e nessun addebito per l'output.5 Anche GLiDE, Clef e Clef-Flash hanno i prezzi di listino.
GLiDE v2, GPT-6 Luna Decisions, SubQ Snap e Celeris 1.1 Decision sono prezzati ai prezzi di listino, e gli altri modelli decisionali su OpenRouter alle tariffe riportate da OpenRouter. Mercury Decide, eseguito sulla rotta gratuito, è prezzato al prezzo di listino della sua rotta a pagamento.
Le esecuzioni browser self-hosted hanno usato una A100, A6000, RTX 4090 o un Mac. Le prezziamo tutte su una A100 noleggiata a $1,673 l'ora. Abbiamo inviato nuovamente al modello le sue richieste browser con la GPU piena. Il costo di un modello nella tabella è il suo costo per token di input al throughput più alto, moltiplicato per i suoi token di input browser, più le tariffe dell'assistente testuale.
Entrambi i carichi di lavoro sono quasi interamente input, perché questi modelli restituiscono punteggi di opzioni o pochi token.
Fine-tuning
I 327 compiti, 286 per l'addestramento e 41 tenuti da parte, provengono da otto siti web che non sono nel benchmark, tra cui Demo Web Shop, Automation Exercise e Project Gutenberg. Ogni compito è stato controllato in un browser: la sua pagina iniziale non supera il valutatore e, quando il compito termina su un URL diverso, quella pagina lo supera.
GLM-5.3-Flash, un modello a pesi aperti con licenza MIT,19 ha tentato 300 dei compiti sul runtime del benchmark con ragionamento basso. Errori del provider gli hanno impedito di eseguire gli altri 27. Non abbiamo usato GPT-6 Astra o Gemini per questo, perché i termini di OpenAI e Google vietano di usare il loro output per costruire modelli concorrenti.2021
Le 184 esecuzioni di addestramento riuscite hanno prodotto 606 record di decisioni. Un'esecuzione era considerata riuscita quando il valutatore la approvava, o quando raggiungeva la pagina di prodotto giusta tramite la ricerca del sito e falliva solo il controllo esatto dell'URL, come hanno fatto 11 esecuzioni tra tutti i compiti.
Il test a decisione singola riproduce 103 decisioni registrate da 19 compiti tenuti da parte e conta quante volte un modello sceglie l'operazione del modello di etichettatura. Kev poteva leggerne 101. Laya poteva leggerne 88 quando le venivano inviate solo le domande necessarie a ogni passaggio, e 34 nella richiesta completa inviata dal benchmark. Su quelle 34, Laya stock concordava il 29% delle volte, il primo fine-tuning il 71% e il secondo il 41%.
Entrambi i modelli sono partiti dai pesi stock che abbiamo valutato e hanno usato le ricette di addestramento dei produttori con i limiti di input del benchmark. Kev si è addestrato anche per due epoche invece di una, senza i record di replay del produttore. Ogni esecuzione di addestramento ha richiesto meno di 20 minuti su una H100 GPU.
Il primo fine-tuning di Laya ha usato gli stessi 606 record, saltando quelli troppo lunghi per Laya. Il secondo ha mantenuto solo i 292 che rientrano nella richiesta completa inviata dal benchmark e ha aggiunto 102 record dalle esecuzioni di Laya, dove GLM-5.3-Flash subentrava dopo che Laya dichiarava un compito concluso o bloccato (73) o esauriva il suo budget di 10 azioni (29). Kev non ha avuto un secondo giro.
La coppia Kev e la prima coppia di Laya sono state eseguite su una H100 noleggiata in Francia, con Chrome su Linux. La seconda coppia di Laya è stata eseguita sul Mac del benchmark principale. Ogni coppia ha usato i 50 compiti, il runtime, i limiti e il valutatore del benchmark principale, con un tentativo per compito.
Benchmark di classificazione
Ogni elemento è una decisione con un insieme fisso di opzioni. Gli elementi provengono da record pubblicati da luglio a settembre 2026 e da istantanee non pubblicate di pagine finali delle nostre esecuzioni browser. Molti modelli sono stati rilasciati dopo la pubblicazione di questi record, quindi un modello potrebbe aver visto un elemento e la sua risposta registrata durante l'addestramento. Non possiamo verificare su cosa sia stato addestrato ogni modello.
I primi tre compiti chiedono a un modello di riprodurre una decisione registrata da un'istituzione basandosi solo sul testo. GitHub e la FDA potrebbero aver usato elementi non contenuti nel testo. I livelli di gravità di GitHub corrispondono alle quattro valutazioni sopra None nel CVSS, il sistema standard di valutazione delle vulnerabilità.22
Ogni modello ha ricevuto le stesse istruzioni e definizioni delle opzioni per un compito: le definizioni di classe della FDA, le fasce di gravità di GitHub, le descrizioni delle categorie di arXiv. L'ordine delle opzioni è stato mescolato per ogni elemento ed era lo stesso per ogni modello. La gravità delle vulnerabilità di sicurezza e il livello di pericolo dei richiami sono i compiti principali, fissati prima di ogni esecuzione; gli argomenti dei paper e il controllo di compito concluso sono supplementari.
Il punteggio è l'accuratezza bilanciata: il tasso di successo all'interno di ogni risposta possibile, mediato tra le risposte.
Un modello che dà sempre la risposta più comune ottiene 25 sulla gravità, 33 sui richiami e 5 sugli argomenti dei paper. Il punteggio del grafico è la media dei due compiti principali, dove quella risposta ottiene circa 29. Gli intervalli sono intervalli bootstrap al 95% che ricampionano insieme elementi correlati: avvisi per lo stesso pacchetto, richiami dello stesso evento di richiamo, pagine dello stesso compito browser.
Per verificare se qualche modello ha ottenuto un punteggio significativamente più alto di decider-12b, abbiamo estratto 1.000 di questi ricampionamenti, gli stessi per ogni modello, e abbiamo preso l'intervallo al 95% della differenza di ciascun modello in ogni compito principale; un modello è considerato superiore solo se quell'intervallo si trova sopra lo zero, senza correzioni per confronti multipli. Ogni modello è stato confrontato con il classificatore a parole chiave sugli argomenti dei paper nello stesso modo.
Due LLMs, Qwen 3.8 Max e Claude Opus 5.5, hanno etichettato un campione di 350 elementi di test, 100 per compito e 50 pagine browser, senza vedere la risposta registrata.
Hanno concordato tra loro su 62 dei 100 avvisi, 69 dei 100 richiami, 84 dei 100 paper e 49 delle 50 pagine browser. Dove erano in disaccordo con il record su avvisi e richiami, erano per lo più distanti di un livello, verso i livelli intermedi. Hanno corrisposto alla gravità di GitHub su 55 e 56 dei 100 avvisi.
Entrambi i giudici hanno dato la stessa risposta, diversa dal record, su 54 elementi. Abbiamo controllato i 53 record di GitHub, FDA e arXiv con la fonte live e tutti corrispondevano, quindi nessuna etichetta è cambiata.
L'unica pagina browser è stata etichettata come conclusa perché il valutatore contava almeno 40 recensioni sulla pagina intera, mentre l'istantanea che vedono i modelli ne mostra circa nove. L'abbiamo rimossa insieme agli altri 48 elementi di compito concluso la cui risposta dipendeva dal conteggio di 10 o più elementi, il che lascia 155.
I costi locali valgono per l'impostazione testata su quella GPU; un'altra impostazione del server o un'altra GPU li cambierebbero. Quando abbiamo misurato per il costo le prime versioni Ollama di Nimble 9B e dei modelli Tev1, Tev1 0.8B differiva dalla sua esecuzione valutata sull'1,2% delle domande, e Nimble 9B e Tev1 4B su meno dell'1%.
Con l'impostazione scelta, gli altri modelli self-hosted hanno corrisposto almeno al 98% delle risposte valutate, tranne Shisa DE-1 e Shisa DE-2. Variano da un'esecuzione all'altra anche una richiesta alla volta, quindi la loro soglia era il loro accordo una-alla-volta meno 2 punti percentuali; hanno corrisposto al 97,6% e al 96,4%. Sulle loro richieste browser, CLM-v0.1-8B, Shisa DE-2 e GEV-26B-Decide hanno corrisposto al 90,7%, 77,9% e 83,1% con la stessa regola.
Eccezioni all'esecuzione di ciascun modello come rilasciato:
- Laya Typed-Decisions è stato eseguito con un contesto da 8.192 token invece dei 1.024 rilasciati, e Tev1 con 8.194 invece di 2.050, come nelle nostre esecuzioni browser.
- Dove il codice di Laya avrebbe tagliato un'opzione o un input lungo, il nostro connettore rifiutava invece la richiesta, e un rifiuto conta come risposta errata. Ogni richiesta sugli argomenti dei paper è stata rifiutata perché le descrizioni degli argomenti sono più lunghe dei 48 token che Laya legge per opzione.
- Il contesto dell'encoder CLM è stato portato da 2.048 a 16.384 token; GLiNER è stato eseguito oltre il suo input documentato di 512 token. Shisa DE-1 ha usato un contesto da 32.768 token per rientrare nella memoria della GPU.
- d3, d3-flash, d3-mini, Decision-2.0-Vega-27B, Decision-1.0-Lux-9B e MATILDA JEV v1.5 sono stati eseguiti su una NVIDIA A100, che i produttori non hanno convalidato; i tre d3 e Decision-2.0-Vega-27B sono stati eseguiti senza i percorsi rapidi esclusivi AMD. JEV-27B-VL e GEV-26B-Decide sono stati eseguiti su vLLM 0.29.0; le loro schede modello indicano una build vLLM non rilasciata.
- NeoHorse-Jev-4B è stato eseguito tramite l'adattatore vLLM del produttore, perché il suo server rifiuta per impostazione predefinita il testo della pagina oltre i 2.048 token.
- APUS Reflex 35B-A3B accetta da 2 a 16 opzioni per domanda, quindi ha rifiutato tutte le 500 domande sugli argomenti dei paper (20 opzioni), che contano come risposte errate, e non ha eseguito i compiti browser.
- Together AI non aveva pubblicato una licenza per i pesi Tev1 entro il 30 settembre 2026.
- Il servizio di Cloudflare legge solo i primi 2.048 token del testo dell'elemento per Clef e Clef-Flash, sebbene i modelli ne accettino 65.536. I 12 elementi più lunghi, 9 sulla gravità e 3 sui richiami, contano come risposte errate.
Limitazioni
Ogni modello ha tentato ogni compito browser una volta, quindi una differenza di pochi compiti tra due modelli non mostra quale sia migliore.
I 50 compiti provengono da nove siti web, e i compiti sullo stesso sito condividono i layout di pagina. I modelli sono stati eseguiti su siti web live, che possono cambiare tra un'esecuzione e l'altra.
Il formato dei passaggi, un elenco di operazioni più elenchi di obiettivi, è stato creato inizialmente per Jev. Ogni modello ha ricevuto lo stesso formato. Non abbiamo verificato se un altro formato avrebbe cambiato i risultati. Laya è stato eseguito con limiti di input superiori alle impostazioni rilasciate, così le pagine lunghe non venivano tagliate.
Nel benchmark di classificazione, ogni modello ha risposto a ogni elemento una volta. Le risposte di GitHub e della FDA sono le decisioni registrate da quelle istituzioni, che potrebbero basarsi su elementi non contenuti nel testo dell'avviso o del richiamo.
Cita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk},
title = {{AIM-Decision: Jev contro Clef contro LLMs}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/decision-models}},
note = {AIMultiple. Consultato il 21 ottobre 2026}
}Risultati e timestamp di 392 punti dati. Scarica i dati di sintesi mostrati nei grafici e nelle tabelle di questo articolo come file ZIP contenente 10 file CSV e un README.
Vuoi i dati granulari che ci stanno dietro? Passa a Premium
Collegamenti di riferimento
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.