AIM-Decision: Jev contro Kev contro LLMs
I modelli decisionali, detti anche modelli System One,1 scelgono l’azione successiva di un agente in un unico passaggio invece di generare testo token per token. Per verificare se possono rendere l’automazione del browser più economica rispetto agli LLM, abbiamo eseguito tre modelli decisionali e due LLM, Gemini 3.8 Flash e GPT-6 Astra, sugli stessi 50 compiti del browser, per 250 tentativi in totale.
Tassi di successo dei modelli decisionali
Kev-9B ha completato 20 dei 50 compiti e Jev 1.13 ne ha completati 17. Laya non ne ha completato nessuno nella nostra integrazione, che è stata eseguita al di sopra dei suoi limiti di input dichiarati.
Abbiamo poi eseguito gli stessi 50 compiti con un LLM che sceglieva ogni azione. GPT-6 Astra ne ha completati 47 e Gemini 3.8 Flash 42, entrambi con l’impostazione di ragionamento basso delle loro API. Astra ha inoltre completato ogni compito portato a termine da Jev o Kev.
Vedi 10 compiti di esempio e il risultato di ogni modello su Hugging Face, e come abbiamo eseguito il benchmark nella sezione metodologia.
Modelli decisionali contro LLM
La maggior parte degli LLM scrive la propria risposta un token alla volta, e ogni token costa calcolo e tempo. Per la maggior parte dei passaggi del browser l’agente sceglie solo un’operazione e un controllo sulla pagina.
Un modello decisionale legge la pagina e le opzioni, assegna un punteggio a ciascuna opzione e restituisce quella più probabile. Restituisce una probabilità per ciascuna opzione invece di testo generato, quindi un passaggio non richiede un output lungo. Se i modelli decisionali diventassero sufficientemente accurati, la stessa automazione potrebbe essere eseguita molto più rapidamente e a una frazione del costo di un LLM.
I tre modelli decisionali non possono scrivere testo, quindi un modello di testo separato, Mercury 2.5,2 scrive i valori digitati nei campi del modulo. Lo chiamiamo helper di testo, ed era disponibile per ogni modello.
Abbiamo eseguito tutti e cinque i modelli sul runtime open-source jev-ultrafast di browser-use,3 creato per Jev. I tre modelli decisionali sono Jev 1.13 di TypeSafe,4 Kev-9B5 e Laya typed-decisions.6 GPT-6 Astra funge da riferimento LLM di fascia alta e Gemini 3.8 Flash come uno a basso costo.
Cinque modelli sullo stesso compito
Su Wikipedia, ogni modello tranne Laya ha digitato nella casella di ricerca, l’helper di testo ha scritto “Ada Lovelace”, e il modello ha scelto il suggerimento giusto. Jev ha raggiunto la voce in 8,1 secondi, Gemini in 11.0, Astra in 18.9 e Kev in 43.8. Laya ha dichiarato il compito concluso sulla pagina principale senza compiere alcuna azione.
Il compito di filtraggio richiede due menu a discesa e un pulsante di ricerca. Jev, Gemini e Astra hanno eseguito gli stessi quattro passaggi e hanno terminato in 4.6, 10.7 e 20,3 secondi. Laya ha fatto clic sul logo del sito e ha dichiarato il compito concluso. Kev non ha superato questo compito nel benchmark, e nella demo stava ancora cliccando dopo 11 minuti, quindi è stato escluso da questo filmato.
Le didascalie mostrano l’operazione e il target scelti da ciascun modello e, per i modelli decisionali, la probabilità di tale operazione. I filmati provengono da un’esecuzione demo separata a velocità 1×, non dal benchmark valutato, e ogni pagina finale è stata verificata con il valutatore del benchmark.
Risultati dei modelli decisionali
I compiti completati sia da Jev sia da Kev includono ricerche su Wikipedia, una selezione da menu a discesa, l’ordinamento di prodotti e una scheda prodotto. Entrambi hanno completato i due compiti Wikipedia e il compito del menu a discesa Web Scraper, così come entrambi gli LLM.
Ogni compito su Books to Scrape richiedeva di passare da un elenco di categorie a una pagina prodotto. Jev non ne ha completato nessuno dei sei e Kev tre.
Together, Jev e Kev hanno completato 26 compiti distinti.
Schemi di fallimento
- Jev ha dichiarato il compito bloccato in 24 dei suoi 33 fallimenti, 16 volte prima di intraprendere qualsiasi azione.
- Kev ha impiegato una mediana di 9.5 azioni nei compiti falliti, contro 3 nei compiti completati. Dieci tentativi hanno raggiunto il limite di azioni o di chiamate decisionali, e altri cinque sono stati interrotti dopo che tre azioni consecutive hanno lasciato la pagina invariata.
- Laya ha dichiarato il compito terminato prima di raggiungere l’obiettivo in 33 tentativi, 17 volte prima di compiere qualsiasi azione. Altri otto tentativi sono stati interrotti dopo tre azioni senza modifiche. Nove tentativi sono falliti quando il nostro connettore, il codice che inoltra ogni richiesta a Laya, ha rifiutato una domanda o un’opzione più lunga dei limiti di input di Laya.
Perché Laya ha ottenuto 0/50
Abbiamo testato due modifiche all’integrazione di Laya. In 24 richieste di test, l’invio di ciascuna domanda separatamente invece che in un unico batch ha prodotto output identici. Con una domanda sì/no separata per “l’obiettivo è già stato raggiunto?”, Laya ha superato al massimo 3 dei 12 scenari che richiedevano prima l’azione giusta e poi un segnale di completamento.
In tutti i 12 scenari, Laya ha assegnato alla pagina completata un punteggio più alto rispetto a quella non completata, ma gli intervalli di punteggio si sovrapponevano da uno scenario all’altro. Otto dei suoi 11 target errati ripetevano il valore o la pagina già visualizzati.
La versione di Laya che abbiamo utilizzato era addestrata per compiti di giudizio come ticket di assistenza, fatture e revisione di tracce degli agenti, non per la navigazione browser.6 Dopo il fine-tuning su compiti browser, Laya ha completato al massimo 3 dei 50, contro 0 per Laya stock lo stesso giorno (p = 0.25).
LLM risultati
GPT-6 Astra ha fallito 3 compiti. Ha contrassegnato come bloccato un compito di categoria ScrapeMe. In un modulo calcolatrice ha continuato a digitare nello stesso campo ed è stato fermato dopo che tre azioni hanno lasciato la pagina invariata. Il terzo è terminato con un errore dell’helper di testo.
Gemini 3.8 Flash ha fallito 8 compiti. Quattro di questi hanno raggiunto la pagina corretta ma non hanno terminato. Due sono stati fermati dal nostro meccanismo di salvaguardia dei costi quando OpenRouter non ha segnalato una tariffa, uno ha raggiunto il limite di azioni e uno è terminato con un errore dell’helper di testo.
Entrambi gli LLM hanno fallito il compito di modulo T02. Entrambi hanno compilato e inviato il modulo, ed entrambi i tentativi sono terminati quando l’helper di testo non ha restituito alcun valore valido.
Successo per sito web
Jev e Kev sono stati forti su siti diversi. Kev ha completato 6 degli 8 compiti Web Scraper e 3 dei 6 su Books to Scrape, dove Jev non ne ha completato nessuno. Jev ha fatto meglio su Quotes to Scrape (4 su 8) e Scrape This Site (3 su 6).
TestPages aveva tutti e quattro i compiti di modulo e il minor numero di completamenti. Kev ne ha completato uno e Jev nessuno. Per confronto, GPT-6 Astra ha completato ogni compito su sette dei nove siti web e due dei quattro compiti di modulo.
Ogni sito web ha da due a otto compiti, quindi questi conteggi valgono solo per questo insieme di compiti.
Velocità e successo
Jev è stato il più veloce, con una mediana di 4,2 secondi per tentativo, ma parte di quella velocità deriva dal fermarsi presto. Sedici dei suoi fallimenti sono terminati prima di qualsiasi azione. Nei 17 compiti completati da Jev, ha avuto una media di 5,4 secondi contro 12.5 per GPT-6 Astra sugli stessi compiti.
Gemini (12,7 secondi, 84%) e Astra (17,4 secondi, 94%) sono stati entrambi veloci e accurati. Laya ha impiegato 15,1 secondi per tentativo e non ha completato alcun compito.
Kev ha impiegato una mediana di 38,3 secondi per tentativo, per due motivi. Ogni decisione di Kev ha richiesto una mediana di 3,7 secondi di tempo GPU, contro circa 1 secondo per una chiamata API Jev completa. Abbiamo eseguito Kev con il codice di riferimento del produttore in precisione completa a 32 bit, e due pacchetti kernel opzionali che accelerano il suo modello base non erano installati, quindi il modello è ripiegato su kernel di riferimento più lenti. La rete ha aggiunto circa mezzo secondo.
Kev ha inoltre preso molte più decisioni, una media di 26 per tentativo contro circa 4 per Jev, e il 90% di esse è avvenuto nei tentativi falliti. Non abbiamo testato una configurazione GPU più veloce.
Aggiungi come fonte preferitaCosto
Astra, Gemini e Jev hanno utilizzato ciascuno da 3.150 a 3.470 token di input per decisione. Quindi è il prezzo per token, non la quantità letta, a determinare il divario di costo. Il prezzo di input di Astra è circa 240 volte quello di Jev.78
A basso ragionamento, Astra ha prodotto 6.599 token di output in 307 decisioni, contro 968.376 token di input. Il prezzo di output di Jev è $0.
Al prezzo di input di Jev, i 968.376 token di input delle decisioni di Astra sarebbero costati circa $0,04 invece di $9.68. Un modello decisionale che eguagliasse il tasso di successo di Astra al prezzo di Jev eseguirebbe la stessa automazione per una piccola frazione del costo degli LLM.
Kev e Laya non hanno sostenuto alcun costo decisionale per l’API. Il noleggio dell’A100 per Kev è costato circa $5,31 (3.32 ore a $1,60 all’ora), incluso il tempo di configurazione esterno alle esecuzioni valutate. Non abbiamo stimato un costo per il Mac che ha eseguito Laya. Una tariffa di Jev e due di Gemini non sono state registrate e mancano dalla tabella.
Addestramento dei modelli decisionali
Abbiamo effettuato il fine-tuning di Kev-9B e Laya sulle decisioni che GLM-5.3-Flash, il modello di etichettatura, ha preso su compiti browser di otto siti web esterni al benchmark. Poi abbiamo eseguito nuovamente i 50 compiti. Ogni modello sottoposto a fine-tuning è confrontato con la sua versione stock, eseguita nello stesso giorno e sullo stesso hardware.
Il modello Kev sottoposto a fine-tuning e entrambe le versioni di Laya sono su Hugging Face.
p deriva da un test appaiato sugli stessi 50 compiti (McNemar esatto), e un p inferiore a 0.05 è considerato significativo. Il Kev stock ha completato 21 compiti quel giorno, uno in più rispetto al benchmark principale. Uno dei 12 guadagni di Kev, C02, è stato un timeout del browser nell’esecuzione stock piuttosto che un errore del modello. Senza di esso, Kev ha guadagnato 11 compiti e ne ha perso 1 (p = 0.006).
- Il Kev sottoposto a fine-tuning ha guadagnato compiti su sei dei nove siti web, tre ciascuno su Quotes to Scrape e Scrape This Site. I suoi risultati su Web Scraper, Wikipedia e i moduli TestPages non sono cambiati.
- Il Kev sottoposto a fine-tuning ha terminato 5 tentativi bloccati contro 12 e ha raggiunto il limite di azioni 6 volte contro 11. Ha dichiarato concluso un compito non terminato 7 volte, contro 4.
- Sui 41 compiti dei siti di addestramento tenuti fuori dall’addestramento, Kev ne ha completati 21 contro 13 in precedenza. Su 101 singole decisioni di 19 di quei compiti, ha scelto l’operazione del modello di etichettatura il 94% delle volte, contro il 62% precedente.
- Il primo fine-tuning di Laya ha scelto l’operazione del modello di etichettatura sul 75% delle 88 decisioni che poteva leggere, contro il 19% di Laya stock. Ha dichiarato concluso un compito su una pagina che richiedeva ancora un’azione 2 volte invece di 53.
- Nel benchmark, il primo fine-tuning di Laya ha dichiarato concluso un compito non terminato 36 volte, una volta prima di compiere qualsiasi azione. Il Laya stock lo ha fatto 32 volte, 17 delle quali prima di qualsiasi azione.
Perché Laya è rimasta vicino allo zero
Il guadagno in decisioni singole del primo fine-tuning è dovuto principalmente allo scorrimento. Ha eguagliato 33 delle 47 decisioni di scorrimento verso il basso, dove Laya stock ne ha eguagliate 2 e ha risposto “fatto” su 38. Il secondo fine-tuning ha eguagliato 25 delle 88 decisioni e ha fatto clic su 33 dei 47 scorrimenti. Ha comunque completato 3 compiti del benchmark, più di qualsiasi altra versione di Laya.
Il test a decisione singola utilizza solo pagine delle esecuzioni riuscite del modello di etichettatura. Nel benchmark, 26 delle 36 dichiarazioni errate di completamento del primo fine-tuning sono arrivate dopo una o due azioni, su pagine che Laya ha raggiunto da sola.
Il nostro connettore rifiuta una richiesta quando una domanda o un’opzione supera i limiti di input di Laya. Su quattro degli otto siti di addestramento, meno della metà delle pagine registrate rientrava nei limiti. Complessivamente, 292 dei 606 record di addestramento rientrava. Il primo fine-tuning controllava la dimensione su una richiesta con solo le domande necessarie a ogni passaggio, quindi ha appreso anche da pagine che Laya non riceve mai in un’esecuzione reale.
Il secondo fine-tuning ha mantenuto solo quei 292 record e ne ha aggiunti 102 dalle esecuzioni di Laya. Quando Laya dichiarava concluso o bloccato un compito di addestramento, o raggiungeva 10 azioni, GLM-5.3-Flash subentrava sulla stessa pagina. Le sue decisioni successive diventavano etichette se l’esecuzione superava la verifica. In 14 dei nuovi record, Laya aveva dichiarato concluso il compito e GLM aveva fatto clic invece.
Prima di questo ciclo, abbiamo stabilito una regola per fermarci se un ciclo aggiungeva meno di 3 compiti svolti nel set di validazione rispetto al precedente. Il set di validazione contiene 20 nuovi compiti Automation Exercise che GLM ha completato su pagine tutte compatibili con l’input di Laya. Laya stock, il primo fine-tuning e una versione addestrata solo sui 292 record leggibili non ne hanno completato nessuno. Il secondo fine-tuning ne ha completato uno, quindi ci siamo fermati.
Laya ha ricevuto un secondo ciclo con dati dalle proprie esecuzioni, mentre Kev no. Le impostazioni di Kev erano fissate prima di qualsiasi esecuzione del benchmark, e il suo guadagno era già significativo. Il secondo ciclo di Laya si è addestrato su 394 record contro i 606 di Kev, e non abbiamo cercato altri siti con pagine brevi. Il risultato non mostra se più dati aiuterebbero Laya.
Metodologia
Tutti e cinque i modelli hanno utilizzato lo stesso runtime browser jev-ultrafast. A ogni passaggio, trasformava la pagina corrente in testo della pagina più un elenco numerato di controlli visibili. Il modello sceglieva un’operazione, come clic, digitare, selezionare, fatto o bloccato, e un target da quell’elenco. Il runtime eseguiva l’azione e rileggeva la pagina.
I tre modelli decisionali classificano le opzioni fornite e non possono scrivere testo. Quando un modello sceglieva di digitare, l’helper di testo scriveva il valore nel campo del modulo.
Ogni tentativo partiva in una nuova sessione del browser. Tutti e cinque i modelli sono stati eseguiti lo stesso giorno con gli stessi compiti, runtime e valutazione.
Modelli
Il ragionamento basso è un’impostazione di sforzo definita dal fornitore. Le 307 decisioni di Astra includevano 791 token di ragionamento dichiarati.
Dataset
I 50 compiti coprono nove siti web: otto siti di pratica creati per scraping e test, più Wikipedia. I compiti includono navigazione nel catalogo, ricerca, ordinamento, paginazione, opzioni prodotto, moduli e ricerche di voci. Ogni compito parte da un URL fisso e indica lo stato finale in una frase, ad esempio “Passa a Fantascienza, trova Dune (Dune #1), apri i dettagli del prodotto e fermati.”
Prima che i modelli venissero eseguiti, una esecuzione con script ha completato tutti i 50 compiti usando solo le azioni supportate dal runtime. Ogni compito è risolvibile senza password, CAPTCHA o tasto Invio.
Compiti di esempio
Dieci dei 50 compiti sono pubblicati su Hugging Face con le istruzioni, l’URL di partenza, le condizioni di superamento e il risultato di ogni modello. Gli altri 40 sono riservati per esecuzioni future.
Valutazione
Un compito è stato superato quando il modello lo ha dichiarato concluso entro i limiti e un controllo separato della pagina finale ha confermato ogni condizione: un URL finale accettato, i fatti del compito visibili sulla pagina, più di 100 caratteri di testo della pagina e una pagina completamente caricata.
Ogni tentativo aveva a disposizione 900 secondi, 60 azioni del browser e 120 chiamate decisionali. Gli errori dell’API sono stati considerati fallimenti. La tempistica va dal primo caricamento della pagina alla verifica finale.
I modelli non potevano vedere lo stato di caricamento della pagina richiesto dalla verifica. Jev su B05 e Gemini su M04 hanno raggiunto il contenuto corretto ma non hanno superato solo quella verifica, e vengono conteggiati come fallimenti.
Costo
La spesa per l’API comprende le chiamate decisionali e l’helper di testo, per tutti i 50 tentativi di ciascun modello. OpenRouter ha segnalato le tariffe per GPT-6 Astra, Gemini e Mercury. Il costo di Jev è basato sui suoi token dichiarati al prezzo di listino del 22 settembre 2026: $0,042 per milione di token in input e nessun costo per l’output.4 La stima per Kev non è stata confrontata con una fattura.
Fine-tuning
I 327 compiti, 286 per l’addestramento e 41 per la validazione, provengono da otto siti web che non sono nel benchmark, tra cui Demo Web Shop, Automation Exercise e Project Gutenberg. Ogni compito è stato verificato in un browser: la sua pagina iniziale non supera il valutatore e la sua pagina target lo supera.
GLM-5.3-Flash, un modello a pesi aperti con licenza MIT,9 ha tentato 300 dei compiti sul runtime del benchmark con ragionamento basso. Errori del fornitore gli hanno impedito di eseguire gli altri 27. Non abbiamo usato GPT-6 Astra o Gemini per questo, perché i termini di OpenAI e di Google vietano di utilizzare i loro output per costruire modelli concorrenti.1011
Le 184 esecuzioni di addestramento riuscite hanno prodotto 606 record di decisione. Un’esecuzione veniva considerata riuscita quando superava il valutatore. Su tutti i compiti, altre 11 esecuzioni sono state conteggiate perché hanno raggiunto la pagina prodotto giusta tramite la ricerca del sito e non hanno superato solo il controllo dell’URL esatto.
Il test a decisione singola riesegue 103 decisioni registrate da 19 compiti di validazione e conta quante volte un modello sceglie l’operazione del modello di etichettatura. Kev poteva leggerne 101. Laya poteva leggerne 88 quando riceveva solo le domande necessarie a ogni passaggio, e 34 nella richiesta completa inviata dal benchmark. Su quei 34, Laya stock concordava il 29% delle volte, il primo fine-tuning il 71% e il secondo il 41%.
Entrambi i modelli sono partiti dai pesi stock che abbiamo valutato e hanno usato le ricette di addestramento dei loro produttori con i limiti di input del benchmark. Kev si è inoltre addestrato per due epoche invece di una, senza i record di replay del produttore. Ogni esecuzione di addestramento ha richiesto meno di 20 minuti su una H100 GPU.
La coppia di Kev e la prima coppia di Laya sono state eseguite su una H100 a noleggio in Francia, con Chrome su Linux. La seconda coppia di Laya è stata eseguita sul Mac del benchmark principale. Ogni coppia ha usato i 50 compiti, il runtime, i limiti e il valutatore del benchmark principale, con un tentativo per compito.
Limitazioni
Ogni modello ha tentato ogni compito una sola volta, quindi i risultati non stimano l’affidabilità. Kev ha completato 20 compiti e Jev 17; una singola esecuzione non può dire se tale differenza si manterrebbe.
I 50 compiti provengono da nove siti web, e i compiti sullo stesso sito condividono i layout delle pagine. I modelli sono stati eseguiti uno dopo l’altro lo stesso giorno, e i siti live possono cambiare tra un’esecuzione e l’altra.
Il formato dei passaggi, un elenco di operazioni più elenchi di target, è stato creato inizialmente per Jev. Ogni modello ha ricevuto lo stesso formato. Non abbiamo verificato se un formato diverso avrebbe cambiato i risultati. Laya è stata eseguita con limiti di input superiori alle impostazioni rilasciate, in modo che le pagine lunghe non venissero troncate.
Cita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk},
title = {{AIM-Decision: Jev contro Kev contro LLMs}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/decision-models}},
note = {AIMultiple. Consultato il 5 ottobre 2026}
}Risultati e timestamp di 146 punti dati. Scarica i dati di sintesi mostrati nei grafici e nelle tabelle di questo articolo come file ZIP contenente 5 file CSV e un README.
Vuoi i dati granulari che ci stanno dietro? Passa a Premium
Collegamenti di riferimento
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.