AIM-Decision: Jev contre Kev contre LLM
Les modèles de décision, également appelés modèles System One,1 choisissent la prochaine action d'un agent en une seule passe au lieu de générer du texte jeton par jeton. Pour voir s'ils peuvent rendre l'automatisation du navigateur moins chère que les LLM, nous avons exécuté trois modèles de décision et deux LLM, Gemini 3.8 Flash et GPT-6 Astra, sur les mêmes 50 tâches de navigateur, pour 250 tentatives au total.
Taux de réussite des modèles de décision
Kev-9B a terminé 20 des 50 tâches et Jev 1.13 a terminé 17. Laya n'en a terminé aucune dans notre intégration, qui fonctionnait au-dessus de ses limites d'entrée publiées.
Nous avons ensuite exécuté les mêmes 50 tâches avec un LLM choisissant chaque action. GPT-6 Astra a terminé 47 et Gemini 3.8 Flash 42, tous deux au réglage d'effort de raisonnement faible de leur API. Astra a également terminé chaque tâche que Jev ou Kev ont terminée.
Voir 10 tâches d'exemple et le résultat de chaque modèle sur Hugging Face, et comment nous avons exécuté le benchmark dans la méthodologie.
Modèles de décision contre LLM
La plupart des LLM écrivent leur réponse un jeton à la fois, et chaque jeton coûte du calcul et du temps. Pour la plupart des étapes de navigateur, l'agent choisit uniquement une opération et un contrôle sur la page.
Un modèle de décision lit la page et les options, note chaque option et renvoie la plus probable. Il renvoie une probabilité pour chaque option au lieu de texte généré, donc une étape n'a pas besoin d'une longue sortie. Si les modèles de décision deviennent suffisamment précis, la même automatisation pourrait s'exécuter beaucoup plus rapidement et à une fraction du coût d'un LLM.
Les trois modèles de décision ne peuvent pas écrire de texte, donc un modèle de texte séparé, Mercury 2.5,2 écrit les valeurs saisies dans les champs de formulaire. Nous l'appelons l'assistant de texte, et il était disponible pour chaque modèle.
Nous avons exécuté les cinq modèles sur le runtime open source jev-ultrafast de browser-use,3 qui a été construit pour Jev. Les trois modèles de décision sont Jev 1.13 de TypeSafe,4 Kev-9B5 et Laya typed-decisions.6 GPT-6 Astra sert de référence LLM haut de gamme et Gemini 3.8 Flash de référence à faible coût.
Cinq modèles sur la même tâche
Sur Wikipédia, tous les modèles sauf Laya ont tapé dans la zone de recherche, l'assistant de texte a écrit « Ada Lovelace », et le modèle a choisi la bonne suggestion. Jev a atteint l'article en 8,1 secondes, Gemini en 11.0, Astra en 18.9 et Kev en 43.8. Laya a déclaré la tâche terminée sur la page principale sans effectuer d'action.
La tâche de filtre nécessite deux listes déroulantes et un bouton de recherche. Jev, Gemini et Astra ont suivi les mêmes quatre étapes et ont terminé en 4.6, 10.7 et 20,3 secondes. Laya a cliqué sur le logo du site et a déclaré la tâche terminée. Kev a échoué à cette tâche dans le benchmark, et dans la démo, il cliquait encore après 11 minutes, il est donc exclu de cette séquence.
Les légendes montrent l'opération et la cible choisies par chaque modèle, et pour les modèles de décision, la probabilité de cette opération. Les clips proviennent d'une exécution de démonstration séparée à vitesse 1×, et non du benchmark noté, et chaque page finale a été vérifiée avec le correcteur du benchmark.
Résultats des modèles de décision
Les tâches que Jev et Kev ont toutes deux terminées incluent des recherches Wikipédia, une sélection dans une liste déroulante, le tri de produits et un onglet de produit. Tous deux ont terminé les deux tâches Wikipédia et la tâche de liste déroulante Web Scraper, tout comme les deux LLM.
Chaque tâche Books to Scrape nécessitait de passer d'une liste de catégories à une page de produit. Jev n'a terminé aucune des six et Kev en a terminé trois.
Together, Jev et Kev ont terminé 26 tâches distinctes.
Schémas d'échec
- Jev a déclaré la tâche bloquée dans 24 de ses 33 échecs, 16 fois avant d'effectuer une action.
- Kev a pris une médiane de 9.5 actions sur les tâches échouées, contre 3 sur les tâches qu'il a terminées. Dix tentatives ont atteint la limite d'actions ou d'appels de décision, et cinq de plus ont été arrêtées après que trois actions consécutives ont laissé la page inchangée.
- Laya a déclaré la tâche terminée avant d'atteindre l'objectif dans 33 tentatives, 17 fois avant d'effectuer une action. Huit autres tentatives ont été arrêtées après trois actions inchangées. Neuf tentatives ont échoué lorsque notre connecteur, le code qui transmet chaque requête à Laya, a rejeté une question ou une option plus longue que les limites d'entrée de Laya.
Pourquoi Laya a obtenu 0/50
Nous avons testé deux modifications de l'intégration de Laya. Sur 24 requêtes de test, envoyer chaque question séparément au lieu d'un seul lot a produit des sorties identiques. Avec une question oui/non distincte pour « l'objectif est-il déjà atteint ? », Laya a réussi au plus 3 des 12 scénarios qui nécessitaient d'abord la bonne action, puis un signal de fin.
Dans les 12 scénarios, Laya a noté la page terminée plus haut que celle non terminée, mais les plages de scores se chevauchaient d'un scénario à l'autre. Huit de ses 11 mauvaises cibles répétaient la valeur ou la page déjà à l'écran.
La version de Laya que nous avons utilisée a été entraînée pour des tâches de jugement telles que les tickets de support, les factures et la revue de traces d'agents, et non pour la navigation dans le navigateur.6 Après un fine-tuning sur les tâches de navigateur, Laya a terminé au plus 3 des 50, contre 0 pour Laya stock le même jour (p = 0.25).
Résultats LLM
GPT-6 Astra a échoué à 3 tâches. Il a marqué une tâche de catégorie ScrapeMe comme bloquée. Sur un formulaire de calculatrice, il a continué à taper dans le même champ et a été arrêté après que trois actions ont laissé la page inchangée. La troisième s'est terminée par une erreur de l'assistant de texte.
Gemini 3.8 Flash a échoué à 8. Quatre d'entre eux ont atteint la bonne page mais n'ont pas terminé. Deux ont été arrêtés par notre protection des coûts lorsque OpenRouter n'a pas signalé de frais, un a atteint la limite d'actions, et un s'est terminé par une erreur de l'assistant de texte.
Les deux LLM ont échoué à la tâche de formulaire T02. Tous deux ont rempli et soumis le formulaire, et les deux tentatives se sont terminées lorsque l'assistant de texte n'a renvoyé aucune valeur valide.
Succès par site web
Jev et Kev étaient forts sur des sites différents. Kev a terminé 6 des 8 tâches Web Scraper et 3 des 6 sur Books to Scrape, où Jev n'en a terminé aucune. Jev a fait mieux sur Quotes to Scrape (4 sur 8) et Scrape This Site (3 sur 6).
TestPages avait les quatre tâches de formulaire et le moins de réussites. Kev en a terminé une et Jev aucune. À titre de comparaison, GPT-6 Astra a terminé chaque tâche sur sept des neuf sites web et deux des quatre tâches de formulaire.
Chaque site web a entre deux et huit tâches, donc ces chiffres ne s'appliquent qu'à cet ensemble de tâches.
Vitesse et succès
Jev a été le plus rapide, avec une médiane de 4,2 secondes par tentative, mais une partie de cette vitesse vient de l'arrêt précoce. Seize de ses échecs se sont terminés avant toute action. Sur les 17 tâches que Jev a terminées, il a mis en moyenne 5,4 secondes contre 12.5 pour GPT-6 Astra sur les mêmes tâches.
Gemini (12,7 secondes, 84 %) et Astra (17,4 secondes, 94 %) étaient tous deux rapides et précis. Laya a mis 15,1 secondes par tentative et n'a terminé aucune tâche.
Kev a mis une médiane de 38,3 secondes par tentative, pour deux raisons. Chaque décision de Kev a pris une médiane de 3,7 secondes de temps GPU, contre environ 1 seconde pour un appel API Jev complet. Nous avons exécuté Kev avec le code de référence du producteur en précision 32 bits, et deux paquets de noyau optionnels qui accélèrent son modèle de base n'étaient pas installés, donc le modèle est retombé sur des noyaux de référence plus lents. Le réseau a ajouté environ une demi-seconde.
Kev a également pris beaucoup plus de décisions, en moyenne 26 par tentative contre environ 4 pour Jev, et 90 % d'entre elles sont survenues lors de tentatives échouées. Nous n'avons pas testé une configuration GPU plus rapide.
Ajouter comme source préféréeCoût
Astra, Gemini et Jev ont chacun utilisé entre 3 150 et 3 470 jetons d'entrée par décision. Ainsi, le prix par jeton, et non la quantité lue, détermine l'écart de coût. Le prix d'entrée d'Astra est environ 240 fois celui de Jev.78
À faible raisonnement, Astra a produit 6 599 jetons de sortie sur 307 décisions, contre 968 376 jetons d'entrée. Le prix de sortie de Jev est de $0.
Au prix d'entrée de Jev, les 968 376 jetons d'entrée de décision d'Astra auraient coûté environ $0,04 au lieu de $9.68. Un modèle de décision qui égalerait le taux de réussite d'Astra au prix de Jev exécuterait la même automatisation pour une petite fraction du coût d'un LLM.
Kev et Laya n'avaient aucun frais d'API de décision. La location de l'A100 pour Kev a coûté environ $5,31 (3.32 heures à $1,60 de l'heure), y compris le temps de configuration en dehors des exécutions notées. Nous n'avons pas estimé de coût pour le Mac qui exécutait Laya. Un frais de Jev et deux frais de Gemini n'ont pas été enregistrés et manquent dans le tableau.
Entraînement des modèles de décision
Nous avons fine-tuné Kev-9B et Laya sur les décisions que GLM-5.3-Flash, le modèle d'étiquetage, a prises sur des tâches de navigateur provenant de huit sites web hors benchmark. Ensuite, nous avons réexécuté les 50 tâches. Chaque modèle fine-tuné est comparé à sa version stock, exécutée le même jour et sur le même matériel.
Le Kev fine-tuné et les deux versions de Laya sont sur Hugging Face.
p provient d'un test apparié sur les mêmes 50 tâches (McNemar exact), et p inférieur à 0.05 est considéré comme significatif. Kev stock a terminé 21 tâches le jour, une de plus que dans le benchmark principal. L'un des 12 gains de Kev, C02, était un délai d'attente du navigateur dans l'exécution stock plutôt qu'une défaillance du modèle. Sans cela, Kev a gagné 11 tâches et en a perdu 1 (p = 0.006).
- Kev fine-tuné a gagné des tâches sur six des neuf sites web, trois chacun sur Quotes to Scrape et Scrape This Site. Ses résultats sur Web Scraper, Wikipédia et les formulaires TestPages n'ont pas changé.
- Kev fine-tuné a terminé 5 tentatives bloquées contre 12 et a atteint la limite d'actions 6 fois contre 11. Il a déclaré une tâche non terminée comme terminée 7 fois, contre 4.
- Sur les 41 tâches des sites web d'entraînement qui ont été exclues de l'entraînement, Kev a terminé 21 contre 13 auparavant. Sur 101 décisions uniques de 19 de ces tâches, il a choisi l'opération du modèle d'étiquetage 94 % du temps, contre 62 % auparavant.
- Le premier fine-tune de Laya a choisi l'opération du modèle d'étiquetage sur 75 % des 88 décisions qu'il pouvait lire, contre 19 % pour Laya stock. Il a déclaré une tâche terminée sur une page qui nécessitait encore une action 2 fois au lieu de 53.
- Dans le benchmark, le premier fine-tune de Laya a déclaré une tâche non terminée comme terminée 36 fois, une fois avant d'effectuer une action. Laya stock l'a fait 32 fois, dont 17 avant toute action.
Pourquoi Laya est restée proche de zéro
Le gain en décision unique du premier fine-tune est principalement dû au défilement. Il a correspondu à 33 des 47 décisions de défilement vers le bas, où Laya stock en a correspondu 2 et a répondu « terminé » sur 38. Le second fine-tune a correspondu à 25 des 88 décisions et a cliqué sur 33 des 47 défilements. Il a quand même terminé 3 tâches de benchmark, plus que toute autre version de Laya.
Le test de décision unique n'utilise que les pages des exécutions réussies du modèle d'étiquetage. Dans le benchmark, 26 des 36 déclarations de « terminé » à tort du premier fine-tune sont survenues après une ou deux actions, sur des pages que Laya a atteintes elle-même.
Notre connecteur rejette une requête lorsqu'une question ou une option dépasse les limites d'entrée de Laya. Sur quatre des huit sites web d'entraînement, moins de la moitié des pages enregistrées conviennent. Globalement, 292 des 606 enregistrements d'entraînement conviennent. Le premier fine-tune vérifiait la taille sur une requête avec uniquement les questions nécessaires à chaque étape, donc il a également appris à partir de pages que Laya ne reçoit jamais dans une exécution en direct.
Le second fine-tune n'a conservé que ces 292 enregistrements et en a ajouté 102 provenant des propres exécutions de Laya. Lorsque Laya déclarait une tâche d'entraînement terminée ou bloquée, ou atteignait 10 actions, GLM-5.3-Flash prenait le relais sur la même page. Ses décisions suivantes devenaient des étiquettes si l'exécution réussissait. Dans 14 des nouveaux enregistrements, Laya avait déclaré la tâche terminée et GLM avait cliqué à la place.
Avant cette ronde, nous avons défini une règle pour arrêter si une ronde ajoutait moins de 3 tâches held-out terminées par rapport à la précédente. L'ensemble held-out contient 20 nouvelles tâches Automation Exercise que GLM a terminées sur des pages qui conviennent toutes à l'entrée de Laya. Laya stock, le premier fine-tune et une version entraînée uniquement sur les 292 enregistrements lisibles n'en ont terminé aucune. Le second fine-tune en a terminé une, donc nous avons arrêté.
Laya a eu une seconde ronde avec des données de ses propres exécutions, et Kev non. Les paramètres de Kev ont été fixés avant toute exécution de benchmark, et son gain était déjà significatif. La seconde ronde de Laya s'est entraînée sur 394 enregistrements contre 606 pour Kev, et nous n'avons pas cherché d'autres sites web avec des pages courtes. Le résultat ne montre pas si plus de données aideraient Laya.
Méthodologie
Les cinq modèles ont utilisé le même runtime de navigateur jev-ultrafast. À chaque étape, il transformait la page courante en texte de page plus une liste numérotée de contrôles visibles. Le modèle choisissait une opération, comme cliquer, taper, sélectionner, terminer ou bloquer, et une cible dans cette liste. Le runtime exécutait l'action et relisait la page.
Les trois modèles de décision classent les options fournies et ne peuvent pas écrire de texte. Lorsqu'un modèle choisissait de taper, l'assistant de texte écrivait la valeur dans le champ de formulaire.
Chaque tentative démarrait dans une nouvelle session de navigateur. Les cinq modèles ont été exécutés le même jour avec les mêmes tâches, le même runtime et la même notation.
Modèles
Le raisonnement faible est un paramètre d'effort défini par le fournisseur. Les 307 décisions d'Astra incluaient 791 jetons de raisonnement signalés.
Jeu de données
Les 50 tâches couvrent neuf sites web : huit sites d'entraînement conçus pour le scraping et les tests, plus Wikipédia. Les tâches incluent la navigation dans les catalogues, la recherche, le tri, la pagination, les options de produit, les formulaires et les recherches d'articles. Chaque tâche commence à partir d'une URL fixe et indique l'état final en une phrase, par exemple « Passer à Science-Fiction, trouver Dune (Dune #1), ouvrir ses détails de produit et s'arrêter. »
Avant l'exécution des modèles, une exécution scriptée a terminé les 50 tâches en utilisant uniquement les actions prises en charge par le runtime. Chaque tâche est résoluble sans mots de passe, CAPTCHA ni touche Entrée.
Tâches d'exemple
Dix des 50 tâches sont publiées sur Hugging Face avec les instructions, l'URL de départ, les conditions de réussite et le résultat de chaque modèle. Les 40 autres sont réservées pour des exécutions ultérieures.
Évaluation
Une tâche était réussie lorsque le modèle la déclarait terminée dans les limites et qu'une vérification distincte de la page finale confirmait chaque condition : une URL finale acceptée, les faits de la tâche visibles sur la page, plus de 100 caractères de texte de page et une page entièrement chargée.
Chaque tentative avait 900 secondes, 60 actions de navigateur et 120 appels de décision. Les erreurs d'API comptaient comme des échecs. Le chronométrage s'étend de la première page chargée à la vérification finale.
Les modèles ne pouvaient pas voir l'état de chargement de la page requis par la vérification. Jev sur B05 et Gemini sur M04 ont atteint le bon contenu mais ont échoué uniquement à cette vérification, et ils comptent comme des échecs.
Coût
Les dépenses d'API sont les appels de décision plus l'assistant de texte, pour les 50 tentatives par modèle. OpenRouter a signalé les frais pour GPT-6 Astra, Gemini et Mercury. Le coût de Jev correspond à ses jetons signalés au prix catalogue le 22 septembre 2026 : $0,042 par million de jetons d'entrée et aucun frais de sortie.4 L'estimation de Kev n'a pas été rapprochée d'une facture.
Fine-tuning
Les 327 tâches, dont 286 pour l'entraînement et 41 held-out, proviennent de huit sites web qui ne sont pas dans le benchmark, notamment Demo Web Shop, Automation Exercise et Project Gutenberg. Chaque tâche a été vérifiée dans un navigateur : sa page de départ échoue au correcteur et sa page cible réussit.
GLM-5.3-Flash, un modèle à poids ouverts sous licence MIT,9 a tenté 300 des tâches sur le runtime de benchmark à faible raisonnement. Les erreurs du fournisseur l'ont empêché de faire les 27 autres. Nous n'avons pas utilisé GPT-6 Astra ni Gemini pour cela, car les conditions de OpenAI et de Google interdisent d'utiliser leur sortie pour construire des modèles concurrents.1011
Les 184 exécutions d'entraînement réussies ont donné 606 enregistrements de décision. Une exécution comptait comme réussie lorsque le correcteur la validait. Sur l'ensemble des tâches, 11 exécutions supplémentaires ont compté parce qu'elles ont atteint la bonne page de produit via la recherche du site et ont échoué uniquement à la vérification de l'URL exacte.
Le test de décision unique rejoue 103 décisions enregistrées de 19 tâches held-out et compte combien de fois un modèle choisit l'opération du modèle d'étiquetage. Kev pouvait en lire 101. Laya pouvait en lire 88 lorsqu'on lui envoyait uniquement les questions nécessaires à chaque étape, et 34 dans la requête complète envoyée par le benchmark. Sur ces 34, Laya stock était d'accord 29 % du temps, le premier fine-tune 71 % et le second 41 %.
Les deux modèles sont partis des poids stock que nous avons benchmarkés et ont utilisé les recettes d'entraînement de leurs producteurs avec les limites d'entrée du benchmark. Kev s'est également entraîné pendant deux époques au lieu d'une, sans les enregistrements de rejeu du producteur. Chaque exécution d'entraînement a pris moins de 20 minutes sur un H100 GPU.
La paire Kev et la première paire de Laya ont été exécutées sur un H100 loué en France, avec Chrome sur Linux. La seconde paire de Laya a été exécutée sur le Mac du benchmark principal. Chaque paire a utilisé les 50 tâches, le runtime, les limites et le correcteur du benchmark principal, avec une tentative par tâche.
Limites
Chaque modèle a tenté chaque tâche une fois, donc les résultats n'estiment pas la fiabilité. Kev a terminé 20 tâches et Jev 17 ; une seule exécution ne peut pas dire si cette différence se maintiendrait.
Les 50 tâches proviennent de neuf sites web, et les tâches sur le même site partagent les mises en page. Les modèles ont été exécutés l'un après l'autre le même jour, et les sites en direct peuvent changer entre les exécutions.
Le format d'étape, une liste d'opérations plus des listes de cibles, a d'abord été construit pour Jev. Chaque modèle a reçu le même format. Nous n'avons pas testé si un autre format changerait les résultats. Laya a été exécutée avec des limites d'entrée supérieures à ses paramètres publiés afin que les longues pages ne soient pas tronquées.
Citez ce benchmark
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk},
title = {{AIM-Decision: Jev contre Kev contre LLM}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/decision-models}},
note = {AIMultiple. Consulté le 5 octobre 2026}
}Résultats et horodatages de 146 points de données. Téléchargez les données de synthèse présentées dans les graphiques et les tableaux de cet article sous forme de fichier ZIP contenant 5 fichiers CSV et un README.
Vous voulez les données détaillées derrière ? Rejoindre Premium
Liens de référence
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.