AIM-Decision: Jev vs Kev vs LLMs

Les modèles de décision, aussi appelés modèles System One,¹ évaluent un ensemble fixe d’options au lieu de générer du texte token par token. Nous avons testé 22 modèles de décision sur 1 655 questions de classification, telles que l’évaluation d’une faille de sécurité ou d’un rappel de produit, et avons exécuté 19 d’entre eux sur 50 tâches de navigateur.

Résultats du benchmark de classification

• decider-12b a obtenu 46.4 sur les failles de sécurité et 62.4 sur les rappels, à $0,06 par 1 000 décisions. Aucun modèle de décision n’a obtenu un score significativement plus élevé sur l’une ou l’autre tâche.
• Jev 1.13 a coûté $0,039 par 1 000 décisions et a obtenu 47.9, environ un point de moins que Kev-9B et Nimble 9B, qui coûtent environ 7 et 9 fois plus.
• Eikos-27B, avec 27 milliards de paramètres, a coûté $0,075 par 1 000 décisions. Tev1 4B, avec 4 milliards, a coûté $0.34.
• GLiDE a obtenu 46.5 sur les failles de sécurité contre 46.4 de decider-12b, mais a mis 15,7 secondes par décision contre 0.13 et a coûté $0,48 par 1 000 décisions. Clef a obtenu en moyenne 51.0 à $0,17 via l’API de Cloudflare.

Taux de réussite de l’automatisation du navigateur

Une tentative par tâche ; les LLM ont été exécutés avec le paramètre de faible effort de raisonnement de leur API.

• Solar Decide, Nimble 9B et les deux modèles Tev1 ne sont pas classés : leurs services acceptent au plus 26 options par question, et 17 des 50 tâches s’ouvrent sur une page qui en contient davantage. Laya n’est pas classé non plus, car ses limites d’entrée ont rejeté des requêtes que les autres modèles ont reçues intégralement.
• Kev-27B a accompli 40 tâches, soit deux de moins que Gemini 3.8 Flash et sept de moins que GPT-6 Astra, pour un coût estimé de $0,006 par tâche accomplie contre $0,026 pour Gemini et $0,226 pour Astra.
• Les modèles de décision ont accompli ensemble 44 des 50 tâches, dont deux des trois qu’Astra a échouées.
• decider-12b, premier en classification, a accompli 16 tâches de navigateur ; Kev-27B, qui a obtenu un score inférieur à Jev en classification, en a accompli 40.

Consultez 10 tâches d’exemple et le résultat de chaque modèle sur Hugging Face, ainsi que la façon dont nous avons exécuté le benchmark dans la méthodologie.

Modèles de décision contre LLM sur les tâches de navigateur

La plupart des LLM écrivent leur réponse un token à la fois, et chaque token coûte du calcul et du temps. Pour la plupart des étapes de navigateur, l’agent choisit seulement une opération et un contrôle sur la page.

Un modèle de décision lit la page et les options, évalue chaque option et renvoie la plus probable. Il renvoie une probabilité pour chaque option au lieu de texte généré, de sorte qu’une étape n’a pas besoin d’une longue sortie. Si les modèles de décision deviennent suffisamment précis, la même automatisation pourrait s’exécuter beaucoup plus rapidement et pour une fraction du coût d’un LLM.

Les modèles de décision, tels que nous les avons servis, renvoient des scores d’options et aucun texte, de sorte qu’un modèle de texte distinct, Mercury 2.5,² écrit les valeurs saisies dans les champs de formulaire. Nous l’appelons l’assistant texte, et il était disponible pour chaque modèle.

Nous avons exécuté chaque modèle sur le runtime open source jev-ultrafast de browser-use,³ qui a été conçu pour Jev 1.13 de TypeSafe.⁴ GPT-6 Astra sert de référence LLM haut de gamme et Gemini 3.8 Flash de référence à faible coût. Tous les modèles sont répertoriés dans la méthodologie.

Cinq modèles sur la même tâche

Sur Wikipédia, tous les modèles sauf Laya ont saisi du texte dans la zone de recherche, l’assistant texte a écrit « Ada Lovelace », et le modèle a choisi la bonne suggestion. Jev a atteint l’article en 8,1 secondes, Gemini en 11.0, Astra en 18.9 et Kev-9B en 43.8. Laya a déclaré la tâche terminée sur la page principale sans effectuer d’action.

La tâche de filtrage nécessite deux listes déroulantes et un bouton de recherche. Jev, Gemini et Astra ont suivi les quatre mêmes étapes et ont terminé en 4.6, 10.7 et 20,3 secondes. Laya a cliqué sur le logo du site et a déclaré la tâche terminée. Kev-9B a échoué à cette tâche dans le benchmark, et dans la démo il cliquait encore après 11 minutes, il est donc exclu de cet extrait.

Les légendes montrent l’opération et la cible choisies par chaque modèle, et pour les modèles de décision la probabilité de cette opération. Les extraits proviennent d’une démo distincte exécutée à vitesse 1×, pas du benchmark noté, et chaque page finale a été vérifiée avec le correcteur du benchmark.

Comment les modèles ont échoué

Jev et Kev-9B ont accompli ensemble 26 tâches distinctes. Tous deux ont accompli les deux tâches Wikipédia et la tâche de liste déroulante Web Scraper, tout comme les deux LLM. Sur Books to Scrape, où chaque tâche passe d’une liste de catégories à une page produit, Jev n’a accompli aucune des six et Kev-9B en a accompli trois. Kev-27B, Eikos-27B et AutoJev-27B ont accompli toutes les six.

• Jev a déclaré la tâche bloquée dans 24 de ses 33 échecs, 16 fois avant d’entreprendre une action.
• Kev-9B a effectué une médiane de 9.5 actions sur les tâches échouées, contre 3 sur les tâches accomplies. Dix tentatives ont atteint la limite d’actions ou d’appels de décision, et cinq autres ont été arrêtées après que trois actions consécutives ont laissé la page inchangée.
• Kev-4B, du développeur de Kev-9B, a déclaré la tâche bloquée dès sa première décision sur 29 des 50 tâches.
• Kev-27B, Eikos-27B et GLiDE ont tous échoué à sept tâches en commun. Ils ont déclaré quatre d’entre elles bloquées, deux recherches de produits ScrapeMe et deux tâches Web Scraper, et aucun des trois n’a terminé la case à cocher ni le formulaire de calculatrice.
• GPT-6 Astra a échoué à 3 tâches. Il a marqué une tâche de catégorie ScrapeMe comme bloquée, a continué à saisir du texte dans le même champ de calculatrice jusqu’à être arrêté, et sur la tâche de formulaire T02 l’assistant texte n’a renvoyé aucune valeur valide après qu’Astra a rempli et soumis le formulaire.
• Gemini 3.8 Flash a échoué à 8, dont la même fin T02. Quatre échecs ont atteint la bonne page mais n’ont pas terminé, deux ont été arrêtés par notre garde-fou de coût lorsque OpenRouter n’a pas signalé de frais, et un a atteint la limite d’actions.

Pourquoi certains modèles ont obtenu 0/50

GLiNER2.5-Decide

GLiNER2.5-Decide de Fastino⁵ a déclaré les 50 tâches terminées trop tôt, 49 d’entre elles dès sa première décision. Sur les 37 tâches qui partagent une page de départ avec une autre tâche, ses probabilités d’opération ne différaient pas de plus de 6 points entre les objectifs.

Fastino décrit GLiNER2.5-Decide comme un classificateur pour des décisions telles que le routage des tickets, l’intention, l’urgence et le fait qu’un agent a terminé, et indique que le modèle ne raisonne pas. Le modèle est conçu pour des entrées allant jusqu’à 512 tokens, mais accepte des entrées plus longues. Nos requêtes de première étape avaient une médiane de 1 915 tokens.

CLM-v0.1-8B

CLM-v0.1-8B de Contrastive-LM⁶ a choisi l’attente dans 2 199 de ses 2 288 décisions d’opération, de sorte que 36 tentatives ont épuisé leurs actions. Sur les mêmes pages de départ, ses probabilités différaient d’au plus 13 points entre les objectifs.

Contrastive-LM indique que CLM-v0.1-8B, sans fine-tuning, affiche des performances comparables à Jev sur les tâches d’utilisation d’ordinateur, de jeu et d’appel d’outils, et qu’il accepte le format de requête de Jev sans modification.⁷ Nous lui avons envoyé des requêtes dans ce format.

Vitesse et réussite

Kev-27B, Eikos-27B et AutoJev-27B ont accompli 68 % à 80 % des tâches avec une médiane d’environ 7 secondes par tentative, plus rapide que Gemini à 12,7 secondes et Astra à 17.4. decider-4b, decider-12b et Jev ont mis 2.5 à 4,2 secondes par tentative et ont déclaré 19 à 24 tâches bloquées.

GLiDE a accompli 72 % avec une médiane de 46,8 secondes par tentative, le plus lent de tous les modèles, et 3 de ses tentatives ont atteint la limite de 900 secondes.

GLiNER2.5-Decide (0,2 secondes) a déclaré 49 des 50 tâches terminées dès sa première décision, et Kev-4B a déclaré 29 tâches bloquées dès la première.

Kev-9B a mis une médiane de 38,3 secondes par tentative, cinq fois plus que Kev-27B. Chaque décision de Kev-9B a pris une médiane de 3,7 secondes de temps serveur, contre environ 1 seconde pour un appel API Jev complet. La surcharge de requête a ajouté environ une demi-seconde.

Kev-9B a effectué en moyenne 26 décisions par tentative, contre environ 4 pour Jev, et 90 % d’entre elles provenaient de tentatives échouées.

Coût

Coût de l’automatisation du navigateur

† Estimation : coût A100 par token d’entrée issu du test de débit de classification, multiplié par les tokens d’entrée du navigateur, plus les frais de l’assistant texte. Méthode sous méthodologie.

‡ Le chiffre le plus élevé ajoute 17 requêtes qui ont échoué sans signaler de tokens, comptées à 120 000 tokens d’entrée chacune ; Fastino pourrait ne pas les facturer.

Astra, Gemini et Jev ont chacun utilisé 3 150 à 3 470 tokens d’entrée par décision. Le prix d’entrée d’Astra est environ 240 fois celui de Jev.⁸⁹

Avec un raisonnement faible, Astra a produit 6 599 tokens de sortie sur 307 décisions, contre 968 376 tokens d’entrée. Le prix de sortie de Jev est de 0 $.

Au prix d’entrée de Jev, les 968 376 tokens d’entrée de décision d’Astra auraient coûté environ $0,04 au lieu de $9.68. Kev-27B est arrivé à sept tâches d’Astra pour un coût estimé de $0,25 sur les 50 tâches, contre $10,63 pour Astra.

Selon ces estimations, chaque modèle de décision du tableau qui a accompli une tâche, à l’exception de Kev-9B, a coûté moins par tâche accomplie que Gemini. Aucun n’a coûté moins que Jev.

• Kev-9B a coûté environ 3 fois plus que Gemini et 46 fois plus que Jev par tâche accomplie. Son coût A100 estimé était d’environ $0,47 par million de tokens d’entrée, 11 fois le prix de l’API de Jev, et il a pris 1 321 décisions contre 185 pour Jev.
• Le coût GPU estimé par token de Kev-4B était environ 6.5 fois son prix OpenRouter.

Le temps A100 que nous avons loué pour l’exécution de Kev-9B, 3.32 heures incluant la configuration et le temps d’inactivité, s’est élevé à environ $5.31. Un frais Jev et deux frais Gemini n’ont pas été enregistrés et sont absents du tableau.

Coût de classification

Les modèles hébergés sont tarifés au prix catalogue de leur API, à l’exception de Solar Decide à ses frais facturés. Les modèles locaux sont tarifés par 1 000 décisions au débit le plus élevé que nous avons mesuré sur un A100 loué.

Un A100 loué coûte environ $40 par jour, qu’il soit occupé ou inactif. Au tarif que nous avons enregistré, $40 permettent d’acheter environ un million de décisions Jev.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Entraînement des modèles de décision

Nous avons fine-tuné Kev-9B et Laya sur des décisions que GLM-5.3-Flash, le modèle d’étiquetage, a prises sur des tâches de navigateur provenant de huit sites web hors benchmark. Ensuite, nous avons réexécuté les 50 tâches. Chaque modèle fine-tuné est comparé à sa version d’origine, exécutée le même jour sur le même matériel.

Le modèle Kev fine-tuné et les deux versions Laya sont sur Hugging Face.

p provient d’un test apparié sur les mêmes 50 tâches (McNemar exact), et p inférieur à 0.05 est considéré comme significatif. Le Kev stock a accompli 21 tâches dans cette comparaison, une de plus que dans les résultats ci-dessus. L’un des 12 gains de Kev, C02, était un délai d’attente du navigateur dans l’exécution stock plutôt qu’une défaillance du modèle. Sans lui, Kev a gagné 11 tâches et en a perdu 1 (p = 0.006).

• Le Kev fine-tuné a gagné des tâches sur six des neuf sites web, trois sur Quotes to Scrape et trois sur Scrape This Site. Ses résultats sur Web Scraper, Wikipédia et les formulaires TestPages n’ont pas changé.
• Le Kev fine-tuné a terminé 5 tentatives bloquées contre 12 et a atteint la limite d’actions 6 fois contre 11. Il a déclaré une tâche inachevée comme terminée 7 fois, contre 4.
• Sur 41 tâches issues des sites d’entraînement qui ont été exclues de l’entraînement, Kev en a accompli 21 contre 13 auparavant. Sur 101 décisions uniques issues de 19 de ces tâches, il a choisi l’opération du modèle d’étiquetage 94 % du temps, contre 62 % auparavant.
• Le premier fine-tuning de Laya a choisi l’opération du modèle d’étiquetage sur 75 % des 88 décisions qu’il pouvait lire, contre 19 % pour le Laya stock. Il a déclaré une tâche terminée sur une page qui nécessitait encore une action 2 fois au lieu de 53.
• Dans le benchmark, le premier fine-tuning de Laya a déclaré une tâche inachevée comme terminée 36 fois, une fois avant d’entreprendre une action. Le Laya stock l’a fait 32 fois, 17 d’entre elles avant toute action.

Cas d’usage des modèles de décision

• Vérifier le signal de fin d’un agent. Sur la dernière page qu’un agent de navigateur a vue avant de déclarer une tâche terminée, 13 des 22 modèles de décision ont obtenu un score supérieur à 90 pour distinguer « terminé » de « non terminé », et AutoJev-27B, Clef et Kev-27B ont obtenu 99.5. Nous n’avons pas testé les vérifications sur des pages plus tôt dans une exécution.
• Triage avec des étiquettes fixes, comme l’évaluation des avis de sécurité ou des rappels. decider-12b a surpassé les réponses aléatoires de 21 points sur la gravité et de 29 sur les rappels. Sur les sujets d’articles, un classificateur par mots-clés entraîné sur 28 595 articles étiquetés a obtenu 70.4, et aucun modèle de décision n’a obtenu un score significativement plus élevé ; le même type de classificateur a obtenu un score proche du hasard sur la gravité et les rappels.
• Choisir chaque action dans l’automatisation du navigateur. Le meilleur modèle de décision, Kev-27B, a accompli 40 des 50 tâches, contre 42 et 47 pour les deux LLM. Le fine-tuning de Kev-9B sur 606 décisions issues d’autres sites web l’a fait passer de 21 à 32.

Sur les deux principales tâches de classification, les modèles de décision locaux ont coûté environ $0,014 à $0,36 par 1 000 décisions sur un GPU loué et ont mis en moyenne moins d’une seconde par décision. Sur les tâches de navigateur, le prix d’entrée de Jev était d’environ 1/240 de celui de GPT-6 Astra.

Chaque réponse s’accompagne également d’une probabilité par option, qu’une application pourrait utiliser pour transmettre les cas incertains à un LLM. Nous n’avons pas testé dans quelle mesure ces probabilités correspondent à la précision réelle. Dix-sept des 22 modèles ont été exécutés sur un seul GPU loué ; Jev, Solar Decide, GLiDE, Clef et Clef-Flash sont des API hébergées.

Méthodologie

Benchmark d’automatisation du navigateur

Tous les modèles ont utilisé le même runtime de navigateur jev-ultrafast. À chaque étape, il transformait la page actuelle en texte de page plus une liste numérotée de contrôles visibles. Le modèle choisissait une opération, comme cliquer, saisir, sélectionner, terminer ou bloquer, et une cible dans cette liste. Le runtime exécutait l’action et relisait la page.

Les modèles de décision classent les options fournies et ne renvoient aucun texte. Lorsqu’un modèle choisissait de saisir, l’assistant texte écrivait la valeur dans le champ de formulaire. Chaque tentative commençait dans une session de navigateur neuve.

GPT-6 Astra, Gemini 3.8 Flash, Jev, Kev-9B et Laya ont été exécutés le 22 septembre 2026, avec le navigateur sur un Mac et Kev-9B sur un GPU A100 loué.

GLiNER2.5-Decide et CLM-v0.1-8B ont été exécutés le 25 septembre sur des GPU RTX 4090 loués avec Chrome sous Linux. Kev-4B a été exécuté le 29 septembre sur un GPU RTX A6000 loué. Solar Decide a été exécuté le 30 septembre via OpenRouter depuis le même Mac, et Nimble 9B ainsi que les deux modèles Tev1 ont été exécutés le même jour via Ollama 0.35.0 sur un GPU RTX A6000 loué avec Chrome sous Linux.

GLiDE, Clef et Clef-Flash ont été exécutés le 2 octobre via les API de leurs fournisseurs depuis le même Mac, avec Chrome 154 au lieu de 153. Kev-27B, AutoJev-27B, Eikos-27B, Eikos-4B, decider-4b et decider-12b ont été exécutés les 2 et 3 octobre sur des GPU A100 loués avec Chrome sous Linux.

Aucune requête n’a été raccourcie pour s’adapter à un modèle. L’API de Solar Decide et Ollama acceptent de 2 à 26 options par question. Une requête hors de ces limites mettait fin à la tentative, comme le faisaient les requêtes trop volumineuses pour Laya. Ollama accepte les descriptions d’options uniquement sous forme de texte, donc les options structurées ont été envoyées sous forme de texte JSON compact. Tev1 est livré avec un contexte de 2 050 tokens ; nous l’avons porté à 8 194, le paramètre de Nimble, afin que les pages ne soient pas tronquées.

Le service de Cloudflare ne lit que les 2 048 premiers tokens du texte de la page pour Clef et Clef-Flash. Nous n’avons pas envoyé de pages plus longues, ce qui a mis fin à une tentative pour chaque modèle.

Clef, Clef-Flash, decider et Eikos nécessitent au moins deux options par question. Une question avec une seule option, comme l’unique champ de texte d’une page, était envoyée avec cette option en double, et la réponse était ramenée à cette option.

Nous avons exécuté Kev-9B avec le code de référence du producteur en précision 32 bits complète. Deux paquets de noyau optionnels qui accélèrent son modèle de base n’étaient pas installés, de sorte que le modèle est retombé sur des noyaux de référence plus lents. Nous n’avons pas testé une configuration GPU plus rapide.

Le code de CLM transforme chaque requête en texte. GLiNER a reçu le même texte, avec l’objectif et les règles de chaque question comme prompt. Kev-4B est également servi sur OpenRouter par SiliconFlow en précision 8 bits.¹⁰ Exécuté via ce service depuis le Mac le 29 septembre, Kev-4B a accompli 6 tâches.

Modèles de navigateur

Le raisonnement faible est un paramètre d’effort défini par le fournisseur. Les 307 décisions d’Astra comprenaient 791 tokens de raisonnement signalés. Kev-9B¹¹ et Kev-4B¹² proviennent du même développeur, et Nimble 9B provient de Bespoke Labs.¹³ GLiDE provient de Fastino, le développeur de GLiNER2.5-Decide,¹⁴ et Clef et Clef-Flash de Cloudflare.¹⁵

Dataset

Les 50 tâches couvrent neuf sites web : huit sites d’entraînement conçus pour le scraping et les tests, plus Wikipédia. Les tâches comprennent la navigation dans un catalogue, la recherche, le tri, la pagination, les options de produits, les formulaires et les recherches d’articles. Chaque tâche commence à partir d’une URL fixe et décrit l’état final en une phrase, par exemple « Passez à la science-fiction, trouvez Dune (Dune #1), ouvrez ses détails de produit et arrêtez-vous. »

Avant l’exécution des modèles, une exécution scriptée a accompli les 50 tâches en utilisant uniquement les actions prises en charge par le runtime. Chaque tâche est réalisable sans mots de passe, CAPTCHA ni touche Entrée.

Tâches d’exemple

Dix des 50 tâches sont publiées sur Hugging Face avec les instructions, l’URL de départ, les conditions de réussite et le résultat de chaque modèle. Les 40 autres sont réservées pour des exécutions ultérieures.

Évaluation

Une tâche était réussie lorsque le modèle la déclarait terminée dans les limites et qu’une vérification distincte de la page finale confirmait chaque condition : une URL finale acceptée, les faits de la tâche visibles sur la page, plus de 100 caractères de texte de page et une page entièrement chargée.

Chaque tentative disposait de 900 secondes, 60 actions de navigateur et 120 appels de décision. Les erreurs d’API comptaient comme des échecs. Le chronométrage va de la première page chargée à la vérification finale.

Les modèles ne pouvaient pas voir l’état de chargement de page exigé par la vérification. Jev sur B05 et Gemini sur M04 ont atteint le bon contenu mais ont échoué uniquement à cette vérification, et ils comptent comme des échecs.

Coût

Le coût d’API couvre les appels de décision et l’assistant texte, pour l’ensemble des 50 tentatives par modèle. OpenRouter a signalé les frais pour GPT-6 Astra, Gemini et Mercury. Le coût de Jev correspond à ses tokens signalés au prix catalogue le 22 septembre 2026 : $0,042 par million de tokens d’entrée et aucun frais pour la sortie.⁴ GLiDE, Clef et Clef-Flash sont également tarifés à leurs prix catalogue.

Les exécutions de navigateur auto-hébergées utilisaient un A100, un A6000, une RTX 4090 ou un Mac. Nous les tarifons toutes sur l’A100 à partir du test de coût de classification, à $1 673 de l’heure : le coût par token d’entrée de chaque modèle, multiplié par ses tokens d’entrée de navigateur, plus les frais de l’assistant texte.

Les deux charges de travail sont presque entièrement constituées d’entrées, car ces modèles renvoient des scores d’options ou quelques tokens. L’estimation suppose que le coût augmente proportionnellement aux tokens d’entrée. Les entrées du navigateur étaient en moyenne 2 à 12 fois plus longues que les questions de classification du même modèle, et nous n’avons pas fait passer les pages de navigateur par le test de débit.

Fine-tuning

Les 327 tâches, 286 pour l’entraînement et 41 mises de côté, proviennent de huit sites web qui ne font pas partie du benchmark, notamment Demo Web Shop, Automation Exercise et Project Gutenberg. Chaque tâche a été vérifiée dans un navigateur : sa page de départ échoue au correcteur, et lorsque la tâche se termine sur une URL différente, cette page réussit.

GLM-5.3-Flash, un modèle à poids ouverts sous licence MIT,¹⁶ a tenté 300 des tâches sur le runtime du benchmark avec un raisonnement faible. Des erreurs du fournisseur l’ont empêché d’exécuter les 27 autres. Nous n’avons pas utilisé GPT-6 Astra ni Gemini pour cela, car les conditions de OpenAI et de Google interdisent d’utiliser leur sortie pour construire des modèles concurrents.¹⁷¹⁸

Les 184 exécutions d’entraînement réussies ont donné 606 enregistrements de décision. Une exécution était considérée comme réussie lorsque le correcteur la validait, ou lorsqu’elle atteignait la bonne page produit via la recherche du site et échouait uniquement à la vérification d’URL exacte, comme l’ont fait 11 exécutions sur l’ensemble des tâches.

Le test à décision unique rejoue 103 décisions enregistrées issues de 19 tâches mises de côté et compte la fréquence à laquelle un modèle choisit l’opération du modèle d’étiquetage. Kev pouvait en lire 101. Laya pouvait en lire 88 lorsqu’on lui envoyait uniquement les questions nécessaires à chaque étape, et 34 dans la requête complète envoyée par le benchmark. Sur ces 34, le Laya stock était d’accord 29 % du temps, le premier fine-tuning 71 % et le second 41 %.

Les deux modèles sont partis des poids stock que nous avons évalués et ont utilisé les recettes d’entraînement de leurs producteurs avec les limites d’entrée du benchmark. Kev a également été entraîné pendant deux époques au lieu d’une, sans les enregistrements de rejeu du producteur. Chaque exécution d’entraînement a pris moins de 20 minutes sur un H100 GPU.

Le premier fine-tuning de Laya a utilisé les mêmes 606 enregistrements, en ignorant ceux trop longs pour Laya. Le second n’a conservé que les 292 qui tiennent dans la requête complète envoyée par le benchmark et a ajouté 102 enregistrements issus des propres exécutions de Laya, où GLM-5.3-Flash prenait le relais après que Laya a déclaré une tâche terminée ou bloquée. Kev n’a pas eu de deuxième tour.

La paire Kev et la première paire de Laya ont été exécutées sur un H100 loué en France, avec Chrome sous Linux. La seconde paire de Laya a été exécutée sur le Mac du benchmark principal. Chaque paire utilisait les 50 tâches, le runtime, les limites et le correcteur du benchmark principal, avec une tentative par tâche.

Benchmark de classification

Chaque élément est une décision avec un ensemble fixe d’options. Les éléments proviennent de documents publiés de juillet à septembre 2026 et de captures non publiées de pages finales issues de nos propres exécutions de navigateur. Un chevauchement d’entraînement ne peut pas être exclu.

Les trois premières tâches demandent à un modèle de reproduire une décision enregistrée par une institution, à partir du texte seul. GitHub et la FDA ont peut-être utilisé des preuves que le texte ne contient pas. Les niveaux de gravité de GitHub sont les quatre niveaux de CVSS, le système standard de notation des vulnérabilités.¹⁹

Chaque modèle a reçu les mêmes instructions et définitions d’options pour une tâche : les définitions de classes de la FDA, les bandes de gravité de GitHub, les descriptions de catégories d’arXiv. L’ordre des options était mélangé pour chaque élément et était le même pour chaque modèle. La gravité des failles de sécurité et le niveau de danger de rappel sont les tâches principales, fixées avant toute exécution ; les sujets d’articles et la vérification de tâche terminée sont supplémentaires.

Le score est une précision équilibrée : le taux de réussite pour chaque réponse possible, moyenné sur les réponses.

Un modèle qui donne toujours la réponse la plus fréquente obtient 25 en gravité, 33 en rappel et 5 sur les sujets d’articles. Le score du graphique est la moyenne des deux tâches principales, où cette réponse obtient environ 29. Les intervalles sont des intervalles bootstrap à 95 % qui rééchantillonnent ensemble les éléments liés : avis pour le même paquet, rappels issus du même événement de rappel, pages issues de la même tâche de navigateur.

Deux LLM, Qwen 3.8 Max et Claude Opus 5.5, ont étiqueté un échantillon de 350 éléments de test, 100 par tâche et 50 pages de navigateur, sans voir la réponse enregistrée.

Ils étaient d’accord entre eux sur 62 des 100 avis, 69 des 100 rappels, 84 des 100 articles et 49 des 50 pages de navigateur. Lorsqu’ils n’étaient pas d’accord avec l’enregistrement sur les avis et les rappels, ils s’écartaient le plus souvent d’un niveau, vers les niveaux intermédiaires. Ils correspondaient à la gravité de GitHub sur 55 et 56 des 100 avis.

Les deux juges ont donné la même réponse, différente de l’enregistrement, sur 54 éléments. Nous avons vérifié les 53 enregistrements GitHub, FDA et arXiv par rapport à la source en direct, et tous correspondaient, donc aucune étiquette n’a changé.

L’unique page de navigateur a été étiquetée terminée parce que le correcteur comptait au moins 40 avis sur la page complète, alors que la capture que voient les modèles en montre environ neuf. Nous l’avons retirée ainsi que les 48 autres éléments de vérification de tâche terminée dont la réponse dépendait du comptage de 10 éléments ou plus, ce qui laisse 155.

Les coûts locaux valent pour le réglage que nous avons testé sur ce GPU ; un autre réglage de serveur ou un autre GPU les modifierait. Entre l’exécution notée et l’exécution de coût, CLM-v0.1-8B a changé 3,7 % de ses réponses, Shisa DE-1 2,2 % et Tev1 0.8B 1,2 %, de sorte que leurs coûts proviennent d’une configuration qui n’a pas reproduit exactement leurs scores. Les 14 autres modèles locaux ont changé de moins de 1 %.

Exceptions à l’exécution de chaque modèle tel que publié :

• Laya a été exécuté avec un contexte de 8 192 tokens au lieu des 512 publiés (1 024 pour typed-decisions), et Tev1 avec 8 194 au lieu de 2 050, comme dans nos exécutions de navigateur.
• Là où le code de Laya aurait tronqué une option ou une entrée longue, notre connecteur rejetait plutôt la requête, et un rejet compte comme une mauvaise réponse. Chaque requête de sujet d’article a été rejetée parce que les descriptions de sujets sont plus longues que les 48 tokens que Laya lit par option.
• Le contexte de l’encodeur de CLM a été porté de 2 048 à 16 384 tokens ; GLiNER a été exécuté au-delà de son entrée documentée de 512 tokens. Shisa a utilisé un contexte de 32 768 tokens pour tenir dans la mémoire du GPU.
• Nous n’avons pas pu exécuter Decision-1.0-Lux-9B : son runtime n’exécute ce modèle que sur des AMD (ROCm) GPU, et nous avons utilisé un NVIDIA GPU.
• Together AI n’avait pas publié de licence pour les poids Tev1 au 30 septembre 2026.
• Le service de Cloudflare ne lit que les 2 048 premiers tokens du texte de l’élément pour Clef et Clef-Flash, bien que les modèles acceptent 65 536 tokens. Les 12 éléments plus longs, 9 sur la gravité et 3 sur les rappels, comptent comme de mauvaises réponses.

Limites

Chaque modèle a tenté chaque tâche de navigateur une seule fois, de sorte qu’un écart de quelques tâches entre deux modèles ne montre pas lequel est meilleur.

Les 50 tâches proviennent de neuf sites web, et les tâches d’un même site partagent des mises en page. Les modèles ont été exécutés sur des sites web en direct, qui peuvent changer entre les exécutions.

Le format des étapes, une liste d’opérations plus des listes de cibles, a d’abord été conçu pour Jev. Chaque modèle a reçu le même format. Nous n’avons pas testé si un autre format modifierait les résultats. Laya a été exécuté avec des limites d’entrée supérieures à ses réglages publiés afin que les pages longues ne soient pas tronquées.

Dans le benchmark de classification, chaque modèle a répondu une seule fois à chaque élément. Les réponses de GitHub et de la FDA sont les décisions enregistrées de ces institutions, qui peuvent reposer sur des preuves que le texte de l’avis ou du rappel ne contient pas.

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{kalelioglu2026,
  author = {Kalelioğlu, Berk},
  title  = {{AIM-Decision: Jev vs Kev vs LLMs}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/decision-models}},
  note   = {AIMultiple. Consulté le 5 octobre 2026}
}

Liens de référence

1.

Introducing System One Models & Jev - TypeSafe AI Blog

2.

Introducing Mercury 2.5 – Inception

3.

GitHub - browser-use/jev-ultrafast: Fastest and cheapest web agent · GitHub

4.

Models - TypeSafe AI

Mintlify

5.

fastino/GLiNER2.5-Decide · Hugging Face

6.

Contrastive-LM/CLM-v0.1-8B · Hugging Face

7.

GitHub - Contrastive-LM/CLM · GitHub

8.

GPT-6 Astra - API Pricing & Benchmarks | OpenRouter

OpenRouter

9.

Gemini 3.8 Flash - API Pricing & Benchmarks | OpenRouter

OpenRouter

10.

Kev 4B - API Pricing & Providers | OpenRouter

OpenRouter

11.

jaredpalmer/kev-9b · Hugging Face

12.

jaredpalmer/kev-4b · Hugging Face

13.

bespokelabs/Bespoke-Nimble-9B · Hugging Face

14.

Pricing - Fastino API Docs

Mintlify

15.

clef (Cloudflare) · Cloudflare AI docs · Cloudflare Workers AI docs

Cloudflare

16.

zai-org/GLM-5.3-Flash · Hugging Face

17.

OpenAI Services Agreement | OpenAI

18.

Gemini API Additional Terms of Service  |  Google AI for Developers

19.

GitHub Advisory database - GitHub Docs

Berk Kalelioğlu

Chercheur en IA

Suivre

Berk est chercheur en IA au sein de l’équipe benchmark d’AIMultiple, se concentrant sur l’IA agentique, l’apprentissage automatique et les grands et petits modèles de langage (LLM et SLM).

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire