AIM-Decision: Jev vs. Kev vs. LLMs
Entscheidungs-Models, auch System-One-Models genannt,1 wählen die nächste Aktion eines Agenten in einem einzigen Durchgang, statt Text Token für Token zu generieren. Um zu sehen, ob sie die Browser-Automatisierung günstiger machen können als LLMs, ließen wir drei Entscheidungs-Models und zwei LLMs, Gemini 3.8 Flash und GPT-6 Astra, dieselben 50 Browser-Aufgaben ausführen, insgesamt 250 Versuche.
Erfolgsraten der Entscheidungs-Models
Kev-9B schloss 20 der 50 Aufgaben ab und Jev 1.13 schloss 17 ab. Laya schloss in unserer Integration keine ab, die oberhalb ihrer veröffentlichten Eingabelimits lief.
Anschließend ließen wir dieselben 50 Aufgaben mit einem LLM ausführen, der jede Aktion wählte. GPT-6 Astra schloss 47 ab und Gemini 3.8 Flash 42, beide in der Einstellung mit niedrigem Reasoning-Aufwand ihrer API. Astra schloss außerdem jede Aufgabe ab, die Jev oder Kev abschloss.
Siehe 10 Beispielaufgaben und die Ergebnisse jedes Models auf Hugging Face sowie, wie wir den Benchmark unter Methodik durchgeführt haben.
Entscheidungs-Models vs. LLMs
Die meisten LLMs schreiben ihre Antwort Token für Token, und jeder Token kostet Rechenleistung und Zeit. Bei den meisten Browser-Schritten wählt der Agent nur eine Operation und ein Steuerelement auf der Seite.
Ein Entscheidungs-Model liest die Seite und die Optionen, bewertet jede Option und gibt die wahrscheinlichste zurück. Es liefert für jede Option eine Wahrscheinlichkeit statt generiertem Text, sodass ein Schritt keine lange Ausgabe benötigt. Wenn Entscheidungs-Models genau genug werden, könnte dieselbe Automatisierung viel schneller und zu einem Bruchteil der LLM-Kosten laufen.
Die drei Entscheidungs-Models können keinen Text schreiben, daher schreibt ein separates Textmodel, Mercury 2.5,2 die Werte, die in Formularfelder eingegeben werden. Wir nennen es den Texthelfer, und es stand jedem Model zur Verfügung.
Wir ließen alle fünf Models auf der Open-Source-Runtime jev-ultrafast von browser-use laufen,3 die für Jev gebaut wurde. Die drei Entscheidungs-Models sind Jev 1.13 von TypeSafe,4 Kev-9B5 und Laya typed-decisions.6 GPT-6 Astra dient als High-End-LLM-Referenz und Gemini 3.8 Flash als kostengünstige Referenz.
Fünf Models bei derselben Aufgabe
Auf Wikipedia tippte jedes Model außer Laya in das Suchfeld, der Texthelfer schrieb „Ada Lovelace“, und das Model wählte den richtigen Vorschlag. Jev erreichte den Artikel in 8,1 Sekunden, Gemini in 11.0, Astra in 18.9 und Kev in 43.8. Laya erklärte die Aufgabe auf der Hauptseite für erledigt, ohne eine Aktion auszuführen.
Die Filteraufgabe erfordert zwei Dropdowns und einen Suchbutton. Jev, Gemini und Astra machten dieselben vier Schritte und wurden in 4.6, 10.7 bzw. 20,3 Sekunden fertig. Laya klickte auf das Website-Logo und erklärte die Aufgabe für erledigt. Kev scheiterte bei dieser Aufgabe im Benchmark, und in der Demo klickte es nach 11 Minuten noch immer, daher bleibt es in diesem Clip außen vor.
Die Beschriftungen zeigen die gewählte Operation und das Ziel jedes Models und bei Entscheidungs-Models die Wahrscheinlichkeit dieser Operation. Die Clips stammen aus einem separaten Demo-Lauf mit 1-facher Geschwindigkeit, nicht aus dem bewerteten Benchmark, und jede Endseite wurde mit dem Grader des Benchmarks geprüft.
Ergebnisse der Entscheidungs-Models
Zu den Aufgaben, die sowohl Jev als auch Kev abschlossen, gehören Wikipedia-Recherchen, eine Dropdown-Auswahl, Produktsortierung und ein Produkt-Tab. Beide schlossen die zwei Wikipedia-Aufgaben und die Web-Scraper-Dropdown-Aufgabe ab, ebenso wie beide LLMs.
Jede Books-to-Scrape-Aufgabe erforderte den Wechsel von einer Kategorieliste zu einer Produktseite. Jev schloss keine der sechs ab und Kev drei.
Together, Jev und Kev schlossen 26 verschiedene Aufgaben ab.
Fehlermuster
- Jev erklärte die Aufgabe bei 24 seiner 33 Fehlschläge für blockiert, 16 Mal bevor es eine Aktion ausführte.
- Kev benötigte im Median 9.5 Aktionen bei fehlgeschlagenen Aufgaben, gegenüber 3 bei Aufgaben, die es abschloss. Zehn Versuche erreichten das Aktions- oder Entscheidungsaufruf-Limit, und fünf weitere wurden gestoppt, nachdem drei Aktionen in Folge die Seite unverändert ließen.
- Laya erklärte die Aufgabe in 33 Versuchen für beendet, bevor das Ziel erreicht war, 17 Mal bevor es eine Aktion ausführte. Acht weitere Versuche wurden nach drei unveränderten Aktionen gestoppt. Neun Versuche scheiterten, als unser Connector, der Code, der jede Anfrage an Laya übergibt, eine Frage oder Option ablehnte, die länger als Layas Eingabelimits war.
Warum Laya 0/50 erreichte
Wir testeten zwei Änderungen an Layas Integration. Über 24 Testanfragen hinweg erzeugte das separate Senden jeder Frage statt in einem Stapel identische Ausgaben. Mit einer separaten Ja/Nein-Frage für „Ist das Ziel bereits erreicht?“ bestand Laya höchstens 3 von 12 Szenarien, die zuerst die richtige Aktion und danach ein Fertig-Signal erforderten.
In allen 12 Szenarien bewertete Laya die fertige Seite höher als die unfertige, aber die Bewertungsbereiche überlappten sich von Szenario zu Szenario. Acht seiner 11 falschen Ziele wiederholten den Wert oder die Seite, die bereits auf dem Bildschirm zu sehen war.
Die von uns verwendete Laya-Version war für Beurteilungsaufgaben wie Support-Tickets, Rechnungen und die Überprüfung von Agenten-Traces trainiert, nicht für die Browser-Navigation.6 Nach dem Fine-Tuning auf Browser-Aufgaben schloss Laya höchstens 3 von 50 ab, gegenüber 0 für das unveränderte Laya am selben Tag (p = 0.25).
LLM-Ergebnisse
GPT-6 Astra scheiterte bei 3 Aufgaben. Es markierte eine ScrapeMe-Kategorieaufgabe als blockiert. Bei einem Taschenrechner-Formular tippte es weiter in dasselbe Feld und wurde gestoppt, nachdem drei Aktionen die Seite unverändert gelassen hatten. Der dritte Versuch endete mit einem Texthelfer-Fehler.
Gemini 3.8 Flash scheiterte bei 8. Vier davon erreichten die richtige Seite, wurden aber nicht fertig. Zwei wurden von unserer Kostenschutzfunktion gestoppt, als OpenRouter keine Gebühr meldete, einer erreichte das Aktionslimit, und einer endete mit einem Texthelfer-Fehler.
Beide LLMs scheiterten bei der Formularaufgabe T02. Beide füllten das Formular aus und sendeten es ab, und beide Versuche endeten, als der Texthelfer keinen gültigen Wert zurückgab.
Erfolg nach Website
Jev und Kev waren auf unterschiedlichen Websites stark. Kev schloss 6 von 8 Web-Scraper-Aufgaben und 3 von 6 auf Books to Scrape ab, wo Jev keine abschloss. Jev schnitt auf Quotes to Scrape (4 von 8) und Scrape This Site (3 von 6) besser ab.
TestPages enthielt alle vier Formularaufgaben und hatte die wenigsten Abschlüsse. Kev schloss eine ab und Jev keine. Zum Vergleich: GPT-6 Astra schloss alle Aufgaben auf sieben der neun Websites und zwei der vier Formularaufgaben ab.
Jede Website hat zwei bis acht Aufgaben, daher gelten diese Zahlen nur für diese Aufgabensammlung.
Geschwindigkeit und Erfolg
Jev war am schnellsten, mit einem Median von 4,2 Sekunden pro Versuch, aber ein Teil dieser Geschwindigkeit rührt vom frühen Abbrechen. Sechzehn seiner Fehlschläge endeten vor jeder Aktion. Bei den 17 Aufgaben, die Jev abschloss, benötigte es durchschnittlich 5,4 Sekunden gegenüber 12.5 für GPT-6 Astra bei denselben Aufgaben.
Gemini (12,7 Sekunden, 84 %) und Astra (17,4 Sekunden, 94 %) waren beide schnell und genau. Laya benötigte 15,1 Sekunden pro Versuch und schloss keine Aufgaben ab.
Kev benötigte im Median 38,3 Sekunden pro Versuch, aus zwei Gründen. Jede Kev-Entscheidung benötigte im Median 3,7 Sekunden GPU-Zeit, gegenüber etwa 1 Sekunde für einen vollständigen Jev-API-Aufruf. Wir ließen Kev mit dem Referenzcode des Herstellers in voller 32-Bit-Genauigkeit laufen, und zwei optionale Kernel-Pakete, die sein Basismodel beschleunigen, waren nicht installiert, sodass das Model auf langsamere Referenz-Kernel zurückfiel. Das Netzwerk fügte etwa eine halbe Sekunde hinzu.
Kev traf außerdem weit mehr Entscheidungen, durchschnittlich 26 pro Versuch gegenüber etwa 4 bei Jev, und 90 % davon fielen auf fehlgeschlagene Versuche. Wir testeten kein schnelleres GPU-Setup.
Als bevorzugte Quelle hinzufügenKosten
Astra, Gemini und Jev verwendeten jeweils 3.150 bis 3.470 Eingabe-Tokens pro Entscheidung. Also bestimmt der Preis pro Token, nicht die gelesene Menge, die Kostenlücke. Astras Eingabepreis ist etwa das 240-fache von Jev.78
Bei niedrigem Reasoning erzeugte Astra 6.599 Ausgabe-Tokens über 307 Entscheidungen hinweg, gegenüber 968.376 Eingabe-Tokens. Jevs Ausgabepreis beträgt $0.
Zu Jevs Eingabepreis hätten Astras 968.376 Entscheidungs-Eingabe-Tokens etwa $0,04 statt $9,68 gekostet. Ein Entscheidungs-Model, das Astras Erfolgsquote zu Jevs Preis erreichte, würde dieselbe Automatisierung für einen kleinen Bruchteil der LLM-Kosten ausführen.
Für Kev und Laya fiel keine Entscheidungs-API-Gebühr an. Die A100-Miete für Kev kostete schätzungsweise $5,31 (3.32 Stunden zu $1,60 pro Stunde), einschließlich Einrichtungszeit außerhalb der bewerteten Läufe. Wir schätzten keine Kosten für den Mac, auf dem Laya lief. Eine Jev-Gebühr und zwei Gemini-Gebühren wurden nicht erfasst und fehlen in der Tabelle.
Training von Entscheidungs-Models
Wir haben Kev-9B und Laya auf Entscheidungen einem Fine-Tuning unterzogen, die GLM-5.3-Flash, das Labeling-Model, bei Browser-Aufgaben von acht Websites außerhalb des Benchmarks traf. Dann ließen wir die 50 Aufgaben erneut laufen. Jedes durch Fine-Tuning entstandene Model wird mit seiner unveränderten Version verglichen, die am selben Tag und auf derselben Hardware lief.
Der durch Fine-Tuning entstandene Kev und beide Laya-Versionen sind auf Hugging Face.
p stammt aus einem gepaarten Test mit denselben 50 Aufgaben (exakter McNemar-Test), und p unter 0.05 gilt als signifikant. Das unveränderte Kev schloss an diesem Tag 21 Aufgaben ab, eine mehr als im Haupt-Benchmark. Einer von Kevs 12 Zugewinnen, C02, war im unveränderten Lauf ein Browser-Timeout und kein Model-Versagen. Ohne ihn gewann Kev 11 Aufgaben hinzu und verlor 1 (p = 0.006).
- Kev nach dem Fine-Tuning gewann auf sechs der neun Websites Aufgaben hinzu, jeweils drei auf Quotes to Scrape und Scrape This Site. Seine Ergebnisse bei Web Scraper, Wikipedia und den TestPages-Formularen änderten sich nicht.
- Kev nach dem Fine-Tuning beendete 5 Versuche als blockiert gegenüber 12 und erreichte das Aktionslimit 6-mal gegenüber 11. Es erklärte eine unfertige Aufgabe 7-mal für erledigt, gegenüber 4.
- Bei 41 Aufgaben von den Trainings-Websites, die aus dem Training herausgehalten wurden, schloss Kev 21 ab gegenüber 13 zuvor. Bei 101 Einzelentscheidungen aus 19 dieser Aufgaben wählte es in 94 % der Fälle die Operation des Labeling-Models, gegenüber 62 % zuvor.
- Layas erstes Fine-Tuning wählte die Operation des Labeling-Models bei 75 % der 88 Entscheidungen, die es lesen konnte, gegenüber 19 % für das unveränderte Laya. Es erklärte eine Aufgabe auf einer Seite, die noch eine Aktion benötigte, 2-mal für erledigt statt 53-mal.
- Im Benchmark erklärte Layas erstes Fine-Tuning eine unfertige Aufgabe 36-mal für erledigt, einmal bevor es eine Aktion ausführte. Das unveränderte Laya tat dies 32-mal, 17-mal davon vor jeder Aktion.
Warum Laya nahe null blieb
Der Einzelentscheidungs-Gewinn des ersten Fine-Tunings besteht größtenteils aus Scrollen. Es traf 33 der 47 Scroll-down-Entscheidungen, während das unveränderte Laya 2 traf und bei 38 mit „fertig“ antwortete. Das zweite Fine-Tuning traf 25 der 88 Entscheidungen und klickte bei 33 der 47 Scrollvorgänge. Es schloss dennoch 3 Benchmark-Aufgaben ab, mehr als jede andere Laya-Version.
Der Einzelentscheidungs-Test verwendet nur Seiten aus den erfolgreichen Läufen des Labeling-Models. Im Benchmark erfolgten 26 der 36 Falschmeldungen „Aufgabe erledigt“ des ersten Fine-Tunings nach ein oder zwei Aktionen, auf Seiten, die Laya selbst erreichte.
Unser Connector lehnt eine Anfrage ab, wenn eine Frage oder Option Layas Eingabelimits überschreitet. Auf vier der acht Trainings-Websites passte weniger als die Hälfte der aufgezeichneten Seiten. Insgesamt passten 292 der 606 Trainingsaufzeichnungen. Das erste Fine-Tuning prüfte die Größe bei einer Anfrage nur mit den Fragen, die jeder Schritt benötigt, und lernte daher auch aus Seiten, die Laya in einem Live-Lauf nie erhält.
Das zweite Fine-Tuning behielt nur diese 292 Aufzeichnungen und fügte 102 aus Layas eigenen Läufen hinzu. Wenn Laya eine Trainingsaufgabe für erledigt oder blockiert erklärte oder 10 Aktionen erreichte, übernahm GLM-5.3-Flash auf derselben Seite. Seine nächsten Entscheidungen wurden zu Labels, wenn der Lauf bestand. In 14 der neuen Aufzeichnungen hatte Laya die Aufgabe für erledigt erklärt, und GLM klickte stattdessen.
Vor dieser Runde legten wir fest, zu stoppen, wenn eine Runde weniger als 3 neu abgeschlossene zurückgehaltene Aufgaben gegenüber der vorherigen brachte. Das zurückgehaltene Set enthält 20 neue Automation-Exercise-Aufgaben, die GLM auf Seiten abschloss, die alle in Layas Eingabe passen. Das unveränderte Laya, das erste Fine-Tuning und eine Version, die nur auf den 292 lesbaren Aufzeichnungen trainiert wurde, schlossen keine ab. Das zweite Fine-Tuning schloss eine ab, also stoppten wir.
Laya erhielt eine zweite Runde mit Daten aus seinen eigenen Läufen, Kev nicht. Kevs Einstellungen waren vor jedem Benchmark-Lauf festgelegt, und sein Zugewinn war bereits signifikant. Layas zweite Runde trainierte auf 394 Aufzeichnungen gegenüber Kevs 606, und wir suchten nicht nach weiteren Websites mit kurzen Seiten. Das Ergebnis zeigt nicht, ob mehr Daten Laya helfen würden.
Methodik
Alle fünf Models nutzten dieselbe Browser-Runtime jev-ultrafast. Bei jedem Schritt wandelte sie die aktuelle Seite in Seitentext plus eine nummerierte Liste sichtbarer Steuerelemente um. Das Model wählte eine Operation wie click, type, select, done oder blocked sowie ein Ziel aus dieser Liste. Die Runtime führte die Aktion aus und las die Seite erneut.
Die drei Entscheidungs-Models ordnen die bereitgestellten Optionen und können keinen Text schreiben. Wenn ein Model die Operation „type“ wählte, schrieb der Texthelfer den Wert in das Formularfeld.
Jeder Versuch startete in einer neuen Browser-Sitzung. Alle fünf Models liefen am selben Tag mit denselben Aufgaben, derselben Runtime und derselben Bewertung.
Models
Niedriges Reasoning ist eine vom Anbieter definierte Einstellung für den Aufwand. Astras 307 Entscheidungen umfassten 791 gemeldete Reasoning-Tokens.
Dataset
Die 50 Aufgaben umfassen neun Websites: acht Übungsseiten, die für Scraping und Tests erstellt wurden, plus Wikipedia. Die Aufgaben umfassen Katalognavigation, Suche, Sortierung, Paginierung, Produktoptionen, Formulare und Artikelrecherchen. Jede Aufgabe startet von einer festen URL und beschreibt den Endzustand in einem Satz, zum Beispiel „Wechsle zu Science Fiction, finde Dune (Dune #1), öffne die Produktdetails und stoppe.“
Bevor die Models liefen, schloss ein Skriptlauf alle 50 Aufgaben nur mit den von der Runtime unterstützten Aktionen ab. Jede Aufgabe ist ohne Passwörter, CAPTCHAs oder die Eingabetaste lösbar.
Beispielaufgaben
Zehn der 50 Aufgaben sind auf Hugging Face mit den Anweisungen, der Start-URL, den Bestehensbedingungen und den Ergebnissen jedes Models veröffentlicht. Die anderen 40 werden für spätere Läufe zurückgehalten.
Evaluierung
Eine Aufgabe galt als bestanden, wenn das Model sie innerhalb der Limits für erledigt erklärte und eine separate Prüfung der Endseite jede Bedingung bestätigte: eine akzeptierte End-URL, die auf der Seite sichtbaren Fakten der Aufgabe, mehr als 100 Zeichen Seitentext und eine vollständig geladene Seite.
Jeder Versuch hatte 900 Sekunden, 60 Browser-Aktionen und 120 Entscheidungsaufrufe. API-Fehler zählten als Fehlschläge. Die Zeitmessung läuft von der ersten geladenen Seite bis zur Endprüfung.
Die Models konnten den Seitenladestatus nicht sehen, den die Prüfung verlangte. Jev bei B05 und Gemini bei M04 erreichten den richtigen Inhalt, scheiterten aber nur an dieser Prüfung, und sie zählen als Fehlschläge.
Kosten
Die API-Ausgaben umfassen die Entscheidungsaufrufe plus den Texthelfer, für alle 50 Versuche pro Model. OpenRouter meldete die Gebühren für GPT-6 Astra, Gemini und Mercury. Jevs Kosten ergeben sich aus seinen gemeldeten Tokens zum Listenpreis am 22. September 2026: $0,042 pro Million Eingabe-Tokens und keine Gebühr für die Ausgabe.4 Die Kev-Schätzung wurde nicht mit einer Rechnung abgeglichen.
Fine-Tuning
Die 327 Aufgaben, 286 für das Training und 41 zurückgehalten, stammen von acht Websites, die nicht im Benchmark enthalten sind, darunter Demo Web Shop, Automation Exercise und Project Gutenberg. Jede Aufgabe wurde in einem Browser geprüft: Ihre Startseite fällt beim Grader durch und ihre Zielseite besteht.
GLM-5.3-Flash, ein Open-Weight-Model unter der MIT-Lizenz,9 versuchte 300 der Aufgaben auf der Benchmark-Runtime mit niedrigem Reasoning. Anbieterfehler hinderten es an den übrigen 27. Wir verwendeten GPT-6 Astra oder Gemini hierfür nicht, da die Bedingungen von OpenAI und Google die Nutzung ihrer Ausgabe zum Aufbau konkurrierender Models verbieten.1011
Die 184 erfolgreichen Trainingsläufe ergaben 606 Entscheidungsaufzeichnungen. Ein Lauf galt als erfolgreich, wenn der Grader ihn bestand. Über alle Aufgaben hinweg zählten 11 weitere Läufe, weil sie über die Website-Suche die richtige Produktseite erreichten und nur an der Prüfung der exakten URL scheiterten.
Der Einzelentscheidungs-Test wiederholt 103 aufgezeichnete Entscheidungen aus 19 zurückgehaltenen Aufgaben und zählt, wie oft ein Model die Operation des Labeling-Models wählt. Kev konnte 101 davon lesen. Laya konnte 88 lesen, wenn nur die pro Schritt benötigten Fragen gesendet wurden, und 34 in der vollständigen Anfrage, die der Benchmark sendet. Bei diesen 34 stimmte das unveränderte Laya in 29 % der Fälle zu, das erste Fine-Tuning in 71 % und das zweite in 41 %.
Beide Models starteten von den unveränderten Gewichten, die wir im Benchmark verwendet hatten, und nutzten die Trainingsrezepte ihrer Hersteller mit den Eingabelimits des Benchmarks. Kev trainierte außerdem zwei Epochen statt einer, ohne die Replay-Aufzeichnungen des Herstellers. Jeder Trainingslauf dauerte unter 20 Minuten auf einer H100-GPU.
Das Kev-Paar und Layas erstes Paar liefen auf einer gemieteten H100 in Frankreich, mit Chrome unter Linux. Layas zweites Paar lief auf dem Mac aus dem Haupt-Benchmark. Jedes Paar verwendete die 50 Aufgaben, die Runtime, die Limits und den Grader des Haupt-Benchmarks, mit einem Versuch pro Aufgabe.
Einschränkungen
Jedes Model versuchte jede Aufgabe einmal, daher schätzen die Ergebnisse keine Zuverlässigkeit. Kev schloss 20 Aufgaben ab und Jev 17; ein einziger Lauf kann nicht sagen, ob dieser Unterschied bestehen bliebe.
Die 50 Aufgaben stammen von neun Websites, und Aufgaben auf derselben Website teilen sich Seitenlayouts. Die Models liefen nacheinander am selben Tag, und Live-Websites können sich zwischen den Läufen ändern.
Das Schrittformat, eine Operationsliste plus Ziellisten, wurde zuerst für Jev gebaut. Jedes Model erhielt dasselbe Format. Wir testeten nicht, ob ein anderes Format die Ergebnisse verändern würde. Laya lief mit Eingabelimits oberhalb seiner veröffentlichten Einstellungen, damit lange Seiten nicht abgeschnitten wurden.
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk},
title = {{AIM-Decision: Jev vs. Kev vs. LLMs}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/decision-models}},
note = {AIMultiple. Abgerufen am 5. Oktober 2026}
}Ergebnisse und Zeitstempel von 146 Datenpunkten. Laden Sie die Zusammenfassungsdaten aus den Diagrammen und Tabellen dieses Artikels als ZIP-Datei herunter, die 5 CSV-Dateien und eine README enthält.
Möchten Sie die granularen Daten dahinter? Premium beitreten
Referenzlinks
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.