AIM-Decision: Jev gegen Kev gegen LLMs
Decision-Models, auch System-One-Models genannt,1 bewerten eine feste Optionenliste, statt Text Token für Token zu generieren. Wir testeten 22 Decision-Models anhand von 1.655 Klassifikationsfragen, etwa der Bewertung einer Sicherheitslücke oder eines Produktrückrufs, und führten 19 davon bei 50 Browser-Aufgaben aus.
Ergebnisse des Klassifikations-Benchmarks
- decider-12b erzielte 46.4 bei Sicherheitslücken und 62.4 bei Rückrufen, bei $0,06 pro 1.000 Entscheidungen. Kein Decision-Model erzielte bei einer der beiden Aufgaben signifikant mehr.
- Jev 1.13 kostete $0,039 pro 1.000 Entscheidungen und erzielte 47.9, etwa einen Punkt unter Kev-9B und Nimble 9B, die etwa das 7- und 9-Fache kosteten.
- Eikos-27B, mit 27 Milliarden Parametern, kostete $0,075 pro 1.000 Entscheidungen. Tev1 4B mit 4 Milliarden kostete $0.34.
- GLiDE erzielte 46.5 bei Sicherheitslücken gegenüber 46.4 von decider-12b, brauchte aber 15,7 Sekunden pro Entscheidung gegenüber 0.13 und kostete $0,48 pro 1.000 Entscheidungen. Clef erreichte im Schnitt 51.0 zu $0,17 über Cloudflares API.
Erfolgsraten der Browser-Automatisierung
Ein Versuch pro Aufgabe; die LLMs liefen mit der Einstellung für niedrigen Reasoning-Aufwand ihrer API.
- Solar Decide, Nimble 9B und die beiden Tev1-Models sind nicht eingestuft: Ihre Dienste akzeptieren höchstens 26 Optionen pro Frage, und 17 der 50 Aufgaben öffnen auf einer Seite mit mehr. Laya ist ebenfalls nicht eingestuft, da die Eingabelimits Anfragen ablehnten, die andere Models vollständig erhielten.
- Kev-27B schloss 40 Aufgaben ab, zwei weniger als Gemini 3.8 Flash und sieben weniger als GPT-6 Astra, zu geschätzten $0,006 pro abgeschlossener Aufgabe gegenüber $0,026 für Gemini und $0,226 für Astra.
- Die Decision-Models schafften zusammen 44 der 50 Aufgaben, darunter zwei der drei, bei denen Astra scheiterte.
- decider-12b, Erster bei der Klassifikation, schloss 16 Browser-Aufgaben ab; Kev-27B, der bei der Klassifikation unter Jev lag, schloss 40 ab.
Siehe 10 Beispielaufgaben und die Ergebnisse jedes Models auf Hugging Face und wie wir den Benchmark unter Methodik ausgeführt haben.
Decision-Models vs. LLMs bei Browser-Aufgaben
Die meisten LLMs schreiben ihre Antwort Token für Token, und jeder Token kostet Rechenleistung und Zeit. Bei den meisten Browser-Schritten wählt der Agent lediglich eine Operation und ein Steuerelement auf der Seite aus.
Ein Decision-Model liest die Seite und die Optionen, bewertet jede Option und gibt die wahrscheinlichste zurück. Es liefert eine Wahrscheinlichkeit für jede Option statt generierten Textes, sodass ein Schritt keine lange Ausgabe benötigt. Wenn Decision-Models genau genug werden, könnte dieselbe Automatisierung viel schneller und zu einem Bruchteil der LLM-Kosten laufen.
Die Decision-Models geben, so wie wir sie eingesetzt haben, Optionsbewertungen und keinen Text zurück; daher schreibt ein separates Text-Model, Mercury 2.5,2 die Werte, die in Formularfelder eingegeben werden. Wir nennen es den Text-Helfer, und es stand jedem Model zur Verfügung.
Wir haben jedes Model mit der Open-Source-Runtime jev-ultrafast von browser-use ausgeführt,3 die für Jev 1.13 von TypeSafe gebaut wurde.4 GPT-6 Astra dient als High-End-LLM-Referenz und Gemini 3.8 Flash als kostengünstige. Alle Models sind unter Methodik aufgeführt.
Fünf Models bei derselben Aufgabe
Auf Wikipedia tippte jedes Model außer Laya in das Suchfeld, der Text-Helfer schrieb „Ada Lovelace“, und das Model wählte den richtigen Vorschlag. Jev erreichte den Artikel in 8,1 Sekunden, Gemini in 11.0, Astra in 18.9 und Kev-9B in 43.8. Laya erklärte die Aufgabe auf der Hauptseite für erledigt, ohne eine Aktion auszuführen.
Die Filteraufgabe erfordert zwei Dropdowns und einen Suchbutton. Jev, Gemini und Astra führten dieselben vier Schritte aus und waren in 4.6, 10.7 und 20,3 Sekunden fertig. Laya klickte auf das Site-Logo und erklärte die Aufgabe für erledigt. Kev-9B scheiterte bei dieser Aufgabe im Benchmark, und in der Demo klickte es nach 11 Minuten noch immer, weshalb es in diesem Clip ausgelassen wird.
Die Beschriftungen zeigen die gewählte Operation und das Ziel jedes Models sowie bei Decision-Models die Wahrscheinlichkeit dieser Operation. Die Clips stammen aus einem separaten Demo-Lauf mit 1×-Geschwindigkeit, nicht aus dem bewerteten Benchmark, und jede Endseite wurde mit dem Grader des Benchmarks geprüft.
Wie Models scheiterten
Jev und Kev-9B schlossen zusammen 26 unterschiedliche Aufgaben ab. Beide schlossen die zwei Wikipedia-Aufgaben und die Web-Scraper-Dropdown-Aufgabe ab, ebenso beide LLMs. Bei Books to Scrape, wo jede Aufgabe von einer Kategorienliste zu einer Produktseite führt, schloss Jev keine der sechs ab und Kev-9B schloss drei ab. Kev-27B, Eikos-27B und AutoJev-27B schlossen alle sechs ab.
- Jev erklärte die Aufgabe in 24 seiner 33 Fehlschläge für blockiert, 16 Mal, bevor es eine Aktion ausführte.
- Kev-9B benötigte im Median 9.5 Aktionen bei fehlgeschlagenen Aufgaben, gegenüber 3 bei Aufgaben, die es abschloss. Zehn Versuche stießen an das Aktions- oder Decision-Call-Limit, und fünf weitere wurden gestoppt, nachdem drei Aktionen in Folge die Seite unverändert ließen.
- Kev-4B vom Entwickler von Kev-9B erklärte die Aufgabe bei 29 der 50 Aufgaben bei seiner ersten Entscheidung für blockiert.
- Kev-27B, Eikos-27B und GLiDE scheiterten alle an sieben gemeinsamen Aufgaben. Sie erklärten vier davon für blockiert, zwei ScrapeMe-Produktabfragen und zwei Web-Scraper-Aufgaben, und keines der drei schloss die Checkbox oder das Rechnerformular ab.
- GPT-6 Astra scheiterte bei 3 Aufgaben. Es markierte eine ScrapeMe-Kategorieaufgabe als blockiert, tippte weiter in dasselbe Rechnerfeld, bis es gestoppt wurde, und bei Formularaufgabe T02 lieferte der Text-Helfer keinen gültigen Wert, nachdem Astra das Formular ausgefüllt und abgeschickt hatte.
- Gemini 3.8 Flash scheiterte bei 8, einschließlich desselben T02-Endes. Vier Fehlschläge erreichten die richtige Seite, wurden aber nicht fertig, zwei wurden von unserer Kostensicherung gestoppt, als OpenRouter keine Gebühr meldete, und einer stieß an das Aktionslimit.
Warum einige Models 0/50 erreichten
GLiNER2.5-Decide
GLiNER2.5-Decide von Fastino5 erklärte alle 50 Aufgaben zu früh für erledigt, 49 davon bei seiner ersten Entscheidung. Bei den 37 Aufgaben, die sich eine Startseite mit einer anderen Aufgabe teilen, unterschieden sich seine Operationswahrscheinlichkeiten zwischen den Zielen um höchstens 6 Punkte.
Fastino beschreibt GLiNER2.5-Decide als Klassifizierer für Entscheidungen wie Ticket-Routing, Absicht, Dringlichkeit und ob ein Agent fertig ist, und gibt an, dass das Model nicht nachdenkt. Das Model ist für Eingaben von bis zu 512 Tokens ausgelegt, akzeptiert aber längere. Unsere Erste-Schritt-Anfragen hatten einen Median von 1.915 Tokens.
CLM-v0.1-8B
CLM-v0.1-8B von Contrastive-LM6 wählte bei 2.199 seiner 2.288 Operationsentscheidungen „wait“, sodass 36 Versuche keine Aktionen mehr hatten. Auf denselben Startseiten unterschieden sich seine Wahrscheinlichkeiten zwischen den Zielen um höchstens 13 Punkte.
Contrastive-LM gibt an, dass CLM-v0.1-8B ohne Fine-Tuning bei Computer-Use-, Gaming- und Tool-Calling-Aufgaben mit Jev gleichzieht und dass es Jevs Anfrageformat unverändert akzeptiert.7 Wir schickten ihm Anfragen in diesem Format.
Geschwindigkeit und Erfolg
Kev-27B, Eikos-27B und AutoJev-27B schlossen 68 % bis 80 % der Aufgaben mit einem Median von etwa 7 Sekunden pro Versuch ab, schneller als Gemini mit 12,7 Sekunden und Astra mit 17.4. decider-4b, decider-12b und Jev benötigten 2.5 bis 4,2 Sekunden pro Versuch und erklärten 19 bis 24 Aufgaben für blockiert.
GLiDE schloss 72 % mit einem Median von 46,8 Sekunden pro Versuch ab, am langsamsten von allen Models, und 3 seiner Versuche stießen an das 900-Sekunden-Limit.
GLiNER2.5-Decide (0,2 Sekunden) erklärte 49 von 50 Aufgaben bei seiner ersten Entscheidung für erledigt, und Kev-4B erklärte 29 Aufgaben bei seiner ersten für blockiert.
Kev-9B benötigte im Median 38,3 Sekunden pro Versuch, fünfmal so viel wie Kev-27B. Jede Kev-9B-Entscheidung benötigte im Median 3,7 Sekunden Serverzeit, gegenüber etwa 1 Sekunde für einen vollständigen Jev-API-Call. Der Anfrage-Overhead fügte etwa eine halbe Sekunde hinzu.
Kev-9B benötigte im Schnitt 26 Entscheidungen pro Versuch, gegenüber etwa 4 bei Jev, und 90 % davon entfielen auf fehlgeschlagene Versuche.
Kosten
Kosten der Browser-Automatisierung
† Schätzung: A100-Kosten pro Eingabe-Token aus dem Klassifikationsdurchsatztest, multipliziert mit den Browser-Eingabe-Tokens, zuzüglich der Gebühren des Text-Helfers. Methode unter Methodik.
‡ Der höhere Wert addiert 17 Anfragen, die ohne gemeldete Tokens fehlschlugen, mit je 120.000 Eingabe-Tokens; Fastino stellt sie möglicherweise nicht in Rechnung.
Astra, Gemini und Jev verwendeten jeweils 3.150 bis 3.470 Eingabe-Tokens pro Entscheidung. Astras Eingabepreis ist etwa das 240-Fache von Jevs.89
Bei niedrigem Reasoning erzeugte Astra 6.599 Ausgabe-Tokens über 307 Entscheidungen, gegenüber 968.376 Eingabe-Tokens. Jevs Ausgabepreis beträgt $0.
Zu Jevs Eingabepreis hätten Astras 968.376 Decision-Eingabe-Tokens etwa $0,04 statt $9,68 gekostet. Kev-27B kam bis auf sieben Aufgaben an Astra heran, für geschätzte $0,25 über die 50 Aufgaben, gegenüber Astras $10.63.
Nach diesen Schätzungen kostete jedes Decision-Model in der Tabelle, das eine Aufgabe abschloss, außer Kev-9B, pro abgeschlossener Aufgabe weniger als Gemini. Keines kostete weniger als Jev.
- Kev-9B kostete pro abgeschlossener Aufgabe etwa das Dreifache von Gemini und das 46-Fache von Jev. Seine geschätzten A100-Kosten betrugen etwa $0,47 pro Million Eingabe-Tokens, das 11-Fache von Jevs API-Preis, und es traf 1.321 Entscheidungen gegenüber Jevs 185.
- Kev-4Bs geschätzte GPU-Kosten pro Token betrugen etwa das 6.5-Fache seines OpenRouter-Preises.
Die gemietete A100-Zeit für den Kev-9B-Lauf, 3.32 Stunden einschließlich Setup- und Leerlaufzeit, belief sich auf etwa $5.31. Eine Jev-Gebühr und zwei Gemini-Gebühren wurden nicht erfasst und fehlen in der Tabelle.
Klassifikationskosten
Hosted-Models werden zu ihren API-Listenpreisen berechnet, außer Solar Decide zu den in Rechnung gestellten Gebühren. Lokale Models werden pro 1.000 Entscheidungen zum höchsten Durchsatz berechnet, den wir auf einer gemieteten A100 gemessen haben.
Eine gemietete A100 kostet etwa $40 pro Tag, ob ausgelastet oder im Leerlauf. Bei der von uns erfassten Rate kauft man für $40 etwa eine Million Jev-Entscheidungen.
Als bevorzugte Quelle hinzufügenTraining von Decision-Models
Wir haben Kev-9B und Laya auf Entscheidungen fine-getunt, die GLM-5.3-Flash, das Labeling-Model, bei Browser-Aufgaben von acht Websites außerhalb des Benchmarks getroffen hat. Danach führten wir die 50 Aufgaben erneut aus. Jedes fine-getunte Model wird mit seiner Stock-Version verglichen, ausgeführt am selben Tag und auf derselben Hardware.
Der fine-getunte Kev und beide Laya-Versionen sind auf Hugging Face.
p stammt aus einem gepaarten Test bei denselben 50 Aufgaben (exakter McNemar-Test), und p unter 0.05 gilt als signifikant. Stock-Kev schloss in diesem Vergleich 21 Aufgaben ab, eine mehr als in den obigen Ergebnissen. Einer von Kevs 12 Zugewinnen, C02, war im Stock-Lauf ein Browser-Timeout und kein Model-Fehler. Ohne diesen gewann Kev 11 Aufgaben und verlor 1 (p = 0.006).
- Fine-getunter Kev gewann Aufgaben auf sechs der neun Websites, jeweils drei auf Quotes to Scrape und Scrape This Site. Seine Ergebnisse bei Web Scraper, Wikipedia und den TestPages-Formularen änderten sich nicht.
- Fine-getunter Kev beendete 5 Versuche blockiert, gegenüber 12, und stieß 6 Mal an das Aktionslimit, gegenüber 11. Er erklärte eine unfertige Aufgabe 7 Mal für erledigt, gegenüber 4.
- Bei 41 Aufgaben von den Trainings-Websites, die aus dem Training herausgehalten wurden, schloss Kev 21 ab, gegenüber 13 zuvor. Bei 101 Einzelentscheidungen aus 19 dieser Aufgaben wählte er in 94 % der Fälle die Operation des Labeling-Models, gegenüber 62 % zuvor.
- Layas erster Fine-Tune wählte bei 75 % der 88 Entscheidungen, die es lesen konnte, die Operation des Labeling-Models, gegenüber 19 % bei Stock-Laya. Es erklärte eine Aufgabe auf einer Seite, die noch eine Aktion erforderte, 2 Mal für erledigt statt 53 Mal.
- Im Benchmark erklärte Layas erster Fine-Tune eine unfertige Aufgabe 36 Mal für erledigt, einmal bevor er eine Aktion ausführte. Stock-Laya tat dies 32 Mal, 17 davon vor einer Aktion.
Anwendungsfälle für Decision-Models
- Prüfen des Fertig-Signals eines Agenten. Auf der letzten Seite, die ein Browser-Agent sah, bevor er eine Aufgabe für erledigt erklärte, erzielten 13 der 22 Decision-Models über 90 bei der Unterscheidung von erledigt und nicht erledigt, und AutoJev-27B, Clef und Kev-27B erzielten 99.5. Wir testeten keine Prüfungen auf Seiten früher in einem Lauf.
- Triage mit festen Labels, etwa der Bewertung von Sicherheitshinweisen oder Rückrufen. decider-12b übertraf zufällige Antworten um 21 Punkte bei der Schwere und um 29 bei Rückrufen. Bei Papierthemen erzielte ein Keyword-Klassifizierer, trainiert auf 28.595 gelabelten Papers, 70.4, und kein Decision-Model erzielte signifikant mehr; dieselbe Art von Klassifizierer erzielte bei Schwere und Rückrufen nahezu zufällige Werte.
- Auswahl jeder Aktion in der Browser-Automatisierung. Das beste Decision-Model, Kev-27B, schloss 40 von 50 Aufgaben ab, gegenüber 42 und 47 bei den beiden LLMs. Fine-Tuning von Kev-9B mit 606 Entscheidungen aus anderen Websites steigerte es von 21 auf 32.
Bei den beiden Hauptklassifikationsaufgaben kosteten lokale Decision-Models schätzungsweise $0,014 bis $0,36 pro 1.000 Entscheidungen auf einer gemieteten GPU und benötigten im Schnitt unter einer Sekunde pro Entscheidung. Bei den Browser-Aufgaben betrug Jevs Eingabepreis etwa 1/240 von GPT-6 Astra.
Jede Antwort enthält außerdem eine Wahrscheinlichkeit pro Option, mit der eine Anwendung unsichere Fälle an ein LLM weiterreichen könnte. Wir haben nicht getestet, wie gut diese Wahrscheinlichkeiten mit der tatsächlichen Genauigkeit übereinstimmen. Siebzehn der 22 Models liefen auf einer einzigen gemieteten GPU; Jev, Solar Decide, GLiDE, Clef und Clef-Flash sind gehostete APIs.
Methodik
Browser-Automations-Benchmark
Alle Models verwendeten dieselbe Browser-Runtime jev-ultrafast. Bei jedem Schritt wandelte sie die aktuelle Seite in Seitentext plus eine nummerierte Liste sichtbarer Steuerelemente um. Das Model wählte eine Operation wie click, type, select, done oder blocked und ein Ziel aus dieser Liste. Die Runtime führte die Aktion aus und las die Seite erneut.
Die Decision-Models ordnen die vorgegebenen Optionen und geben keinen Text zurück. Wenn ein Model `type` wählte, schrieb der Text-Helfer den Wert in das Formularfeld. Jeder Versuch begann in einer frischen Browser-Sitzung.
GPT-6 Astra, Gemini 3.8 Flash, Jev, Kev-9B und Laya liefen am 22. September 2026, mit dem Browser auf einem Mac und Kev-9B auf einer gemieteten A100-GPU.
GLiNER2.5-Decide und CLM-v0.1-8B liefen am 25. September auf gemieteten RTX-4090-GPUs mit Chrome unter Linux. Kev-4B lief am 29. September auf einer gemieteten RTX-A6000-GPU. Solar Decide lief am 30. September über OpenRouter von demselben Mac, und Nimble 9B sowie beide Tev1-Models liefen am selben Tag über Ollama 0.35.0 auf einer gemieteten RTX-A6000-GPU mit Chrome unter Linux.
GLiDE, Clef und Clef-Flash liefen am 2. Oktober über die APIs ihrer Anbieter von demselben Mac, mit Chrome 154 statt 153. Kev-27B, AutoJev-27B, Eikos-27B, Eikos-4B, decider-4b und decider-12b liefen am 2. und 3. Oktober auf gemieteten A100-GPUs mit Chrome unter Linux.
Keine Anfrage wurde gekürzt, um einem Model zu passen. Solar Decides API und Ollama akzeptieren 2 bis 26 Optionen pro Frage. Eine Anfrage außerhalb dieser Limits beendete den Versuch, ebenso wie übergroße Anfragen bei Laya. Ollama akzeptiert Optionsbeschreibungen nur als Text, daher wurden strukturierte Optionen als kompakter JSON-Text gesendet. Tev1 wird mit einem 2.050-Token-Kontext ausgeliefert; wir erhöhten ihn auf 8.194, die eigene Einstellung von Nimble, damit Seiten nicht abgeschnitten wurden.
Der Dienst von Cloudflare liest für Clef und Clef-Flash nur die ersten 2.048 Tokens des Seitentexts. Wir sendeten keine längeren Seiten, was einen Versuch für jedes Model beendete.
Clef, Clef-Flash, decider und Eikos benötigen mindestens zwei Optionen pro Frage. Eine Frage mit nur einer Option, etwa das einzige Textfeld einer Seite, wurde mit dieser Option doppelt gesendet, und die Antwort wurde ihr wieder zugeordnet.
Wir führten Kev-9B mit dem Referenzcode des Herstellers in voller 32-Bit-Präzision aus. Zwei optionale Kernel-Pakete, die sein Basismodel beschleunigen, waren nicht installiert, sodass das Model auf langsamere Referenz-Kernel zurückfiel. Wir testeten kein schnelleres GPU-Setup.
CLMs eigener Code wandelt jede Anfrage in Text um. GLiNER erhielt denselben Text, mit dem Ziel und den Regeln jeder Frage als Prompt. Kev-4B wird außerdem auf OpenRouter von SiliconFlow mit 8-Bit-Präzision bereitgestellt.10 Über diesen Weg vom Mac aus am 29. September ausgeführt, schloss Kev-4B 6 Aufgaben ab.
Browser-Models
Niedriges Reasoning ist eine vom Anbieter definierte Einstellung für den Aufwand. Astras 307 Entscheidungen enthielten 791 gemeldete Reasoning-Tokens. Kev-9B11 und Kev-4B12 stammen vom selben Entwickler, und Nimble 9B stammt von Bespoke Labs.13 GLiDE stammt von Fastino, dem Entwickler von GLiNER2.5-Decide,14 und Clef und Clef-Flash von Cloudflare.15
Dataset
Die 50 Aufgaben umfassen neun Websites: acht Übungsseiten für Scraping und Tests sowie Wikipedia. Die Aufgaben beinhalten Katalognavigation, Suche, Sortierung, Pagination, Produktoptionen, Formulare und Artikelabfragen. Jede Aufgabe beginnt bei einer festen URL und beschreibt den Endzustand in einem Satz, zum Beispiel „Wechsle zu Science-Fiction, finde Dune (Dune #1), öffne die Produktdetails und stoppe.“
Bevor die Models liefen, schloss ein skriptgesteuerter Lauf alle 50 Aufgaben ab, wobei nur die von der Runtime unterstützten Aktionen verwendet wurden. Jede Aufgabe ist ohne Passwörter, CAPTCHAs oder die Enter-Taste lösbar.
Beispielaufgaben
Zehn der 50 Aufgaben sind auf Hugging Face veröffentlicht, mit den Anweisungen, der Start-URL, den Bestehensbedingungen und den Ergebnissen jedes Models. Die übrigen 40 werden für spätere Läufe zurückgehalten.
Evaluierung
Eine Aufgabe galt als bestanden, wenn das Model sie innerhalb der Limits für erledigt erklärte und eine separate Prüfung der Endseite jede Bedingung bestätigte: eine akzeptierte End-URL, die auf der Seite sichtbaren Fakten der Aufgabe, mehr als 100 Zeichen Seitentext und eine vollständig geladene Seite.
Jeder Versuch hatte 900 Sekunden, 60 Browser-Aktionen und 120 Decision-Calls. API-Fehler zählten als Fehlschläge. Die Zeitmessung läuft von der ersten geladenen Seite bis zur Endprüfung.
Die Models konnten den Seitenladestatus, den die Prüfung verlangte, nicht sehen. Jev bei B05 und Gemini bei M04 erreichten den richtigen Inhalt, scheiterten jedoch nur an dieser Prüfung, und sie zählen als Fehlschläge.
Kosten
Die API-Kosten decken die Decision-Calls und den Text-Helfer ab, für alle 50 Versuche pro Model. OpenRouter meldete die Gebühren für GPT-6 Astra, Gemini und Mercury. Jevs Kosten entsprechen seinen gemeldeten Tokens zum Listenpreis am 22. September 2026: $0,042 pro Million Eingabe-Tokens und keine Gebühr für die Ausgabe.4 GLiDE, Clef und Clef-Flash werden ebenfalls zu ihren Listenpreisen berechnet.
Self-gehostete Browser-Läufe verwendeten eine A100, A6000, RTX 4090 oder einen Mac. Wir berechnen alle auf Basis der A100 aus dem Klassifikationskostentest zu $1,673 pro Stunde: die Kosten pro Eingabe-Token jedes Models dort, multipliziert mit seinen Browser-Eingabe-Tokens, plus die Gebühren des Text-Helfers.
Beide Workloads bestehen fast vollständig aus Eingaben, da diese Models Optionsbewertungen oder wenige Tokens zurückgeben. Die Schätzung nimmt an, dass die Kosten proportional zu den Eingabe-Tokens steigen. Die Browser-Eingaben waren im Durchschnitt 2- bis 12-mal so lang wie die Klassifikationsfragen desselben Models, und wir haben die Browser-Seiten nicht durch den Durchsatztest laufen lassen.
Fine-Tuning
Die 327 Aufgaben, 286 für das Training und 41 zurückgehalten, stammen von acht Websites, die nicht im Benchmark enthalten sind, darunter Demo Web Shop, Automation Exercise und Project Gutenberg. Jede Aufgabe wurde in einem Browser geprüft: Ihre Startseite fällt beim Grader durch, und wenn die Aufgabe auf einer anderen URL endet, besteht diese Seite.
GLM-5.3-Flash, ein Open-Weight-Model unter MIT-Lizenz,16 versuchte 300 der Aufgaben auf der Benchmark-Runtime bei niedrigem Reasoning. Anbieterfehler hielten es von den anderen 27 ab. Wir verwendeten hierfür weder GPT-6 Astra noch Gemini, da die Bedingungen von OpenAI und Google die Nutzung ihrer Ausgabe zum Aufbau konkurrierender Models verbieten.1718
Die 184 erfolgreichen Trainingsläufe ergaben 606 Decision-Records. Ein Lauf galt als erfolgreich, wenn der Grader ihn bestand oder wenn er über die Site-Suche die richtige Produktseite erreichte und nur an der Prüfung der exakten URL scheiterte, wie es 11 Läufe über alle Aufgaben hinweg taten.
Der Einzelentscheidungstest wiederholt 103 aufgezeichnete Entscheidungen aus 19 zurückgehaltenen Aufgaben und zählt, wie oft ein Model die Operation des Labeling-Models wählt. Kev konnte 101 davon lesen. Laya konnte 88 lesen, wenn nur die pro Schritt benötigten Fragen gesendet wurden, und 34 in der vollständigen Anfrage des Benchmarks. Bei diesen 34 stimmte Stock-Laya in 29 % der Fälle zu, der erste Fine-Tune in 71 % und der zweite in 41 %.
Beide Models starteten von den von uns benchmarkten Stock-Gewichten und verwendeten die Trainingsrezepte ihrer Hersteller mit den Eingabelimits des Benchmarks. Kev trainierte außerdem zwei Epochen statt einer, ohne die Replay-Records des Herstellers. Jeder Trainingslauf dauerte unter 20 Minuten auf einer H100-GPU.
Layas erster Fine-Tune verwendete dieselben 606 Records und übersprang alle, die für Laya zu lang waren. Der zweite behielt nur die 292, die in die vollständige Anfrage des Benchmarks passten, und fügte 102 aus Layas eigenen Läufen hinzu, bei denen GLM-5.3-Flash übernahm, nachdem Laya eine Aufgabe für erledigt oder blockiert erklärt hatte. Kev hatte keine zweite Runde.
Das Kev-Paar und Layas erstes Paar liefen auf einer gemieteten H100 in Frankreich, mit Chrome unter Linux. Layas zweites Paar lief auf dem Mac des Hauptbenchmarks. Jedes Paar verwendete die 50 Aufgaben, Runtime, Limits und den Grader des Hauptbenchmarks, mit einem Versuch pro Aufgabe.
Klassifikations-Benchmark
Jedes Item ist eine Entscheidung mit einer festen Optionsmenge. Die Items stammen aus von Juli bis September 2026 veröffentlichten Aufzeichnungen und aus unveröffentlichten Snapshots von Endseiten aus unseren eigenen Browser-Läufen. Eine Überschneidung mit dem Training kann nicht ausgeschlossen werden.
Die ersten drei Aufgaben verlangen von einem Model, eine von einer Institution erfasste Entscheidung allein anhand des Textes zu reproduzieren. GitHub und die FDA haben möglicherweise Evidenz verwendet, die der Text nicht enthält. Die Schweregrade von GitHub sind die vier Stufen von CVSS, dem Standard-Bewertungssystem für Schwachstellen.19
Jedes Model erhielt für eine Aufgabe dieselben Anweisungen und Optionsdefinitionen: die Klassendefinitionen der FDA, die Schweregrad-Bänder von GitHub und die Kategoriebeschreibungen von arXiv. Die Reihenfolge der Optionen wurde pro Item gemischt und war für jedes Model gleich. Schweregrad von Sicherheitslücken und Gefahrenstufe bei Rückrufen sind die Hauptaufgaben und wurden vor jedem Lauf festgelegt; Papierthemen und die Task-done-Prüfung sind ergänzend.
Der Score ist balancierte Genauigkeit: die Erfolgsrate innerhalb jeder möglichen Antwort, gemittelt über die Antworten.
Ein Model, das immer die häufigste Antwort gibt, erreicht 25 bei der Schwere, 33 bei Rückrufen und 5 bei Papierthemen. Der Chart-Score ist der Durchschnitt der beiden Hauptaufgaben, bei denen diese Antwort etwa 29 erreicht. Die Intervalle sind 95 %-Bootstrap-Intervalle, die zusammengehörige Items gemeinsam neu ziehen: Hinweise für dasselbe Paket, Rückrufe aus demselben Rückrufereignis und Seiten aus derselben Browser-Aufgabe.
Zwei LLMs, Qwen 3.8 Max und Claude Opus 5.5, labelten eine Stichprobe von 350 Testitems, 100 pro Aufgabe und 50 Browser-Seiten, ohne die erfasste Antwort zu sehen.
Sie stimmten bei 62 von 100 Sicherheitshinweisen, 69 von 100 Rückrufen, 84 von 100 Papers und 49 von 50 Browser-Seiten überein. Wo sie bei Hinweisen und Rückrufen von der Erfassung abwichen, lagen sie meist eine Stufe daneben, in Richtung der mittleren Stufen. Sie trafen den Schweregrad von GitHub bei 55 und 56 von 100 Hinweisen.
Beide Juroren gaben bei 54 Items dieselbe Antwort, die von der Erfassung abwich. Wir prüften die 53 GitHub-, FDA- und arXiv-Einträge gegen die Live-Quelle, und alle stimmten überein, sodass kein Label geändert wurde.
Die eine Browser-Seite wurde als erledigt gelabelt, weil der Grader auf der vollständigen Seite mindestens 40 Bewertungen zählte, während der Snapshot, den die Models sehen, etwa neun zeigt. Wir entfernten sie und die 48 anderen Task-done-Items, deren Antwort vom Zählen von 10 oder mehr Elementen abhing, womit 155 übrig bleiben.
Die lokalen Kosten gelten für die Einstellung, die wir auf dieser GPU getestet haben; eine andere Servereinstellung oder GPU würde sie verändern. Zwischen dem bewerteten Lauf und dem Kostenlauf änderte CLM-v0.1-8B 3,7 % seiner Antworten, Shisa DE-1 2,2 % und Tev1 0.8B 1,2 %; daher stammen ihre Kosten aus einem Setup, das ihre Scores nicht exakt reproduzierte. Die übrigen 14 lokalen Models änderten sich um unter 1 %.
Ausnahmen von der Ausführung jedes Models wie veröffentlicht:
- Laya lief mit einem 8.192-Token-Kontext statt der veröffentlichten 512 (1.024 für typed-decisions), und Tev1 mit 8.194 statt 2.050, wie in unseren Browser-Läufen.
- Wo Layas eigener Code eine lange Option oder Eingabe abgeschnitten hätte, lehnte unser Connector die Anfrage stattdessen ab, und eine Ablehnung zählt als falsche Antwort. Jede Papierthema-Anfrage wurde abgelehnt, weil die Themenbeschreibungen länger sind als die 48 Tokens, die Laya pro Option liest.
- Der Encoder-Kontext von CLM wurde von 2.048 auf 16.384 Tokens erhöht; GLiNER lief über seine dokumentierte 512-Token-Eingabe hinaus. Shisa verwendete einen 32.768-Token-Kontext, um in den GPU-Speicher zu passen.
- Wir konnten Decision-1.0-Lux-9B nicht ausführen: Seine Runtime führt dieses Model nur auf AMD- (ROCm-) GPUs aus, und wir verwendeten eine NVIDIA-GPU.
- Together AI hatte bis zum 30. September 2026 keine Lizenz für die Tev1-Gewichte veröffentlicht.
- Der Dienst von Cloudflare liest für Clef und Clef-Flash nur die ersten 2.048 Tokens des Item-Texts, obwohl die Models 65.536 akzeptieren. Die 12 längeren Items, 9 zur Schwere und 3 zu Rückrufen, zählen als falsche Antworten.
Limitationen
Jedes Model versuchte jede Browser-Aufgabe einmal, sodass ein Abstand von einigen Aufgaben zwischen zwei Models nicht zeigt, welches besser ist.
Die 50 Aufgaben stammen von neun Websites, und Aufgaben auf derselben Site teilen sich Seitenlayouts. Die Models liefen auf Live-Websites, die sich zwischen den Läufen ändern können.
Das Schrittformat, eine Operationsliste plus Ziellisten, wurde zuerst für Jev gebaut. Jedes Model erhielt dasselbe Format. Wir haben nicht getestet, ob ein anderes Format die Ergebnisse verändern würde. Laya lief mit Eingabelimits oberhalb seiner veröffentlichten Einstellungen, damit lange Seiten nicht abgeschnitten wurden.
Im Klassifikations-Benchmark beantwortete jedes Model jedes Item einmal. Die GitHub- und FDA-Antworten sind die erfassten Entscheidungen dieser Institutionen, die auf Evidenz beruhen können, die der Hinweis- oder Rückruftext nicht enthält.
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk},
title = {{AIM-Decision: Jev gegen Kev gegen LLMs}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/decision-models}},
note = {AIMultiple. Abgerufen am 5. Oktober 2026}
}Ergebnisse und Zeitstempel von 251 Datenpunkten. Laden Sie die Zusammenfassungsdaten aus den Diagrammen und Tabellen dieses Artikels als ZIP-Datei herunter, die 10 CSV-Dateien und eine README enthält.
Möchten Sie die granularen Daten dahinter? Premium beitreten
Referenzlinks
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.