A-CODE-CLI Bench: Agentic-CLI-Benchmark

Agentic-CLI-Tools sind KI-Coding-Tools, die Dateien erstellen und löschen, Befehle ausführen, planen und die Codierung des gesamten Projekts ausführen können. Wir haben die führenden Tools in 10 realen Webentwicklungsszenarien bewertet und dabei ~600 atomare Validierungsprüfungen pro Agent sowie mehr als ~5.000 automatisierte Testausführungen insgesamt durchgeführt, einschließlich Backend-Logik, Frontend-Funktionalität und Konsistenzüberprüfung über mehrere Läufe hinweg.

Agentic-CLI-Benchmark-Ergebnisse

Leistungserkenntnisse zu Agentic-CLI-Tools

Die Backend-Korrektheit bestimmt das Ranking; der kombinierte Score gewichtet sie mit 0,7 gegenüber dem Frontend mit 0,3.

• Alle neun sauber laufenden Agenten nutzen dasselbe Sonnet 4.6, doch das Backend reicht von OpenCodes 77,3 % bis hinunter zu Gooses 55,4 %. Diese Lücke von 22 Punkten kommt ausschließlich aus der Orchestrierung.
• Ein starkes Backend garantiert keinen starken Abschluss: Cline (4. im Backend, 69,5 %) und Forge (5., 67,2 %) rangieren im Backend nahe der Spitze, fallen aber im Frontend stark ab. Clines 52,5 % sind die schwächsten des Feldes, sodass beide in der kombinierten Tabelle nach unten rutschen.
• Codex rangiert im Backend auf Platz 10 (52,1 %), trotz eines perfekten 100 %-Frontends. Es läuft hier über einen proxy, um das gemeinsame Modell zu erreichen, was seine Fähigkeiten beeinträchtigen kann – dies ist daher wahrscheinlich eine Untergrenze und nicht das wahre Backend des Agenten.¹ Gemini, ebenfalls über einen proxy ausgeführt, ist auf dieselbe Weise eingeschränkt.
• Der Build-Rang sagt das Verhalten nicht voraus: Der Agent, der hier führt, behält nach der Kompaktierung nichts, während ein Agent aus dem Mittelfeld alles behält.

Geschwindigkeit, Token-Nutzung und Kosten vs. Score

Wir bewerteten die Laufzeiteffizienz anhand der durchschnittlichen Ausführungszeit (Sekunden), der effektiven Token-Nutzung (Input + Output) und der Kosten pro Aufgabe (USD), jeweils aufgetragen gegen den kombinierten Genauigkeits-Score:

Wie schnell, billig oder token-arm ein Agent ist, sagt nicht voraus, wie gut er abschneidet.

• Opencode gewinnt bei allen dreien gleichzeitig: bester kombinierter Score (81,6 %), die niedrigsten Kosten aller leistungsfähigen Agenten ($1,03 pro Aufgabe), unter den wenigsten tokens und die schnellsten Läufe. Es kehrt den üblichen Kompromiss zwischen Genauigkeit und Kosten um.
• Die Kosten spannen sich um etwa das 40-fache, von Forge $0,18 bis Junie $7,58, ohne Zusammenhang zum Rang. Forge ist am billigsten, weil es am wenigsten tut: Sein Backend scheitert an der Ticketerstellung. Junies $7,58 kaufen ein Mittelfeld von 74,7 % und sind eine überhöhte Obergrenze.
• Goose zahlt am meisten für das wenigste: am zweitteuersten mit $3,23, doch den niedrigsten sauberen Score des Feldes (62,5 %). Die Top drei beim Score bleiben günstig (Opencode $1,03, Claude Code $1,83, Grok $2,03).
• Weder der schnellste noch der langsamste Agent gewinnt: Kiro (439s) und Gemini (1.158s, proxy-Overhead) landen beide im Mittelfeld. Zusätzliche Ausgaben kaufen Wiederholungen und erneute Validierung, keine Problemlösungstiefe.
• Die Token-Zahlen drehen sich hauptsächlich um Caching. Codex, Claude Code, Cline, Opencode, Gemini und Grok cachen 86–98 % ihres Inputs, sodass Claude Codes 4,18M Brutto-tokens auf effektive 115k schrumpfen. Junie, Goose, Kiro, Forge und Aider cachen nicht, sodass sie für jeden erneut gesendeten token zahlen; deshalb ist Junies 2,36M der höchste Wert des Feldes.
• Drei Einschränkungen zu den Zahlen: Für die fünf nicht-cachenden Agenten ist der effektive Input alles, was sie gesendet haben – lesen Sie das also als Obergrenze; Kiros $1,72 sind eine Untergrenze (gutschriftsbasiert, näher bei $2,23); Clines 64,4 % umfassen vier Aufgaben, bei denen das Fehlerlimit erreicht wurde, bevor ein Frontend ausgeliefert wurde – jede mit 0 bewertet.

Unsere Methodik finden Sie unten.

Wie Agentic-CLI-Tools funktionieren

Agentic-CLI-Tools sind autonome Agenten, die innerhalb des Terminals arbeiten. Während die meisten Benutzer sie für Codierungsaufgaben einsetzen, können sie jeden Workflow ausführen, der über Shell-Befehle durchgeführt werden kann.

Diese Agenten arbeiten typischerweise in einer Schleife, die aus drei Phasen besteht:

1. Kontext sammeln
2. Maßnahmen ergreifen
3. Ergebnisse überprüfen

Nach der Überprüfung sammelt der Agent aktualisierten Kontext und wiederholt die Schleife, bis er die Aufgabe abschließt oder eine Abbruchbedingung erreicht.

Die Schleife wird von zwei Quellen beeinflusst:

• Der menschliche Benutzer, der die anfängliche Aufgabe bereitstellt und die Ausführung unterbrechen kann
• Das Modell, das Planung, Schlussfolgerung und Handlungsauswahl durchführt

Das Agenten-Framework gibt dem Modell Struktur. Es definiert, wie das Modell planen soll, wann es Befehle ausführen soll, wie es Ergebnisse validieren soll und welche Tools verfügbar sind. Zu diesen Tools können Shell-Ausführung, Dateisystemzugriff, Browser-Steuerung, Computer-Nutzung, MCP-Integrationen oder wiederverwendbare „Skills“ gehören.

Verschiedene Agentenarchitekturen erzwingen unterschiedliche Planungsstrategien, Wiederholungsrichtlinien und Validierungslogik. Einige Agenten priorisieren Präzision und tiefere Schlussfolgerung auf Kosten höherer Token-Nutzung und Latenz. Andere priorisieren Geschwindigkeit und niedrigere Kosten mit reduzierter Verhaltensrobustheit.

Modellintelligenz vs. Agentenarchitektur

Leistungsunterschiede zwischen Agentic-CLI-Tools stammen nicht aus einer einzigen Quelle. Sie entstehen aus zwei Ebenen: dem Foundation-Modell und dem Orchestrierungs-Framework, das es umgibt.

Dieser Benchmark testet beide Agenten auf demselben Foundation-Modell: Claude Sonnet 4.6. Jeder Score-Unterschied ist daher ein Unterschied in der Orchestrierung: wie die CLI Kontext sammelt, wann sie Befehle ausführt, wie sie die Ausgabe validiert und ob sie nach Fehlern Wiederholungen durchführt.

Opencode und Claude Code nutzen beide direkt Sonnet 4.6. Opencode erreicht 77,3 % im Backend; Claude Code erreicht 74,9 %. Zwei Agenten, dasselbe Modell, 2,4 Prozentpunkte Unterschied in der Backend-Korrektheit. Kiro und Opencode nutzen beide Sonnet 4.6. Kiro erreicht 64,2 % im Backend; Opencode erreicht 77,3 %. Die Lücke von 13 Punkten ist der Beitrag der CLI.

Die beiden Beobachtungs-Benchmarks unten treiben dies weiter. Sie führen denselben Gemeinsames-Modell-Test bei Webrecherche und Kontext-Kompaktierung durch, wo die Lücken nicht 13 Punkte betragen, sondern den Unterschied zwischen dem Finden der richtigen Antwort und dem Erfinden einer falschen ausmachen.

Webrecherche-Grounding

Wir baten jeden Agenten, die Framework-Dokumentation zu prüfen: welche Version ein Feature eingeführt hat, was sein aktueller Status ist und was sich kürzlich geändert hat. Jede Antwort musste eine offizielle Quelle zitieren. Wir führten die Prüfung zweimal durch, einmal zu Unity und einmal zu Next.js/React. Die Fakten wurden so ausgewählt, dass die richtige Antwort nur auf einer aktuellen, veröffentlichten Seite existiert. Eine Antwort aus den Trainingsdaten erzeugt eine überzeugende, aber falsche Antwort. Wir prüften eine Sache: Hat der Agent die von ihm zitierte Seite tatsächlich abgerufen?

Vier Agenten verfügen über eine integrierte Websuche. Drei von ihnen (Codex, Gemini, Grok) liefen auf ihren nativen Nicht-Sonnet-Modellen; die anderen acht, einschließlich Claude Code, liefen auf Sonnet 4.6.

Vier Muster zeigten sich.

• Echte Live-Suche Codex, Claude Code, Gemini und Grok rufen aktuelle Seiten ab und erfassen kürzliche Änderungen. Codex war der einzige Agent, der das Entwicklerforum erreichte, wo die schwierigsten Fakten liegen.
• Sucht, landet aber auf alten Seiten Cline rief zwei Dutzend echte Dokumentationsseiten ab und meldete dennoch eine Version, die bereits ersetzt worden war. Die Abrufe waren echt; die Seiten waren veraltet.
• Keine Suche, antwortet aus dem Training Aider browst nicht und sagt das auch. Dies ist die ehrliche Antwort.
• Erfundene Quellen Forge rief nichts ab, das funktionierte, zitierte aber dennoch 31 Quellen bei der Next.js-Prüfung. Die zitierten Seiten existieren nicht. Sein Schlusssatz: „Jede Zelle stammt aus einer Seite, die in dieser Sitzung tatsächlich abgerufen wurde.“

Bei der Next.js-Prüfung verankerten alle anderen browsenen Agenten fast alle ihre Zitate in Seiten, die sie tatsächlich abgerufen hatten. Forge verankerte keine. Das Diagramm stapelt die verankerten Zitate jedes Agenten gegen seine erfundenen, sodass die ehrlichen Agenten als vollständig grüne Balken erscheinen und Forge als ein einziger roter. Das Diagramm deckt die acht Agenten mit einem überprüfbaren Abrufprotokoll pro URL ab. Grok (serverseitige Suche), Gemini (abgebrochener Lauf) und Aider (keine Zitate) erscheinen in der Tabelle oben, sind hier jedoch ausgeschlossen.

Cline und Claude Code liefen in diesem Test beide auf Sonnet 4.6. Claude Code fand und öffnete die Seite mit der richtigen Antwort. Cline nicht. Dasselbe Modell, anderes Ergebnis.

Wir bewerteten jede Antwort auf sachliche Genauigkeit, aber diese Scores hängen von einem Antwortschlüssel ab, der sich derzeit in Prüfung befindet. Wir halten die Genauigkeitstabellen zurück, bis der Schlüssel finalisiert ist.

Kontext-Kompaktierung

Wenn eine Sitzung lang wird, kompaktiert der Agent seinen Kontext: Er ersetzt den detaillierten Verlauf durch eine kurze Zusammenfassung und verwirft die Originale. Wir testeten, ob die Zusammenfassung das Wesentliche behält.

Wir gaben jedem Agenten etwa 112.000 tokens an Dokumenten mit 13 eingebetteten erfundenen Fakten: eine Bereitschafts-PIN, eine Cloud-Region, ein Build-Tag und zehn weitere. Erfunden bedeutet, dass die Werte eindeutige Zeichenfolgen sind, die in den Trainingsdaten nicht vorkommen. Der Agent las die Dokumente und kompaktierte. Wir löschten dann die Quelldateien und fragten nach allen 13 Fakten. Mit gelöschten Dateien ist die einzige mögliche Quelle die Kompaktierungs-Zusammenfassung.

Vier Agenten behielten alle Fakten. Drei behielten keine. Die drei, die aus dem Gedächtnis 0 erreichten, hatten nur 13 von 13 beantwortet, solange sie die Dateien noch erneut lesen konnten. Sie lasen bei jeder Abfrage erneut. Als die Dateien weg waren, schrieben sie „unbekannt“, statt zu raten.

Goose, Forge, Opencode und Kiro laufen alle auf Sonnet 4.6. Kiro behielt alle 13. Die anderen drei behielten keine. Dasselbe Modell, entgegengesetztes Ergebnis.

Opencode rangiert im Build-Benchmark an erster Stelle und behält bei der Kompaktierung nichts. Kiro rangiert im Build-Benchmark an siebter Stelle und behält bei der Kompaktierung alles. Starke Build-Leistung und starke Kompaktierung sind unabhängige Eigenschaften.

Vier Agenten fielen aus dem Umfang dieses Tests, jeweils aus einem konkreten Grund. Cline konnte nicht bis zu seiner Kompaktierungsschwelle getrieben werden. Wir erstellten einen Dokumentensatz mit 863.000 tokens und ließen es jede Datei lesen, aber cline kürzt jede Tool-Ausgabe auf etwa 2.000 Zeichen, sodass die Dokumente zu kurzen Vorschauen zusammenfielen. Sein Kontext stagnierte bei 214.000 tokens, 21 % seines Eine-Million-Token-Fensters, und die Kompaktierung wurde nie ausgelöst. Wir berichten cline als unter diesem Protokoll nicht messbar, statt eine Zahl zu schätzen. Grok hat einen Kompaktierungsbefehl, las unsere Dokumente jedoch in Fragmenten statt vollständig, sodass es nie einen vollständigen Kontext zu kompaktieren gab. Aiders Summarizer komprimiert Chat-Runden, nicht den Inhalt der Sitzung hinzugefügten Dateien, wo die Fakten lagen. Junie hat keine Kompaktierungsfunktion.

Agentenverhalten bei Aufgabe 6

Wir bewerteten die Agenten in 10 Aufgaben. Unten finden Sie eine detaillierte Aufschlüsselung von Aufgabe 6, um zu zeigen, wie sich verschiedene CLI-Architekturen unter denselben Einschränkungen verhalten, wenn alle auf demselben Modell laufen.

Aufgabe 6: Helpdesk-Ticketsystem (Web)

Aufgabe 6 erforderte den Aufbau eines Full-Stack-Helpdesk-Ticketsystems mit:

• Zwei Benutzerrollen (Kunde und Agent)
• JWT-basierte Authentifizierung
• Strikte Status-Workflow-Übergänge
• Datenisolation (404 statt 403 bei benutzerübergreifendem Zugriff)
• FastAPI-Backend
• React/Vue/Svelte + Vite-Frontend
• Deterministische Ausführungsbefehle

Der Smoke-Test validierte:

• Health-Check
• Zwei-Rollen-Authentifizierung
• Ticket-CRUD-Operationen
• Zuweisung und Antworten
• Statusübergänge
• Rollendurchsetzung
• Datenisolation
• UI-Anmeldung und Verhalten nach der Anmeldung

Diese Aufgabe beansprucht Zustandsverwaltung, Authentifizierungskorrektheit, REST-Vertragsdisziplin und Frontend-Backend-Integration. Besuchen Sie GitHub, um die Aufgabendetails zu sehen.

Auf einem Modell teilte sich das Feld in drei Gruppen.

• 60 % Backend, sieben Agenten (codex, claude-code, cline, grok, goose, junie, opencode): identische sechs fehlgeschlagene Schritte in allen drei Wiederholungen. Authentifizierung, Ticket-CRUD, Antworten und Datenisolation bestanden; beide Fehler lagen bei /tickets/{id}/assign und /tickets/{id}/status, wo sie ein vereinheitlichtes PATCH /tickets/{id} statt der getrennten Routen der Spezifikation bauten. Geschäftslogik korrekt, REST-Vertrag falsch. Im vorherigen nativen Lauf auf Gemini 3 Pro baute Opencode die getrennten Endpunkte und erreichte 93,3 %; auf Sonnet 4.6 wählte es wie die übrigen das vereinheitlichte Design.
• 13,3 %, drei Agenten (aider, forge, gemini-cli): Die Authentifizierung funktionierte, aber die Ticketerstellung selbst schlug fehl, sodass jeder abhängige Schritt kaskadierend scheiterte.
• 24,4 %, Kiro: Instabilität, nicht ein einzelner Fehlermodus. Es bestand neun Schritte in Lauf eins, zwei in Lauf zwei, und in Lauf drei startete das Backend nie (Health-Check fehlgeschlagen). Die anderen zehn Agenten wiederholten sich in jeder Wiederholung identisch.
• UI innerhalb des 60 %-Clusters: claude-code und cline scheiterten an der Anmeldung mit einem identischen CORS-Fehler – das Frontend rief das Backend auf localhost:8000 von einer 127.0.0.1-Herkunft auf und der Browser blockierte es –, sodass beide 75 % erreichten; die anderen fünf renderten und meldeten sich sauber mit 100 % an.
• Die Erkenntnis ist Konvergenz: Sieben verschiedene CLIs auf demselben Modell machten denselben REST-Vertragsfehler – hier dominiert also das Modell und die Orchestrierung spielt kaum eine Rolle, das Gegenteil der Beobachtungs-Benchmarks unten.

Codex

Installation

Global installieren mit:

• npm install -g @openai/codex

Alternativ global mit Homebrew installieren (macOS/Linux)

• brew install –cask codex

Authentifizierung

Nach der Einrichtung von Codex können Sie mit Ihrem ChatGPT-Konto oder mit Ihrem OpenAI-API-Schlüssel fortfahren. Keine Anbieteroptionen verfügbar.

Aufgabenbericht

Codex baute in 454 Sekunden ein funktionierendes System und landete im 60 %-Cluster. Die Geschäftslogik war korrekt; es verfehlte den REST-Vertrag bei Zuweisung und Status, wie der Rest des Feldes.

Backend-Verhalten

Authentifizierung, Ticket-CRUD, Antworten und Datenisolation bestanden. Die sechs Fehler betrafen die Zuweisungs- und Statusübergangsschritte, die auf `/tickets/{id}/assign` und `/tickets/{id}/status` abzielten. Codex leitete beide über einen vereinheitlichten Update-Endpunkt, sodass diese Aufrufe 404 zurückgaben. Stabil über alle drei Wiederholungen.

UI-Verhalten

Das Frontend bestand alle acht Validierungsschritte. Anmeldung und Zustand nach der Anmeldung verhielten sich korrekt. 100 % UI.

Junie

Installation

Junie ist über die JetBrains Toolbox oder als eigenständige CLI verfügbar:

• curl -fsSL https://junie.jetbrains.com/install | bash

Authentifizierung

Fahren Sie mit Ihrem JetBrains-Konto fort oder generieren Sie einen JUNIE_API_KEY unter junie.jetbrains.com/cli, oder exportieren Sie Ihren eigenen API-Schlüssel von Anthropic, OpenAI, Google oder anderen unterstützten Anbietern. Mehrere Anbieteroptionen verfügbar.

Aufgabenbericht

Junie erstellte in 444 Sekunden ein vollständiges Full-Stack-System und erreichte 60 % Backend, im Hauptcluster. Sein effektiver Input bei dieser Aufgabe ist mit 1,52M der höchste des Feldes, eine ungecachte Obergrenze, die von einem bekannten Caching-Abrechnungsfehler beeinflusst ist (siehe Anmerkung zur Ergebnistabelle).

Backend-Verhalten

Neun von sechzehn Schritten bestanden: Authentifizierung, Ticket-CRUD, Antworten und Datenisolation. Die sechs Fehler betrafen die Zuweisungs- und Statusübergangsschritte. Junie behandelte Status und Zuweisung über einen vereinheitlichten Update-Endpunkt, sodass die Spezifikations-Routen `/tickets/{id}/assign` und `/tickets/{id}/status` 404 zurückgaben. Die Übergangslogik selbst war korrekt. Stabil über alle drei Wiederholungen.

UI-Verhalten

Das Frontend bestand alle acht Validierungsschritte. 100 % UI.

Kiro CLI

Installation

Für macOS/Linux/WSL:

• curl -fsSL https://cli.kiro.dev/install | bash

Alternative Linux-AppImage (portable Option):

• Download: https://desktop-release.q.us-east-1.amazonaws.com/latest/kiro-cli.appimage

Dann ausführen:

• chmod +x kiro-cli.appimage && ./kiro-cli.appimage

Authentifizierung

Sie können mit Ihrem Kiro-Code-Plan fortfahren. Keine Anbieteroptionen verfügbar.

Aufgabenbericht

Kiro ist der eine Agent, dessen Score Instabilität widerspiegelt statt einer einzelnen Designentscheidung. Seine 24,4 % Backend sind ein Durchschnitt über drei Wiederholungen, die drei verschiedene Ergebnisse hervorbrachten. Der Build selbst war solide, wenn er lief; das Problem war, dass er nicht zweimal auf dieselbe Weise lief.

Backend-Verhalten

Im ersten Lauf bestand Kiro neun von sechzehn Schritten, dasselbe Profil wie der 60 %-Cluster, wobei nur die Zuweisungs- und Statusrouten fehlschlugen. Im zweiten Lauf bestand es zwei. Im dritten kam das Backend nie hoch und selbst der Health-Check schlug fehl. Im Durchschnitt ergibt das 24,4 %. Die Instabilität, nicht das Endpunktdesign, unterscheidet Kiro hier vom Cluster.

UI-Verhalten

Wenn das Backend lief, bestand das Frontend alle acht Validierungsschritte. 100 % UI. Dies ist eine Änderung gegenüber dem vorherigen Lauf, wo das Anmeldeformular bei einem 422 beim Mount nicht gerendert wurde.

Claude Code

Installation

Für macOS/Linux/WSL, je nach bevorzugtem Paketmanager, können Sie Claude Code installieren mit:

• curl -fsSL https://claude.ai/install.sh | bash
• npm install -g @anthropic-ai/claude-code

Authentifizierung

Nach der Einrichtung von Claude Code können Sie mit Ihrem Claude-Konto fortfahren. Keine Anbieteroptionen verfügbar.

Aufgabenbericht

Claude Code erreichte 60 % Backend in 379 Sekunden, im Hauptcluster. Dies ist eine deutliche Verbesserung gegenüber dem vorherigen Lauf, wo ein JWT-Validierungsfehler 401 auf jeder authentifizierten Route zurückgab und 13 von 16 Schritten fehlschlugen. In diesem Lauf funktionierte das Backend; der Verlust lag bei der UI.

Backend-Verhalten

Authentifizierung, Ticket-CRUD, Antworten und Datenisolation bestanden. Die sechs Fehler betrafen die Zuweisungs- und Statusübergangsschritte, die über einen vereinheitlichten Update-Endpunkt statt über die getrennten Pfade der Spezifikation geleitet wurden. Stabil über alle drei Wiederholungen.

UI-Verhalten

Der Anmeldeschritt schlug fehl. Das Frontend rief das Backend auf localhost:8000 auf, während die Seite von einer 127.0.0.1-Herkunft ausgeliefert wurde, und der Browser blockierte die Anmeldeanfrage gemäß der CORS-Richtlinie. Fünf Schritte bestanden, einer schlug fehl, zwei wurden blockiert. 75 % UI. Cline scheiterte auf dieselbe Weise.

Aider

Installation

Wenn Sie bereits Python 3,8-3,13 installiert haben, installieren Sie zuerst aider:

• python -m pip install aider-install
• aider-install

Authentifizierung

Melden Sie sich bei Ihrem OpenRouter-Konto an und autorisieren Sie, oder exportieren Sie Ihren API-Schlüssel in Ihrer Umgebung mit:

• export OPENROUTER_API_KEY="sk-or-v1-…"

Aufgabenbericht

Aider war mit 236 Sekunden der schnellste Agent und der leichteste, mit 1,3k Input- und 18k Output-tokens. Es erreichte außerdem 13,3 % Backend. Die Authentifizierung funktionierte, aber die Ticketerstellung schlug fehl, und jeder Schritt, der ein vorhandenes Ticket benötigte, scheiterte mit ihr.

Backend-Verhalten

Zwei Schritte bestanden. Der Build brach bei der Ticketerstellung, sodass die Kunden- und Agenten-Ticketlisten, Antworten, Zuweisung, Statusübergänge und Rollenprüfungen alle kaskadierend scheiterten. Stabil über alle drei Wiederholungen. Dies ist eine andere Fehlerklasse als der 60 %-Cluster, der Tickets korrekt erstellte und nur die Zuweisungs- und Statusrouten verfehlte.

UI-Verhalten

Der Anmeldeschritt schlug bei derselben CORS-Herkunftsinkongruenz fehl wie bei claude-code und cline. Fünf Schritte bestanden, einer schlug fehl, zwei blockiert. 75 % UI.

OpenCode

Installation

Für macOS/Linux/WSL:

• curl -fsSL https://opencode.ai/install | bash

Global installieren mit:

• npm i -g opencode-ai

Für macOS/Linux, je nach bevorzugtem Paketmanager:

• bun add -g opencode-ai
• brew install anomalyco/tap/opencode
• paru -S opencode

Authentifizierung

Es gibt viele Anbieteroptionen – wählen Sie Ihren gewünschten Anbieter und authentifizieren Sie sich mit /connect

Aufgabenbericht

Opencode führt den Gesamt-Benchmark an, aber bei Aufgabe 6 erreichte es 60 % Backend, im Hauptcluster, in 542 Sekunden. Dies ist das klarste einzelne Modellbeleg im Artikel. Im vorherigen nativen Modelllauf auf Gemini 3 Pro Preview baute Opencode die getrennten Endpunkte der Spezifikation und erreichte hier 93,3 %. Dieselbe CLI auf Sonnet 4.6 wählte den vereinheitlichten Endpunkt und fiel auf 60 %. Das Tool änderte sich nicht; das Modell schon.

Backend-Verhalten

Authentifizierung, Ticket-CRUD, Antworten und Datenisolation bestanden. Die sechs Fehler betrafen die Zuweisungs- und Statusübergangsschritte, die über einen vereinheitlichten Update-Endpunkt geleitet wurden. Stabil über alle drei Wiederholungen.

UI-Verhalten

Das Frontend bestand alle acht Validierungsschritte. 100 % UI.

Grok Build

Installation

Für macOS/Linux:

• curl -fsSL https://x.ai/cli/install.sh | bash

Authentifizierung

Melden Sie sich beim ersten Start mit Ihrem xAI-Konto an oder setzen Sie einen API-Schlüssel für die Headless-Nutzung:

• export XAI_API_KEY="xai-…"

Aufgabenbericht

Grok belegte im Build-Benchmark insgesamt den zweiten Platz mit 75,4 % Backend. Bei Aufgabe 6 erreichte es 60 % Backend in 433 Sekunden, im Hauptcluster. In diesem Lauf erreichte Grok Sonnet 4.6 über OpenRouter.

Backend-Verhalten

Neun von sechzehn Schritten bestanden: Authentifizierung, Ticket-CRUD, Antworten und Datenisolation. Die sechs Fehler betrafen die Zuweisungs- und Statusübergangsschritte, die auf /tickets/{id}/assign und /tickets/{id}/status abzielten. Grok leitete beide über einen vereinheitlichten Update-Endpunkt, sodass diese Aufrufe und die davon abhängigen Rollenprüfungen 404 zurückgaben. Stabil über alle drei Wiederholungen.

UI-Verhalten

Das Frontend bestand alle acht Validierungsschritte. Anmeldung und Zustand nach der Anmeldung verhielten sich korrekt. 100 % UI.

Forge

Installation

Für macOS/Linux/WSL:

• curl -fsSL https://forgecode.dev/cli | sh

Authentifizierung

Konfigurieren Sie Ihre Anbieter-Zugangsdaten interaktiv mit:

• forge provider login

Und wählen Sie Ihren Anbieter.

Aufgabenbericht

Forge erreichte 13,3 % Backend in 844 Sekunden. Seine Output-Token-Zahl ist mit 1,6k die niedrigste des Feldes, was auf eine oberflächliche Implementierung hindeutet. Wie im vorherigen Lauf brach der Build bei der Ticketerstellung und kaskadierte.

Backend-Verhalten

Zwei Schritte bestanden. Die Ticketerstellung schlug fehl, sodass die Ticketlisten, Antworten, Zuweisung, Statusübergänge und Rollenprüfungen alle mit ihr scheiterten. Stabil über alle drei Wiederholungen, dasselbe 13,3 %-Profil wie aider und gemini-cli.

UI-Verhalten

Der Anmeldeschritt schlug bei derselben CORS-Herkunftsinkongruenz fehl wie bei claude-code, cline und aider. Fünf Schritte bestanden, einer schlug fehl, zwei blockiert. 75 % UI.

Gemini CLI

Installation

Sofort ausführen:

• npx @google/gemini-cli

Oder global installieren:

• npm install -g @google/gemini-cli
• brew install gemini-cli

Authentifizierung

Option 1 (Google OAuth): exportieren Sie GOOGLE_CLOUD_PROJECT="IHR_PROJEKT_ID" und starten Sie dann gemini.
Option 2 (API-Schlüssel): exportieren Sie GEMINI_API_KEY="IHR_API_SCHLÜSSEL" und starten Sie dann gemini.
Option 3 (Vertex KI): exportieren Sie GOOGLE_API_KEY + GOOGLE_GENAI_USE_VERTEXAI=true.

Aufgabenbericht

Gemini CLI erreichte 13,3 % Backend in 926 Sekunden, einer der beiden langsamsten Agenten des Feldes. Die Authentifizierung funktionierte, aber die Ticketerstellung schlug fehl und kaskadierte. Sein Frontend, das im vorherigen Lauf vollständig an einer Node-18-vs.-Vite-7-Inkompatibilität scheiterte, bestand diesmal jeden Schritt.

Backend-Verhalten

Zwei Schritte bestanden. Die Ticketerstellung schlug fehl, sodass alle abhängigen Schritte scheiterten. Stabil über alle drei Wiederholungen, dasselbe 13,3 %-Profil wie aider und forge.

UI-Verhalten

Das Frontend bestand alle acht Validierungsschritte. 100 % UI, gegenüber 0 % im vorherigen Lauf. Ein 401 erschien in der Konsole bei einem authentifizierten Aufruf, blockierte aber den gerenderten Ablauf nicht.

Cline

Installation

Global installieren mit:

• npm install -g cline

Authentifizierung

Durch die Eingabe von `cline auth` können Sie Ihr Cline-Konto auswählen oder mit Ihrem gewünschten Anbieter fortfahren.

Aufgabenbericht

Cline erreichte 60 % Backend in 648 Sekunden, im Hauptcluster. Dies ist eine große Veränderung gegenüber dem vorherigen Lauf, wo sein Acht-Fehler-Limit den Build vorzeitig beendete und ein leeres Frontend hinterließ. Hier stellte es den gesamten Stack fertig.

Backend-Verhalten

Authentifizierung, Ticket-CRUD, Antworten und Datenisolation bestanden. Die sechs Fehler betrafen die Zuweisungs- und Statusübergangsschritte, die über einen vereinheitlichten Update-Endpunkt geleitet wurden. Stabil über alle drei Wiederholungen.

UI-Verhalten

Der Anmeldeschritt schlug bei derselben CORS-Herkunftsinkongruenz fehl wie bei claude-code, auf einer 127.0.0.1-Seite, die ein localhost-Backend aufrief. Fünf Schritte bestanden, einer schlug fehl, zwei blockiert. 75 % UI.

Goose

Installation

Für macOS/Linux/WSL:

• curl -fsSL https://github.com/block/goose/releases/download/stable/download_cli.sh | bash

Aufgabenbericht

Goose erreichte 60 % Backend in 553 Sekunden, im Hauptcluster, verbrauchte dafür aber 1,06M Input-tokens. Es stellte diesmal den gesamten Stack fertig, eine Änderung gegenüber dem vorherigen Lauf, wo das Frontend-Verzeichnis leer blieb.

Backend-Verhalten

Authentifizierung, Ticket-CRUD, Antworten und Datenisolation bestanden. Die sechs Fehler betrafen die Zuweisungs- und Statusübergangsschritte, die über einen vereinheitlichten Update-Endpunkt geleitet wurden. Stabil über alle drei Wiederholungen.

UI-Verhalten

Das Frontend bestand alle acht Validierungsschritte. 100 % UI, gegenüber 0 % im vorherigen Lauf.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

KI-Coding-Tools

KI-Coding-Tools lassen sich in drei Kategorien einteilen:

• Agentic-CLI: Tools für terminalbasierte Entwicklungsworkflows, die Code durch Prompts und Befehlszeileninteraktionen generieren, bearbeiten und umstrukturieren.
  • Beispiele: Aider, Junie, Opencode, Claude Code, Codex
• KI-Code-Editoren: Auch als agentische IDEs bekannt, bieten diese Tools eine GUI ähnlich wie VS Code (die meisten basieren auf VS Code).
  • Beispiele: Antigravity, Cursor, Kiro Code, Windsurf
• Prompt-to-App-Builder: Low-Code/No-Code-Plattformen zum Erstellen von Apps mit natürlichsprachigen Prompts und visuellen Workflows.
  • Beispiele: Bolt, Lovable, v0.dev, Firebase Studio, Dazl

KI-Code-Review-Tools

Da KI-generierter Code immer häufiger wird, sind Code-Review-Tools unerlässlich, um Fehler und Schwachstellen zu erkennen. Wir bewerteten die Top-Tools anhand von 309 PRs in unserem RevEval-Benchmark.

Was können Agentic-CLI-Tools?

Über Tools wie Codex, Junie, Kiro und Claude Code hinweg gehören zu den gemeinsamen Fähigkeiten:

• End-to-End-Codearbeit: Dateien erstellen und ändern, Fehler beheben, Code umstrukturieren und Tests oder Linters direkt aus dem Terminal ausführen.
• Agentische Workflows: Mehrstufige Aufgaben wie Aufgabenverkettung, Fehlerbehebung, Suche und iteratives Debugging durchführen.
• Git- & Projektmanagement: Verlauf überprüfen, Merges auflösen, Branches verwalten und Commits oder Pull Requests erstellen.
• Command-Ausführung & Automatisierung: Shell-Befehle ausführen, Analysen automatisieren und natürliche Sprache in komplexe CLI-Operationen übersetzen.
• Tiefe Kontextverarbeitung: Auf vollständigen Repositories mit Bewusstsein für Abhängigkeiten und Projektstruktur arbeiten.
• Modellflexibilität: Unterstützung mehrerer Cloud- und in einigen Fällen lokaler Modelle; einige Tools erlauben die Verwendung eines eigenen API-Schlüssels oder die Wahl zwischen Plänen.
• Sandbox- oder kontrollierter Zugriff: Modi von schreibgeschützt bis vollständige Automatisierung, oft mit isolierten Umgebungen zur Sicherheit.

Methodik

A-CODE-CLI-Benchmark

Wir bewerteten die Agenten in einem One-Shot-Ausführungssetup, um die autonome Fähigkeit ohne menschliches Eingreifen zu messen. Die Agenten wurden anschließend mit Backend- und Frontend-Smoke-Tests bewertet, um die Infrastrukturbereitschaft und Verhaltenskorrektheit zu messen.

Modellkonfiguration. Alle 11 Agenten liefen auf Claude Sonnet 4.6 (nicht-reasoning). Zwei Agenten benötigten einen proxy, um dieses Modell zu erreichen:

• Codex (OpenAI-CLI) kann nativ nicht auf Anthropic-Modelle zeigen. Es wurde über ein LiteLLM-Gateway zu OpenRouter/Anthropic geleitet, mit einem Cache-Shim, der das Prompt-Caching wiederherstellt. Der proxy entfernt Reasoning-Tokens (Fähigkeitskosten) und erhöht die Latenz.
• Gemini CLI kann nativ keine Anthropic-Modelle aufrufen. Es wurde über einen SSE-Shim und ein LiteLLM-Gateway geleitet. Seine Hilfsmodellaufrufe (Schleifenerkennung, Reparatur fehlerhafter Tools, Kontextkomprimierung) schlagen fehl oder liefern ungültigen Inhalt über den proxy, sodass es ohne seine eigenen Sicherheitsnetze lief.

Forge benötigte einen separaten proxy, um erweiterte Denkblöcke aus den Antworten zu entfernen, die Forge zwangsweise aktiviert und die 400-Fehler verursachen, wenn sie zurückgesendet werden. Alle anderen Agenten nutzten Sonnet 4.6 direkt über ihre native Anbieterkonfiguration oder OpenRouter.

Der proxy kann codex und gemini-cli nur behindern, niemals aufwerten. Ihre Scores sind konservativ.

Junie führt neben dem primären Sonnet 4.6 einen nicht überschreibbaren GPT-4.1-Mini-Helfer mit. Es ist der einzige Agent mit einem zweiten aktiven Modell während des Builds. Seine Scores tragen ein Multi-Modell-Sternchen.

Claude Code lief über ein Benutzerabonnement (OAuth). Kiro lief auf Kiro-gehosteten Guthaben (Bedrock-unterstützt, 1,3x-Multiplikator).

Bei keinem Agenten wurden Temperatur-, Wiederholungs- oder Reasoning-Parameter angepasst. Jeder lief mit seiner Standardkonfiguration.

Bewertung. Backend: funktionaler Smoke-Test (adaptive_avg_step_pass_rate). Frontend: UI-Smoke-Test via Playwright. Kombiniert: 0,7 × Backend + 0,3 × Frontend (für Agenten mit vollständigen UI-Daten). Der Backend-Score ist die primäre Ranking-Achse. Die Frontend-Leistung sättigt sich im gesamten Feld.

Aider t-3 und t-4. Beide Aufgaben erzeugten Backends, die beim Start abstürzten. Bestätigt über zwei frische Builds (gleiche Fehler: TypeError auf class Card in t-3, AmbiguousForeignKeysError auf User.auctions in t-4). Mit 0 bewertet und mit einem backend_never_ready-Flag versehen, nicht ausgeschlossen.

Zur Bewertungsmethodik besuchen Sie: KI-Coding-Benchmark-Methodik

CLI-Versionen (Benchmark-Lauf Juni 2026)

Versionen aus den Benchmark-VPS-Boxen ausgelesen. Der Build-Lauf wurde vom 5. bis 8. Juni 2026 ausgeführt.

• Claude Code: 2.1.165
• Cline: 3.0.27
• Codex: 0.140.0
• Aider: 0.86.2
• Gemini CLI: 0.26.0
• Forge: 2.13.11
• Goose: 1.37.0
• Grok: 0.2.54
• Junie: 26.06.01 (Build 1831.35)
• Kiro CLI: 2.6.1
• Opencode: 1.17.7

Methodik des Webrecherche-Groundings

Zwei Prüfungen: ein Unity-Migrationsaudit (Prüfung 2) und ein Next.js/React-Versionsaudit (Prüfung 3). Jede bat den Agenten, Version, Status und Zeitplan für bestimmte Framework-Features zu berichten und eine offizielle URL pro Behauptung zu zitieren.

Die Bewertung verwendete zwei parallele Methoden. Ground-Truth-Gating: Eine Behauptung wird nur gewertet, wenn die zitierte URL im echten Abrufprotokoll des Agenten erscheint UND die abgerufene Seite den Fakt enthält, gemessen an einem verifizierten Antwortschlüssel. Verhaltensklassifikation: Ein LLM-Richter las das vollständige Transkript jedes Agenten und ordnete es einer der vier Verhaltenskategorien zu. Die Verhaltensklassifikation ist das primäre Ergebnis; die bewerteten Genauigkeitstabellen werden veröffentlicht, nachdem der Antwortschlüssel seine menschliche Ankerprüfung abgeschlossen hat.

Agenten mit integrierter Suche (Codex, Gemini, Grok) liefen auf ihren nativen Modellen, da die Aufgabe ihre integrierte Suchfunktion erfordert. Die übrigen acht liefen auf Claude Sonnet 4.6. N=1.

Methodik der Kontext-Kompaktierung

Die Agenten erhielten ungefähr 112.000 tokens an Fülldokumenten mit 13 erfundenen Infrastrukturfakten. Nachdem der Agent die Dokumente gelesen und seinen Kontext kompaktiert hatte, löschten wir die Quelldateien, bevor wir Fragen stellten. Bewertung: exakte Übereinstimmung mit 13 erfundenen Werten, automatisiert durch ein Bewertungsskript mit einem Regex pro Fakt. N=3.

Agenten, die 13/13 mit vorhandenen Dateien und 0/13 mit gelöschten Dateien erreichten, werden als Wiederleser klassifiziert. Agenten, die 13/13 mit gelöschten Dateien erreichten, werden als echte Behalter klassifiziert. Dateilöschung schließt Wiederlesen aus; erfundene Fakten schließen Erinnerung aus Trainingsdaten aus.

Alle Agenten außer Codex (GPT-5.5) und Gemini (Gemini 2.5 Pro) liefen auf Sonnet 4.6. Das pro Agent verwendete Modell ist in der Ergebnistabelle aufgeführt.

Weiterlesen

Für diejenigen, die das breitere Ökosystem agentischer Entwicklertools erkunden, hier unsere neuesten Benchmarks:

• MCP-Benchmark: Ein Vergleich der besten MCP-Server für den Webzugriff.
• Remote-Browser: Wie aufkommende Browser-Infrastruktur KI-Agenten ermöglicht, sicher mit dem Web zu interagieren.

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{kalelioglu2026,
  author = {Kalelioğlu, Berk and Dilmegani, Cem},
  title  = {{A-CODE-CLI Bench: Agentic-CLI-Benchmark}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/agentic-cli}},
  note   = {AIMultiple. Abgerufen am 29. Juni 2026}
}

Änderungsprotokoll

21 Aktualisierungen

Alle21Allgemein18Methodik3

1. 202618. Jun

   Hinzugefügt, ein Satz zur Einleitung, der klarstellt, dass alle Agenten mit demselben Modell liefen.

2. 18. Jun

   Der Abschnitt „Methodik“ wurde aktualisiert und bietet eine detailliertere Erklärung der verwendeten Modellkonfiguration, Bewertung und CLI-Versionen, wodurch die Leser ein klareres Verständnis des experimentellen Aufbaus erhalten.

3. 18. Mär

   Die Benchmark-Methodik in der Einleitung wurde erweitert, um ein klareres Verständnis der Testgenauigkeit zu vermitteln.

4. 27. Feb

   Die detaillierte Methodik wurde entfernt, wodurch die Länge des Artikels reduziert wurde.

5. 21. Feb

   Die Formatierung der Überschriften wurde zur Verbesserung der Lesbarkeit und Konsistenz aktualisiert.

6. 20. Feb

   Der Umfang des Benchmarks in der Einleitung wurde reduziert, um den Lesern ein genaueres Verständnis der Breite der Bewertung zu vermitteln.

7. 20. Feb

   Der Abschnitt „Methodik“ wurde erweitert und bietet eine detaillierte Beschreibung des Evaluierungsaufbaus, der Modellkonfigurationen und der Bewertungsmechanismen für Agenten.

8. 23. Jan

   Die Einleitung, der Abschnitt „Projektpool und Modellkonfigurationen“, der Abschnitt „Funktionale Checklisten (Browser-seitiges Audit)“, der Abschnitt „Beispiel-Benchmark-Aufgabe: Online-Bildungsplattform-Dashboard“, der Abschnitt „Projektumfang & Tech-Stack“, der Abschnitt „Detaillierte Benchmark-Ergebnisse: Kiro vs. Gemini CLI Kiro Leistung (95 % Erfolg)“, der Abschnitt „Wie oben zu sehen, lieferte Kiro eine professionelle Benutzeroberfläche mit einer funktionalen Suchleiste, einer umfassenden

9. 6. Jan

   Der Abschnitt „Was sind CLI-basierte Codierungsagenten?“ wurde erweitert und bietet eine detailliertere Erklärung ihrer Fähigkeiten und Vorteile für die Leser.

10. 2. Jan

    Die Einleitung wurde aktualisiert und bietet einen klareren Überblick über den Umfang und die Methodik des Benchmarks.

11. 2. Jan

    Ein Satz wurde dem Methodik-Abschnitt hinzugefügt, der erklärt, wie CLI-Tools für einen faireren Benchmark aufgefordert wurden.

12. 202528. Dez

    Der Abschnitt „Methodik“ wurde erweitert und bietet eine detaillierte Fallstudie des „EduSphere“-Projekts, die den Lesern ein tieferes Verständnis der Anwendung und Ergebnisse des Benchmarks vermittelt.

13. 27. Dez

    Hinzugefügt, Ergebnisse zum Artikel, die den Lesern eine Analyse der Werkzeugleistung und der verwendeten Methodik bieten.

14. 4. Dez

    Die Einleitung, Abschnitt „Führende agentische CLI-Tools zur Rationalisierung und Verbesserung Ihres Code-Bearbeitungs-Workflows erkunden“, wurde aktualisiert, um die Definition und den Umfang agentischer CLI-Tools zu verdeutlichen.

15. 28. Nov

    Details aus dem Abschnitt „Ausgabe- und Kontextbehandlung“ entfernt, wodurch die Beschreibung der Leistung und Kontextbehandlung von Claude Code vereinfacht wird.

16. 26. Nov

    Claude Code und Cline CLI wurden in den Produktbeschreibungen verschoben, um den logischen Informationsfluss zu verbessern.

17. 25. Nov

    Gemini CLI, OpenHands, Cline CLI und Codex CLI wurden dem Abschnitt „CLI-basierte Codierungsagenten“ hinzugefügt, um Lesern Informationen zu vier neuen Tools zu bieten.

18. 24. Nov

    Der Abschnitt „Beste Anwendungsfälle“ wurde entfernt, wodurch Informationen über die idealen Anwendungen von Claude Code reduziert werden.

19. 21. Nov

    Die Einleitung wurde aktualisiert, um den Fokus des Artikels auf führende agentische CLI-Tools besser widerzuspiegeln.

20. 13. Nov

    Die Einleitung wurde aktualisiert und bietet den Lesern aktuelle Beispiele für große Sprachmodelle.

21. 30. Jul

    Die Beschreibung der „CLI-basierten Codierungsagenten“ im Abschnitt „KI-Codierungstools“ wurde aktualisiert, um ein klareres Verständnis ihrer Funktion zu vermitteln.

Referenzlinks

1.

Integration with Codex CLI | OpenRouter | OpenRouter | Documentation

OpenRouter | Documentation

Berk Kalelioğlu

KI-Forscher

Folgen auf

Berk ist KI-Forscher im Benchmark-Team von AIMultiple und konzentriert sich auf agentische KI, maschinelles Lernen sowie große und kleine Sprachmodelle (LLMs und SLMs).

Vollständiges Profil anzeigen

Technisch geprüft von

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple.

Cems Arbeit bei AIMultiple wurde von führenden globalen Publikationen wie Business Insider, Forbes, Morning Brew und Washington Post, von globalen Unternehmen wie Deloitte und HPE, von NGOs wie dem World Economic Forum und von supranationalen Organisationen wie der European Commission zitiert. [1], [2], [3], [4], [5]

Im Laufe seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen bei ihren Technologieentscheidungen bei McKinsey & Company und Altman Solon über mehr als ein Jahrzehnt. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung.

Er leitete Technologiestrategie und -beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Außerdem verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von 0 einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung erreichte. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.

Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er absolvierte die Bogazici University als Computeringenieur und hat einen MBA von der Columbia Business School.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten