Top 13 Open-Source Agentic AI Frameworks

smolagents ist nicht in der Grafik enthalten. Mit durchschnittlich 20.55 s und $4,52 pro 1.000 Läufen hatte es mit Abstand die höchste Zeit und die höchsten Kosten, und die Einbeziehung machte die Unterschiede zwischen den anderen Frameworks unleserlich. Wir erklären weiter unten, warum.

• Die drei günstigsten Frameworks sind Agno ($1,41), CAMEL ($1,45) und Google ADK ($1,48). Alle drei führen Tools nacheinander aus und stoßen nie auf die Fehler, die entstehen, wenn Tools nicht aufeinander warten. LangChain ($1,49) und LangGraph ($1,50) führen Tools gleichzeitig aus, kosten aber ungefähr gleich viel, weil sie einige der kürzesten Tool-Definitionen schreiben.
• Microsoft Agent Framework ist schnell (7.57 s), aber das teuerste Framework in der Grafik ($1,88). Es führt Tools gleichzeitig aus, sodass 64 % seiner Läufe auf einen Fehler stoßen und Schritte wiederholen, und es schreibt lange Tool-Definitionen.
• Der Kostenunterschied zwischen den 12 Frameworks in der Grafik ist gering: höchstens $0,47 pro 1.000 Läufe.
• 98 % bis 99 % der Zeit entfällt auf das Warten auf das model. Der eigene Code des Frameworks hat fast keinen Einfluss auf die Zeit.

Wir haben diesen benchmark erstmals im Februar 2026 mit vier Frameworks auf GPT-5.2 durchgeführt: LangChain, LangGraph, AutoGen und CrewAI. CrewAI brauchte damals etwa doppelt so lange wie die anderen drei (52.7 s im Durchschnitt gegenüber 27.5-29.6 s), und das schwerste Framework verbrauchte 64 % mehr tokens als das leichteste. Mit den aktuellen Versionen liegen die vier Frameworks im Durchschnitt bei 8.20-8.39 s, und die Token-Lücke beträgt 26 %.

Siehe unsere Benchmark-Methodik für Details dazu, wie wir die Tests durchgeführt und die Ergebnisse analysiert haben.

Parallele und sequenzielle Tool-Ausführung

Das model fordert manchmal mehrere Tools gleichzeitig an. Agno, CAMEL und Google ADK führen diese Tools nacheinander aus: Das nächste startet, wenn das vorherige beendet ist. Die anderen zehn Frameworks starten sie standardmäßig alle gleichzeitig. Wenn die Tools voneinander abhängen, führt das gleichzeitige Starten zu Problemen, weil das zweite Tool nicht darauf wartet, dass das erste fertig ist. In einer realen Anwendung ist das so, als würde ein Tool einen Datenbankdatensatz schreiben, während ein anderes Tool versucht, denselben Datensatz zu lesen.

Das sequenzielle Verhalten gilt für die von uns verwendeten synchronen Aufrufe. Agnos arun(), CAMELs astep() und asynchrone Tools in Google ADK führen die Aufrufe gleichzeitig aus.

Wir haben dies bei drei Aufgaben beobachtet:

• Task 1 (Daten laden, dann berechnen):
  • Das model hat beide Schritte zusammen angefordert. In den Frameworks, die Tools gleichzeitig ausführen, startete die Berechnung, bevor die Daten geladen waren, schlug fehl, und das model forderte sie erneut an.
  • Das ist ein zusätzlicher LLM-Aufruf. Die Aufgabe benötigte 2.5-3 s und $0,48-0.64 pro 1.000 Läufe in Agno, Google ADK und CAMEL, gegenüber 3.5-5.2 s und $0,74-1.05 in den zehn Frameworks, die Tools gleichzeitig ausführen.
• Task 3 (zwei Filter nacheinander anwenden, dann berechnen):
  • Das model hat alle drei Schritte zusammen angefordert. Die Berechnung lief, bevor der zweite Filter fertig war, sodass sie 1.483 Kunden statt 592 verwendete.
  • 10 der 13 fehlgeschlagenen Läufe im benchmark stammen daher: 3 falsche Antworten jeweils in LangChain und LangGraph, 1 im Microsoft Agent Framework, und 3 CrewAI-Läufe wurden durch einen Tool-Fehler gestoppt. Bei 6 der falschen Antworten sagte das model, das Ergebnis sei unzuverlässig, statt eine Zahl zu nennen.
  • Das model bemerkte die Inkonsistenz oft und wiederholte Schritte. Das Microsoft Agent Framework wiederholte Schritte in 59 % der Läufe und war bei dieser Aufgabe nach smolagents das teuerste Framework ($1,96 pro 1.000 Läufe). Google ADK wiederholte nie einen Schritt und war am schnellsten (8.05 s).
• Task 5 (die JSON- und Textspalten erkennen und jede mit dem richtigen Tool verarbeiten):
  • Hier unterschieden sich die Frameworks nicht. In allen 1.300 Läufen prüfte das model beide Spalten, bevor es sie verarbeitete, und wählte das richtige Tool.
  • Der Unterschied kam erneut von der parallelen Ausführung. In 85 % der CrewAI-Läufe und 69 % der Läufe des Microsoft Agent Framework lief ein Tool, bevor seine Daten bereit waren, und Schritte wurden wiederholt.
  • Die Antworten waren korrekt, aber CrewAI war bei dieser Aufgabe nach smolagents das teuerste Framework ($2,08 pro 1.000 Läufe).

Wir haben die Standardeinstellung jedes Frameworks verwendet. Das gleichzeitige Ausführen von Tools spart nur dann Zeit, wenn die Tools langsam sind, etwa API-Aufrufe, die jeweils Sekunden dauern. Unsere Tools sind in Millisekunden fertig, sodass es hier die oben genannten Fehler und keinen Geschwindigkeitsgewinn brachte. Wenn Ihre Tools langsam und unabhängig sind, behalten Sie die Standardeinstellung. Wenn sie Daten gemeinsam nutzen, gibt es zwei Möglichkeiten:

• Konfigurieren Sie das Framework so, dass es Tools einzeln ausführt. SequentialToolExecutor in Strands Agents und max_tool_threads=1 in smolagents tun dies. In LlamaIndex sorgt allow_parallel_tool_calls=False dafür, dass das model pro Antwort ein Tool anfordert.
• Schreiben Sie Tools, die nicht voneinander abhängen, indem Sie beispielsweise „filter“ und „calculate“ zu einem Tool zusammenfassen.

Wie Anweisungen und Verlauf das model erreichen

Die meisten Frameworks senden unsere Anweisungen unverändert und senden frühere Schritte als standardmäßige Tool-Nachrichten. smolagents platziert unsere Anweisungen in seiner eigenen 6.780 Zeichen langen Vorlage und sendet frühere Schritte erneut als Klartext. Dieser Unterschied zeigte sich an drei Stellen:

• Die erste Anfrage ist größer: durchschnittlich 4.428 tokens in smolagents, gegenüber 1.917-2.822 in den anderen Frameworks.
• Das model dachte mehr nach: Dasselbe model erzeugte in smolagents durchschnittlich 1.050 reasoning tokens pro Lauf, gegenüber 122-228 in den anderen Frameworks. Reasoning tokens werden als Output abgerechnet und benötigen Zeit für die Generierung. In unserem Agentic-Orchestration-benchmark dachte das model in jedem smolagents-Lauf ebenfalls nach.
• Es gibt mehr LLM-Aufrufe: 6.52 pro Lauf im Durchschnitt in smolagents, gegenüber 3.73-4.78 in den anderen. Das meiste davon stammt aus dem abweichenden Verhalten bei Task 4 (unten).

Der Abstand wächst bei Aufgaben mit mehr Schritten. Task 2 forderte den Agenten auf, zwei Gruppen zu berechnen und zu vergleichen: den Umsatzverlust von Kunden mit und ohne technischen Support. Der Agent filtert und berechnet jede Gruppe separat, sodass die Aufgabe mehrere Schritte benötigt und die Vorlage und der Verlauf bei jedem Schritt erneut gesendet werden.

• smolagents sendete bei dieser Aufgabe durchschnittlich 31.200 tokens pro Lauf; die anderen Frameworks sendeten zwischen 9.244 und 14.161.
• smolagents beendete die Aufgabe in 24.34 s und zu $4,38 pro 1.000 Läufen, das 2- bis 3-fache der anderen Frameworks. Zwei smolagents-Läufe stießen ohne Antwort an das LLM-Aufruflimit.
• Die meisten anderen Frameworks wurden in 10-12 s fertig. Google ADK war mit 7.58 s und 3.39 LLM-Aufrufen am schnellsten, und CAMEL war mit $1,34 am günstigsten.

Wir haben die Standardvorlage von smolagents verwendet. Sie können mit dem Parameter prompt_templates eine kürzere übergeben.

Verhalten, wenn ein Tool fehlschlägt

Task 4 testete, was der Agent tut, wenn ein Tool defekt ist. Das Tool, das die Abwanderungsrate nach Zahlungsmethode berechnet, schlägt bei den ersten drei Aufrufen fehl (Verbindungsfehler, Timeout, Ratenlimit) und funktioniert beim vierten. Jede Fehlermeldung sagt „retry“. Der Agent hat zwei Möglichkeiten: das Tool erneut versuchen oder jede Zahlungsmethode separat filtern und berechnen.

• In zwölf Frameworks versuchte das model das Tool nach jedem Fehler in 97 % bis 100 % der Läufe erneut und erhielt das Ergebnis beim vierten Versuch. Die Aufgabe benötigte durchschnittlich 5.7-7.1 LLM-Aufrufe und 7.9-10.4 s.
• In smolagents gab dasselbe model das Tool nach dem zweiten oder dritten Fehler in 96 % der Läufe auf und berechnete die vier Zahlungsmethoden einzeln. Die Aufgabe benötigte durchschnittlich 13.76 LLM-Aufrufe und 41.07 s und kostete $9,96 pro 1.000 Läufe, gegenüber $1,90-2.75 in den anderen Frameworks.
• Die Fehlermeldung war in jedem Framework dieselbe. Der Unterschied bei smolagents besteht darin, dass es den Fehler und frühere Schritte als Klartext in seiner eigenen Vorlage anzeigt. Wir glauben, dass der Verhaltensunterschied daher kommt, aber wir haben es nicht separat getestet.

Auch das model beeinflusst dieses Verhalten: In einem Test mit GPT-5.2 und einem Lauf pro Framework gaben 6 der 13 Frameworks das Tool auf und wählten den anderen Weg.

Wir zeigten dem model die Fehler so, wie sie waren. Wenn vorübergehende Fehler wie Verbindungsfehler, Timeouts und Ratenlimits innerhalb des Tools erneut versucht werden, sieht das model sie nie, und das Verhalten hängt nicht mehr vom Framework ab.

Wie Tool-Definitionen für das model geschrieben werden

Wir haben jedem Framework dieselben Python-Funktionen mit denselben Beschreibungen gegeben. Jedes Framework wandelt sie auf seine eigene Weise in die Tool-Definitionen um, die das model liest. Dadurch änderte sich die Größe der ersten Anfrage: durchschnittlich 1.917 tokens in Agno, 2.754 in AutoGen. Der größte Teil des Unterschieds stammt aus den Tool-Definitionen:

• Agno, LangChain und LangGraph verwenden nur den ersten Satz der Funktionsbeschreibung als Tool-Beschreibung und setzen die Parameterbeschreibungen an die Parameter. Ihre Definitionen sind am kürzesten.
• AutoGen, Microsoft Agent Framework, CrewAI und Google ADK senden die vollständige Funktionsbeschreibung einschließlich der Parameter- und Rückgabebeschreibungen.
• LlamaIndex fügt außerdem die Funktionssignatur am Anfang hinzu.
• Pydantic KI schreibt die Beschreibung in XML-Tags und fügt die Rückgabebeschreibung hinzu.

Zwei Frameworks fügen den Anweisungen Text hinzu. CrewAI platziert die Anweisungen in einer Vorlage aus Rolle, Hintergrundgeschichte und Ziel, und Google ADK fügt am Ende eine Zeile hinzu, die mit „You are an agent“ beginnt. Diese Ergänzungen sind kleiner als die Unterschiede in den Tool-Definitionen.

Tool-Definitionen werden mit jeder Anfrage erneut gesendet, sodass der Unterschied bei jedem Schritt Kosten verursacht. Agno und AutoGen machten fast dieselbe Anzahl von LLM-Aufrufen pro Lauf (4.40 und 4.45), doch AutoGen sendete dem model durchschnittlich 37 % mehr tokens (14.932 gegenüber 10.899).

Wir gaben jedem Framework dieselben Funktionen und Beschreibungen. Kurze Funktionsbeschreibungen oder eine separate Tool-Beschreibung für das Framework verringern diesen Unterschied. In CrewAI kann der den Anweisungen hinzugefügte Text mit system_template und prompt_template geändert werden.

Framework-Code-Overhead

Der eigene Code des Frameworks verlängert einen Lauf um durchschnittlich 0.04-0.14 s, weniger als 2 % der Gesamtzeit.

Der Start dauert bei Google ADK etwa 1 s, bei CAMEL 0.6 s und bei den anderen unter 0.35 s. Die Startzeit ist nicht in den benchmark-Ergebnissen enthalten.

In Systemen, die bei jeder Anfrage neu starten, wie z. B. serverlosen Funktionen, wird die Startzeit zu jeder Anfrage hinzugerechnet. Das einmalige Laden des Frameworks beim Anwendungsstart und das Aufrechterhalten des Prozesses beseitigt sie.

Multi-Agent-Support

Dieser benchmark verwendete einen einzelnen Agenten, aber alle 13 Frameworks unterstützen den gleichzeitigen Betrieb mehrerer Agenten. Wir haben die Informationen in diesem Abschnitt und den nächsten drei anhand des Quellcodes der von uns getesteten Versionen überprüft. Die Ansätze fallen in drei Gruppen:

• Als Ablauf definiert: LangGraph (Knoten und Kanten), Microsoft Agent Framework (WorkflowBuilder), Google ADK (SequentialAgent, ParallelAgent, LoopAgent), Strands Agents (Graph und Swarm) und LlamaIndex (AgentWorkflow mit Übergaben zwischen Agenten).
• Als Team definiert: CrewAI (eine sequenzielle Crew oder eine mit einem Manager-Agenten), AutoGen (RoundRobinGroupChat, SelectorGroupChat, Swarm), Agno (Team) und CAMEL (Workforce, RolePlaying).
• Übergabe von Arbeit an einen anderen Agenten: OpenAI Agents SDK (handoffs), smolagents (managed_agents), Pydantic KI und LangChain (wobei ein Agent einem anderen als Tool übergeben wird).

Wir haben in unserem Agentic-Orchestration-benchmark gemessen, wie diese Frameworks einen Ablauf mit fünf Agenten bewältigen.

MCP-Support

MCP (Model Context Protocol) gibt Agenten eine standardisierte Möglichkeit, sich mit externen Tools und Datenquellen zu verbinden. Alle 13 Frameworks können Tools von MCP-Servern verwenden.

MCP-Client im eigenen Paket des Frameworks enthalten:

• Agno
• CAMEL
• CrewAI
• Google ADK
• LangChain (zusätzliche Abhängigkeit: langchain[mcp])
• Microsoft Agent Framework
• OpenAI Agents SDK
• Pydantic KI
• smolagents (zusätzliche Abhängigkeit: smolagents[mcp])
• Strands Agents

Separates Paket erforderlich:

• AutoGen: autogen-ext
• LangGraph: kein eigener MCP-Client; verwendet die MCP-Unterstützung von LangChain oder langchain-mcp-adapters
• LlamaIndex: llama-index-tools-mcp

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Menschliche Genehmigung (Human-in-the-Loop)

Einige Aktionen sollten nicht ohne die Genehmigung einer Person erfolgen, etwa das Senden einer E-Mail oder das Löschen eines Datensatzes. Die Frameworks unterstützen dies auf drei Arten.

Genehmigung vor der Ausführung eines Tools anfordern:

• Agno: requires_confirmation
• Google ADK: require_confirmation
• LangChain: HumanInTheLoopMiddleware
• Microsoft Agent Framework: approval_mode
• OpenAI Agents SDK: needs_approval
• Pydantic KI: requires_approval

Den Ablauf pausieren und auf die Antwort einer Person warten:

• LangGraph: interrupt
• LlamaIndex: Ereignisse, die auf menschliche Eingaben warten
• Strands Agents: Interrupts

Eine Person als Agenten oder Tool einbinden:

• AutoGen: UserProxyAgent
• CAMEL: HumanToolkit
• CrewAI: Feedback über human_input am Ende einer Aufgabe
• smolagents: UserInputTool

Gedächtnis

Jedes Framework speichert den Verlauf innerhalb einer Aufgabe. Der Unterschied liegt im persistenten Gedächtnis über Aufgaben und Konversationen hinweg.

Eingebautes persistentes Gedächtnis:

• Agno: MemoryManager
• AutoGen: Memory
• CAMEL: LongtermAgentMemory
• CrewAI: die Gedächtniseinstellung bei einer Crew
• Google ADK: Memory-Dienste
• LangChain: Checkpointers und Stores
• LangGraph: Checkpointers und Stores
• LlamaIndex: Memory
• Microsoft Agent Framework: Kontext- und Verlaufsanbieter
• OpenAI Agents SDK: Sitzungen
• Strands Agents: Sitzungsmanager

Kein eingebautes persistentes Gedächtnis (die Anwendung speichert den Verlauf und übergibt ihn beim nächsten Lauf an den Agenten):

• Pydantic KI
• smolagents

Beste Agentic-KI-Frameworks

LangGraph

Es definiert einen Agenten als Graphen aus Knoten und Kanten, und der Entwickler verwaltet den zwischen Schritten übergebenen Zustand explizit. Es gibt Python- und JavaScript-Versionen, und Läufe können in der LangSmith-Plattform von LangChain nachverfolgt werden.

Der längste LangGraph-Lauf in Task 3 benötigte 25 Tool-Aufrufe, bevor er die richtige Antwort erreichte, und 16 davon waren Wiederholungen. Abgesehen von smolagents endete der längste Lauf in jedem anderen Framework bei 21 Tool-Aufrufen.

LangChain

Das Allzweck-Framework des LangChain-Teams für LLM-Anwendungen. Seit Version 1.0 werden Agenten mit create_agent erstellt und auf der LangGraph-Laufzeit ausgeführt. Middleware kann die Agenten-Schleife verändern, und vorgefertigte Middleware deckt das Zusammenfassen langer Verläufe, das Maskieren personenbezogener Daten, das Wiederholen nach Fehlern und den Fallback auf ein anderes model ab.

Da create_agent auf LangGraph läuft, hat es dem model dieselben Anweisungen und Tool-Definitionen wie LangGraph gesendet, und die beiden Frameworks landeten bei fast derselben Zeit und denselben Kosten.

CrewAI

Es definiert Agenten über Rolle, Ziel und Hintergrundgeschichte und führt sie mit Aufgaben als Team (Crew) aus. Aufbauend auf Crews verbinden Flows Schritte über Ereignisse, und das Unternehmen bietet außerdem eine kostenpflichtige Enterprise-Plattform an.

Es war bei Task 4 das schnellste Framework (7.85 s) und machte dort die wenigsten LLM-Aufrufe (5.68 im Durchschnitt).

AutoGen

Das Framework von Microsoft Research, in dem Agenten arbeiten, indem sie sich gegenseitig Nachrichten senden. Es hat ein schichtenförmiges Design (Core, AgentChat und Extensions), und AutoGen Studio, eine No-Code-Oberfläche, ist als separates Paket erhältlich. Microsoft empfiehlt das Microsoft Agent Framework für neue Projekte.

Standardmäßig stoppt AssistantAgent nach einer Runde von Tool-Aufrufen und gibt das Tool-Ergebnis als Antwort zurück (max_tool_iterations=1). Mehrstufige Aufgaben benötigen einen höheren Wert, und wir haben ihn erhöht.

Microsoft Agent Framework

Das Framework von Microsoft, das AutoGen und Semantic Kernel zusammenführt. Es unterstützt Python und .NET. Es bietet OpenTelemetry-Tracing und Middleware für Agentenaufrufe, und eine Entwicklungsoberfläche namens DevUI ist als separates Paket erhältlich.

Es war bei Task 5 das schnellste Framework (6.50 s), obwohl es oft Schritte wiederholte.

OpenAI Agents SDK

Das Framework von OpenAI und der Nachfolger von Swarm, aufgebaut rund um Agenten, Tools, Übergaben und Schutzmechanismen. Es gibt Python- und TypeScript-Versionen. Standardmäßig sendet es eine Ablaufverfolgung jedes Laufs an das Tracing-Dashboard von OpenAI (wir haben dies für den benchmark deaktiviert). Es enthält separate Module für Sprach- und Echtzeit-Agenten. Es verwendet standardmäßig OpenAIs Responses-API, daher benötigen models anderer Anbieter die Chat-Completions-Model-Klasse.

Google ADK

Es funktioniert direkt mit Gemini und über LiteLLM mit anderen models; das haben wir verwendet. Es wird mit einer lokalen Entwicklungsschnittstelle (adk web) und einem Evaluierungstool (adk eval) geliefert, und Agenten können über die Befehlszeile in Vertex AI Agent Engine, Cloud Run oder GKE bereitgestellt werden.

Es war im Durchschnitt das schnellste Framework (6.79 s) und gehörte bei allen fünf Aufgaben zu den drei schnellsten. Außerdem machte es die wenigsten LLM-Aufrufe pro Lauf (3.73 im Durchschnitt).

Agno

Es wird mit einem großen Katalog vorgefertigter Toolkits geliefert und bietet AgentOS, eine Laufzeitumgebung zum Bereitstellen und Verwalten von Agenten als API in Ihrer eigenen Infrastruktur.

In Agno schrieb das model fast nie Kommentare neben seinen Tool-Aufrufen: Es tat dies in 0,2 % der Tool-Aufruf-Runden, gegenüber 3 % bis 26 % in den anderen Frameworks. Diese Kommentare werden als Output-tokens abgerechnet.

Pydantic KI

Es validiert Tool-Argumente und Agentenausgaben mit Pydantic-models und fordert das model auf, ein ungültiges Argument zu korrigieren. Ein typisierter deps-Mechanismus übergibt Abhängigkeiten wie Datenbankverbindungen an Tools. Läufe können mit Pydantic Logfire nachverfolgt und mit Temporal, DBOS oder Prefect gegen Unterbrechungen abgesichert werden.

smolagents

Sein bekanntester Ansatz ist CodeAgent, der Tools aufruft, indem er Python-Code statt JSON schreibt, und diesen Code lokal oder in isolierten Umgebungen wie E2B, Docker oder Modal ausführt. Tools und Agenten können im Hugging Face Hub geteilt werden. Wir haben ToolCallingAgent getestet, das JSON-Tool-Aufrufe macht, daher ist CodeAgent nicht Teil dieser Ergebnisse.

Da es die Antwort über ein separates final_answer-Tool zurückgibt, waren 99,6 % seiner Ausgaben reines JSON. In den anderen Frameworks kamen 17 % bis 41 % der Antworten in einem Markdown-Codeblock verpackt an.

LlamaIndex

Es enthält Komponenten zum Laden, Aufteilen, Indexieren und Abfragen von Dokumenten, und eine Query-Engine kann einem Agenten mit QueryEngineTool als Tool übergeben werden. Für Agenten bietet es FunctionAgent und AgentWorkflow, das mehrere Agenten verbindet. Es gibt Python- und TypeScript-Versionen.

Es war in der Grafik bei Task 2 und Task 4, den Aufgaben mit den meisten Schritten, das teuerste Framework ($1,91 und $2,75 pro 1.000 Läufe). Seine langen Tool-Definitionen werden bei jedem Schritt erneut gesendet, sodass der Abstand mit der Anzahl der Schritte wächst.

Strands Agents

Es überlässt Planung und Tool-Auswahl dem model und hält die Agenten-Schleife einfach. Wenn kein model festgelegt ist, verwendet es ein Claude-Model auf Amazon Bedrock, und es bietet integrierte Anbieter für Anthropic, OpenAI, Gemini, Mistral, Ollama und LiteLLM. Es zeichnet Läufe mit OpenTelemetry auf.

In allen 100 Task-1-Läufen rief das model zuerst das Berechnungstool auf, ohne die Daten zu laden, erhielt einen Fehler und lud die Daten in einem separaten Schritt. Aufgrund dieses zusätzlichen Schritts war Strands in der Grafik bei Task 1 das langsamste Framework (5.18 s).

CAMEL

Ein Agentic-KI-Framework aus der CAMEL-KI-Community, das aus der Multi-Agenten-Forschung hervorgegangen ist; OWL baut darauf auf. Neben vorgefertigten Toolkits enthält es Module für die synthetische Datengenerierung und benchmarks, sodass es auch auf den Forschungseinsatz abzielt.

Es war in der Grafik bei Task 3 das langsamste Framework (14.43 s). Bei dieser Aufgabe machte das model in CAMEL durchschnittlich 4.73 LLM-Aufrufe und erzeugte 598 reasoning tokens pro Lauf, gegenüber 3.22 und 207 in Google ADK.

Benchmark-Methodik

Alle Aufgaben verwenden dieselben Daten: 5.000 Kunden, die aus dem IBM Telco Customer Churn dataset entnommen wurden. Wir haben dem dataset eine JSON-Spalte (Gerätedaten) und eine Textspalte (Support-Notizen) hinzugefügt. Der Agent lädt zuerst die Daten, filtert und berechnet dann mit Tools und gibt die Antwort in einem festen JSON-Format zurück.

• Task 1, grundlegende Berechnung: Abwanderungsrate nach Vertragsart. Misst, wie viel Overhead das Framework dem einfachsten Auftrag hinzufügt.
• Task 2, Vergleich zweier Gruppen: Monatlicher Umsatzverlust von Kunden mit und ohne technischen Support. Misst, ob zwei getrennte Ergebnisse über Schritte hinweg korrekt bleiben.
• Task 3, Schwellenwerte: Abwanderungsrate von Kunden mit weniger als 1 Jahr Betriebszugehörigkeit, die über $70 pro Monat zahlen. Misst, wie Formulierungen in die richtigen Zahlen umgesetzt und zwei Filter nacheinander angewendet werden.
• Task 4, defektes Tool: Abwanderungsrate nach Zahlungsmethode. Das erforderliche Tool schlägt dreimal fehl und funktioniert beim vierten Mal. Misst, was der Agent tut, wenn ein Tool fehlschlägt.
• Task 5, gemischte Daten: Gerätezahlen (aus der JSON-Spalte) und Beschwerde-Schlüsselwörter (aus der Textspalte) für abgewanderte Kunden, die über $100 pro Monat zahlen. Misst, ob der Agent die Spaltentypen erkennt und das richtige Tool wählt.

Setup

• Model: Claude Haiku 5.5 über OpenRouter mit dem Anthropic-Anbieter, mit mittlerem Reasoning-Aufwand.
• 100 Läufe pro Framework und Aufgabe, insgesamt 6.500 Läufe. Datum: 27. Oktober 2026.
• Limits pro Lauf: 15 LLM-Aufrufe bei den Tasks 1-3, 25 bei den Tasks 4-5 und 420 s.
• Jedes Framework erhielt dieselben Anweisungen, denselben Aufgabentext und dieselben Tools. Wir haben jedes Framework auf die übliche Weise eingerichtet und sein Standardverhalten nicht geändert. Wir haben lediglich die Schrittlimits so weit angehoben, dass die Aufgaben abgeschlossen werden konnten, und je eine Einstellung in CrewAI, smolagents und AutoGen geändert, damit sie mit Claude funktionierten.
• Alle Anfragen liefen über denselben Logging-proxy. Der proxy wendete auf jede Anfrage dasselbe model und dieselbe Reasoning-Einstellung an und entfernte Sampling-Einstellungen, die manche Frameworks hinzufügen, etwa die Temperatur von 0.1, die LlamaIndex sendet.
• Jeder Lauf lief nach einem nicht gemessenen Aufwärmdurchlauf in einem eigenen Prozess. Die Läufe liefen in zufälliger Reihenfolge jeweils drei gleichzeitig.
• Wir verglichen jede Antwort mit der von denselben Tools berechneten richtigen Antwort.
• Die Ergebnisse für unsere Stichprobe von 5.000 Kunden unterscheiden sich von den bekannten öffentlichen Ergebnissen des dataset, sodass das model nicht aus dem Gedächtnis antworten kann.
• Getestete Versionen: LangGraph 1.2.17, LangChain 1.4.7, CrewAI 1.15.30, AutoGen AgentChat 0.7.5, Microsoft Agent Framework 1.23.0, OpenAI Agents SDK 0.24.0, Google ADK 2.13.0, Agno 3.1.10, Pydantic KI 2.61.0, smolagents 1.26.0, LlamaIndex 0.14.25, Strands Agents 1.62.0, CAMEL 0.2.90.

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Şipi, Nazlı},
  title  = {{Top 13 Open-Source Agentic AI Frameworks}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/agentic-frameworks}},
  note   = {AIMultiple. Abgerufen am 30. Oktober 2026}
}

Änderungsprotokoll

10 Aktualisierungen

Alle10Allgemein9Methodik1

20262025

1. 2. Mär

   Die Benchmark-Ergebnisse und -Analyse im Abschnitt „Agentic AI frameworks benchmark“ wurden ersetzt.

2. 22. Jan

   Eine Methodikänderung, die beschrieb, wie Aufgaben in agentenbasierte Architekturen integriert wurden, wurde entfernt.

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple.

Cems Arbeit bei AIMultiple wurde von führenden globalen Publikationen wie Business Insider, Forbes, Morning Brew und Washington Post, von globalen Unternehmen wie Deloitte und HPE, von NGOs wie dem World Economic Forum und von supranationalen Organisationen wie der European Commission zitiert. [1], [2], [3], [4], [5]

Im Laufe seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen bei ihren Technologieentscheidungen bei McKinsey & Company und Altman Solon über mehr als ein Jahrzehnt. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung.

Er leitete Technologiestrategie und -beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Außerdem verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von 0 einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung erreichte. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.

Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er absolvierte die Bogazici University als Computeringenieur und hat einen MBA von der Columbia Business School.

Vollständiges Profil anzeigen

Recherchiert von

Nazlı Şipi

KI-Forscherin

Folgen auf

Nazlı ist Datenanalystin bei AIMultiple. Sie verfügt über frühere Erfahrung in der Datenanalyse in verschiedenen Branchen, wo sie daran arbeitete, komplexe Datasets in umsetzbare Erkenntnisse umzuwandeln.

Vollständiges Profil anzeigen

Kommentare 1

Teilen Sie Ihre Gedanken

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten

Chaitanya

Dec 19, 2025 at 01:47

Thank you for this informative and detailed article! It helped me get a reading on these frameworks.

Antworten