AIM Benchmark für agentisches Web
Agenten verlassen sich auf Webschnittstellen, um Aufgaben im Web zu erledigen. Um die Aufgabenerledigung über verschiedene Webschnittstellen hinweg zu vergleichen, haben wir den AIM Benchmark für agentisches Web erstellt und 100 Aufgaben über 7 Schnittstellen jeweils 5 Mal ausgeführt, was 3.500 bewertete Ergebnisse ergab.
Erfolgsquoten
Bright Data CLI und Bright Data MCP absolvierten 8.2 bzw. 8.4 mehr Aufgaben pro 100 als Firecrawl MCP, den besten der übrigen fünf.
Zehn Beispielaufgaben finden Sie auf GitHub, und die Methodik erklärt, wie wir den Benchmark durchgeführt haben.
Konsistenz über die Läufe hinweg
Bright Data MCP hat den besten Lauf mit 52 %. Die Differenz zwischen dem besten und schlechtesten Lauf bei Oxylabs MCP beträgt über 5 Läufe hinweg nur 5 Aufgaben. Sie ist die konsistenteste Schnittstelle im Panel, gefolgt von:
- Bright Data CLI: 7
- Nimble MCP: 7
- Nimble CLI: 9
- Firecrawl MCP: 10
- ZenRows MCP: 11
- Bright Data MCP: 15
Kosten und Geschwindigkeit
Bright Data MCP ist bei einem Median von 186 Sekunden pro Aufgabe die schnellste Schnittstelle, und alle fünf MCP-Tools hatten niedrigere Mediane als beide CLI-Tools. Beim selben Anbieter benötigte die CLI 1.9-mal so lange wie der MCP-Server bei Bright Data und 3.3-mal so lange bei Nimble. Die Nimble CLI ist mit 830 Sekunden die langsamste und wiederholte nach Timeouts 144 ihrer 500 Aufgaben, mehr als jede andere Schnittstelle.
Die Gesamtkosten setzen sich aus den Token-Ausgaben des Agenten und den Gebühren des Anbieters zusammen. Nimble MCP hat mit $0,072 pro Aufgabe die niedrigsten Gesamtkosten. Bei den beiden Bright Data-Schnittstellen und ZenRows MCP, die einen nach Bandbreite abgerechneten Remote-Browser nutzen, machen die Anbietergebühren 40 bis 51 Prozent der Gesamtkosten aus. Der Wert für Firecrawl schließt minütliche Browser-Sitzungen aus und ist daher eine Untergrenze.
Fehlerursachen
Die Bright Data CLI wurde im Durchschnitt 17.6 Mal pro 100 Aufgaben blockiert – am seltensten im Panel –, während Firecrawl MCP, Nimble MCP und Oxylabs MCP 1.7- bis 2-mal so oft blockiert wurden.
Die Nimble CLI wurde unter den fünf Nicht-Bright Data-Schnittstellen mit 18.2 am seltensten blockiert, lieferte aber bei 28.4 Aufgaben pro 100 nichts – die höchste Nichtlieferung im Panel –, was darauf zurückzuführen ist, dass 36.3 Prozent ihrer Versuche das 30-Minuten-Limit erreichten (die Versuche übersteigen die Aufgaben, weil bei Zeitüberschreitung einmal wiederholt wurde).
Als bevorzugte Quelle hinzufügenMethodik
Jede Schnittstelle lief auf einem eigenen VPS. Der Agent war OpenClaw und nutzte MiniMax M3 über OpenRouter, ohne parallele Aufgabenläufe. Jeder Server hatte 2 vCPUs und 2GB RAM.
Der verwendete Aufgabensatz war für alle sieben Schnittstellen in allen 5 Läufen identisch.
Vor jedem Lauf holte eine Sonde eine kostengünstige Seite über das Anbieterkonto, und der Lauf verweigerte den Start, wenn dieser Abruf fehlschlug. Jeder Versuch hatte 30 Minuten.
Eine Aufgabe, die Zeit überschritt oder weniger als 500 Byte Ausgabe lieferte, erhielt einen Wiederholungsversuch, mit Ausnahme der vier zustandsverändernden Aufgaben, die nie wiederholt wurden, da ein erster Versuch möglicherweise bereits einen Warenkorb geändert hatte. Der Wiederholungsversuch ist der Versuch, der bewertet wird, und Modellkosten und Zeit stammen daraus, auch wenn er ebenfalls das Limit erreichte.
In diesem Benchmark verwendete Versionen:
Beispielaufgaben
Zehn der 100 Aufgaben sind vollständig auf GitHub veröffentlicht, mit der dem Agenten erteilten Anweisung, dem Ausgabeformat, den Bestehensregeln und der Bewertung der einzelnen Schnittstellen.
Dataset
Die 100 Aufgaben umfassen 29 Websites in sechs Kategorien. Wir wählten Websites aus den Top-20-Seiten von SimilarWeb nach Traffic in jeder Kategorie am 15. Mai 2026 aus, beginnend am Anfang jeder Liste.
Wir haben Websites übersprungen, die einen einzelnen Nicht-US-Markt bedienen, regionale Kopien einer gewählten Website sind, Messaging-Apps, Websites, die eine Anmeldung erfordern, sowie Websites ohne öffentliche Inserate, die durchsucht werden können.
Wir haben je nachdem, wie viele Aktionen die Website unterstützt, 2 bis 5 Aufgaben pro Website vorbereitet. Sechsundneunzig Aufgaben rufen Informationen ab, und vier verändern den Zustand auf der entfernten Website.
Auswertung
Jede Aufgabe und ihre Bestehensbedingungen wurden auf Englisch verfasst. Der Bewerter liest die Regeldatei und bewertet nur, wenn jede für sie geltende Regel erfüllt ist.
Blockiert bedeutet, dass der Agent eine Fehlermeldung anstelle von Daten zurückgab, z. B. dass der Anbieter die Website nicht erreichen konnte oder dass eine Gebührenaufschlüsselung auf der Seite nicht angezeigt wurde.
Umgangen bedeutet, dass der Agent die Seite direkt abgerufen hat, anstatt die Anbieterschnittstelle zu nutzen, typischerweise über eine direkte Anfrage aus der Shell. Wir finden diese in den Sitzungsprotokollen. Eine umgangene Aufgabe bringt nichts und bleibt in der Gesamtzahl von 100 Aufgaben.
„Nicht bestimmt“-Zellen sind solche, bei denen der Bewerter nicht entscheiden konnte, ob die Antwort korrekt war. Diese wurden weder als korrekt noch als blockiert gezählt. Dies betrifft 8 bis 18 Aufgaben pro Schnittstelle und Lauf, alle aus denselben 28 Aufgaben.
Dieselben Aufgaben, Anweisungen und dasselbe Modell wurden über alle sieben Schnittstellen hinweg verwendet, und die Regeln wurden vor dem ersten Lauf festgelegt.
Kosten
Das Diagramm addiert zwei Zahlen. Modellkosten sind das, was der Agent für Tokens ausgegeben hat, MiniMax M3 über OpenRouter zu $0,30 pro Million Eingabetokens, $1,20 pro Million Ausgabetokens und $0,06 pro Million Cache-Lesevorgänge, berechnet aus dem bewerteten Versuch jeder Aufgabe.
Die Schnittstellenkosten sind das, was der Anbieter für dieselbe Arbeit berechnet hat, gemittelt über fünf Läufe:
- Bright Data: abgelesen aus der Abrechnung des Kontos pro Zone und Tag. Scraping Browser kostet $8 pro GB plus $0,10 pro Stunde, Web Unlocker $1,50 pro 1K Anfragen, SERP $1,50 pro 1K.
- ZenRows: aus ihrem Panel, Browser-Sitzungsbandbreite plus Fetch-Credits, wie protokolliert. Der Plan beträgt EUR 129.99 pro 1M Credits; der Browser ergibt etwa 40.500 Credits pro GB, und Fetch betrug nach den JS-Render- und Premium-Proxy-Multiplikatoren durchschnittlich 14 Credits pro Anfrage.
- Oxylabs: Anzahl der Anfragen aus den Agenten-Transkripten zu $1,15 pro 1K Ergebnisse.
- Firecrawl: Credits, gezählt aus den Transkripten zu $83 pro 100K Credits, 1 Credit pro Scrape.
- Nimble: Anfragen, gezählt aus den Transkripten zu $1,00 pro 1K für Extract und $1,10 pro 1K für Search.
Einschränkungen
Die Nimble CLI überschritt bei 36.5 Prozent ihrer Versuche die Zeit.
Alle Schnittstellen haben unterschiedliche Geschwindigkeiten; nicht alle Aufgaben starteten oder endeten zur gleichen Zeit. Einige Aufgaben hängen vom Datum oder davon ab, was zu diesem Zeitpunkt gelistet ist, sodass einige Anbieter bei diesen nicht dieselbe Seite sahen. Die Bestehensregeln wurden so formuliert, dass sie das Format und den Abruf testen, nicht ein bestimmtes Inserat, sodass eine geänderte Seite die Bewertung nicht verändert.
Diese Forschung zitieren
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Kalelioğlu, Berk},
title = {{AIM Benchmark für agentisches Web}},
year = {2026},
month = sep,
howpublished = {\url{https://aimultiple.com/agentic-web}},
note = {AIMultiple. Abgerufen am 29. September 2026}
}Ergebnisse und Zeitstempel von 16 Datenpunkten. Laden Sie die Zusammenfassungsdaten aus den Diagrammen und Tabellen dieses Artikels als ZIP-Datei herunter, die 2 CSV-Dateien enthält.
Möchten Sie die granularen Daten dahinter? Premium beitreten
Cems Arbeit bei AIMultiple wurde von führenden globalen Publikationen wie Business Insider, Forbes, Morning Brew und Washington Post, von globalen Unternehmen wie Deloitte und HPE, von NGOs wie dem World Economic Forum und von supranationalen Organisationen wie der European Commission zitiert. [1], [2], [3], [4], [5]
Im Laufe seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen bei ihren Technologieentscheidungen bei McKinsey & Company und Altman Solon über mehr als ein Jahrzehnt. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung.
Er leitete Technologiestrategie und -beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Außerdem verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von 0 einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung erreichte. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.
Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er absolvierte die Bogazici University als Computeringenieur und hat einen MBA von der Columbia Business School.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.