Agenten sind auf Web-Schnittstellen angewiesen, um Web-Aufgaben zu erledigen. Um die Aufgabenerledigung über verschiedene Web-Schnittstellen hinweg zu vergleichen, haben wir den AIM Agentic Web-Benchmark aufgebaut und ließen 100 Aufgaben über 8 Schnittstellen laufen, jeweils 5 Mal, für 4.000 bewertete Ergebnisse.
Erfolgsquoten
Bright Data CLI und Bright Data MCP erledigten 3.6 und 3.8 mehr Aufgaben pro 100 als Zenrows CLI, das beste der übrigen sechs.
Zehn Beispielaufgaben befinden sich auf GitHub, und die Methodik erklärt, wie wir den Benchmark durchgeführt haben.
Konsistenz über die Durchläufe
Bright Data MCP hat den besten Lauf mit 52 %. Der Abstand zwischen dem besten und dem schlechtesten Lauf bei Oxylabs MCP beträgt nur 5 Aufgaben über 5 Durchläufe hinweg. Es ist die konsistenteste Schnittstelle im Panel, gefolgt von:
- Bright Data CLI: 7
- Nimble MCP: 7
- Zenrows CLI: 8
- Nimble CLI: 9
- Firecrawl MCP: 10
- Zenrows MCP: 11
- Bright Data MCP: 15
Kosten und Geschwindigkeit
Bright Data MCP ist die schnellste Schnittstelle mit einem Median von 186 Sekunden pro Aufgabe, und alle fünf MCP-Tools hatten niedrigere Mediane als drei CLI-Tools. Beim selben Anbieter benötigte die CLI das 1.5-Fache der Zeit des MCP-Servers für Zenrows, das 1.9-Fache für Bright Data und das 3.3-Fache für Nimble. Nimble CLI ist mit 830 Sekunden am langsamsten und wiederholte 144 seiner 500 Aufgaben nach Zeitüberschreitungen, mehr als jede andere Schnittstelle.
Die Gesamtkosten setzen sich aus den Token-Ausgaben des Agenten und der Anbietergebühr zusammen. Nimble MCP hat mit $0,072 pro Aufgabe den niedrigsten Gesamtwert. Bei den beiden Bright Data-Schnittstellen und Zenrows MCP, die einen nach Bandbreite abgerechneten Remote-Browser verwenden, machen die Anbietergebühren 40 bis 51 Prozent des Gesamtwerts aus. Der Wert von Firecrawl schließt die minutenbasierten Browser-Sitzungen nicht ein und ist daher eine Untergrenze.
Fehlerursachen
Bright Data CLI wurde durchschnittlich 17.6-mal pro 100 Aufgaben blockiert, am seltensten im Panel, während Firecrawl MCP, Nimble MCP und Oxylabs MCP 1.7- bis 2-mal so oft blockiert wurden.
Nimble CLI wurde unter den sechs Nicht-Bright Data-Schnittstellen mit 18.2 am seltensten blockiert, lieferte aber bei 28.4 Aufgaben pro 100 nichts zurück, die höchste Nichtzustellung im Panel, was darauf zurückzuführen ist, dass bei 36.3 Prozent seiner Versuche das 30-Minuten-Limit erreicht wurde (die Versuche übersteigen die Aufgaben, weil Aufgaben mit Zeitüberschreitung einmal wiederholt wurden).
Zenrows CLI und Zenrows MCP wurden etwa gleich häufig blockiert, aber die CLI schloss mehr Aufgaben erfolgreich ab.
Als bevorzugte Quelle hinzufügenMethodik
Jede Schnittstelle lief auf einem eigenen VPS. Der Agent war OpenClaw, das MiniMax M3 über OpenRouter ausführte, ohne parallele Aufgabenläufe. Jeder Server hatte 2 vCPUs und 2GB RAM.
Der verwendete Aufgabensatz war für alle acht Schnittstellen in allen 5 Durchläufen identisch.
Vor jedem Durchlauf lud eine Sonde eine kostengünstige Seite über das Anbieterkonto, und der Durchlauf weigerte sich zu starten, wenn dieser Abruf fehlschlug. Jeder Versuch hatte 30 Minuten.
Eine Aufgabe, die keine Zeit mehr hatte oder weniger als 500 Byte Ausgabe lieferte, erhielt einen erneuten Versuch, mit Ausnahme der vier zustandsändernden Aufgaben, die nie wiederholt wurden, weil ein erster Versuch möglicherweise bereits einen Warenkorb verändert hatte. Der erneute Versuch ist der Versuch, der bewertet wird, und Model-Kosten sowie Zeit stammen aus ihm, selbst wenn auch er das Limit erreichte.
Alle installierten Clients außer Zenrows CLI befanden sich auf dem neuesten Stand vom 27. Juli 2026. Zenrows CLI wurde erstmals am 31. Juli 2026 veröffentlicht. In diesem Benchmark verwendete Versionen:
Beispielaufgaben
Zehn der 100 Aufgaben sind vollständig auf GitHub veröffentlicht, zusammen mit der Anweisung, die der Agent erhielt, dem Ausgabeformat, den Bestehensregeln und der Bewertung jeder Schnittstelle.
Dataset
Die 100 Aufgaben erstrecken sich über 29 Websites in sechs Kategorien. Wir wählten Websites aus den Top-20-Sites nach Traffic in jeder Kategorie von SimilarWeb am 15. Mai 2026 aus, beginnend am Anfang jeder Liste.
Wir übersprangen Sites, die einen einzelnen Nicht-US-Markt bedienen, regionale Kopien einer ausgewählten Site, Messaging-Apps, Sites, die eine Anmeldung erfordern, und Sites ohne öffentliche durchsuchbare Einträge.
Wir erstellten 2 bis 5 Aufgaben pro Website, je nachdem, wie viele Aktionen die Website unterstützt. Sechsundneunzig Aufgaben rufen Informationen ab, und vier verändern den Zustand auf der Remote-Site.
Auswertung
Jede Aufgabe und ihre Bestehensbedingungen wurden auf Englisch verfasst. Der Scorer liest die Regeldatei und bewertet nur, wenn jede für sie geltende Regel erfüllt ist.
Blockiert bedeutet, dass der Agent anstelle von Daten eine Fehlermeldung zurückgab, zum Beispiel, dass der Anbieter die Website nicht erreichen konnte oder dass auf der Seite keine Gebührenaufschlüsselung angezeigt wurde.
Einige Anbieter lehnten Anfragen an bestimmte Websites ab. Diese Aufgaben bleiben für jede Schnittstelle in der Gesamtzahl von 100 Aufgaben.
- Zenrows: Ticketmaster und Instagram (7 Aufgaben) wurden unabhängig von den Einstellungen gemäß seiner Nutzungsrichtlinie abgelehnt.1
- Oxylabs: Ticketmaster, AXS und SeatGeek sowie StubHub in einem Durchlauf, abgelehnt als „nicht unterstützt“. Oxylabs führt Ticketing unter den Zielen auf, die es einschränkt, sofern das Konto keine Verifizierungsprüfung besteht.2
- Firecrawl: LinkedIn, Reddit, TikTok, X und Instagram antworteten mit „wir unterstützen diese Website nicht“.
Umgangen bedeutet, dass der Agent die Seite direkt abrief, anstatt die Anbieterschnittstelle zu verwenden, in der Regel über eine direkte Anfrage aus der Shell. Wir finden diese in den Sitzungsprotokollen. Eine umgangene Aufgabe erhält nichts und bleibt in der Gesamtzahl von 100 Aufgaben.
„Nicht bestimmt“-Zellen sind solche, bei denen der Scorer nicht entscheiden konnte, ob die Antwort korrekt war. Diese wurden weder als korrekt noch als blockiert gezählt. Dies betrifft 8 bis 18 Aufgaben pro Schnittstelle und Durchlauf, alle aus denselben 28 Aufgaben.
Wir verwendeten dieselben Aufgaben, Anweisungen und dasselbe Model über alle acht Schnittstellen hinweg und sperrten die Regeln vor dem ersten Durchlauf.
Kosten
Die Grafik addiert zwei Zahlen. Die Model-Kosten sind das, was der Agent für Token ausgegeben hat, MiniMax M3 über OpenRouter zu $0,30 pro Million Eingabetoken, $1,20 pro Million Ausgabetoken und $0,06 pro Million Cache-Lesevorgänge, gezählt aus dem bewerteten Versuch jeder Aufgabe.
Die Schnittstellenkosten sind das, was der Anbieter für dieselbe Arbeit berechnete, gemittelt über fünf Durchläufe:
- Bright Data: Nutzung aus der Abrechnung des Kontos pro Zone und Tag, berechnet mit $8 pro GB zuzüglich $0,10 pro Stunde für Scraping Browser, $1,50 pro 1K Anfragen für Web Unlocker und $1,50 pro 1K für SERP.
- Zenrows: aus ihrem Panel, Browser-Sitzungsbandbreite plus Fetch-Credits wie protokolliert. Der Plan kostet EUR 129.99 pro 1M Credits; Browser ergibt ungefähr 40.500 Credits pro GB, und Fetch liegt nach den JS-Rendering- und Premium-Proxy-Multiplikatoren bei durchschnittlich 14 Credits pro Anfrage.
- Oxylabs: Anfragezahlen aus den Agentenprotokollen zu $1,15 pro 1K Ergebnissen.
- Firecrawl: Credits aus den Protokollen gezählt zu $83 pro 100K Credits, 1 Credit pro Scrape.
- Nimble: Anfragen aus den Protokollen gezählt zu $1,00 pro 1K für extract und $1,10 pro 1K für search.
Einschränkungen
Nimble CLI hat bei 36.3 Prozent seiner Versuche die Zeit überschritten.
Alle Schnittstellen haben unterschiedliche Geschwindigkeiten; nicht alle Aufgaben starten oder enden zur gleichen Zeit. Einige Aufgaben hängen vom Datum oder von dem, was zu diesem Zeitpunkt gelistet ist, ab, sodass einige Anbieter nicht dieselbe Seite sahen. Die Bestehensregeln wurden so formuliert, dass sie das Format und den Abruf testen, nicht ein bestimmtes Inserat, sodass eine geänderte Seite die Bewertung nicht verändert.
Diese Forschung zitieren
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Kalelioğlu, Berk},
title = {{AIM Agentic Web-Benchmark}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/agentic-web}},
note = {AIMultiple. Abgerufen am 15. Oktober 2026}
}Ergebnisse und Zeitstempel von 64 Datenpunkten. Laden Sie die Zusammenfassungsdaten aus den Diagrammen und Tabellen dieses Artikels als ZIP-Datei herunter, die 7 CSV-Dateien und eine README enthält.
Möchten Sie die granularen Daten dahinter? Premium beitreten
Referenzlinks
Cems Arbeit bei AIMultiple wurde von führenden globalen Publikationen wie Business Insider, Forbes, Morning Brew und Washington Post, von globalen Unternehmen wie Deloitte und HPE, von NGOs wie dem World Economic Forum und von supranationalen Organisationen wie der European Commission zitiert. [1], [2], [3], [4], [5]
Im Laufe seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen bei ihren Technologieentscheidungen bei McKinsey & Company und Altman Solon über mehr als ein Jahrzehnt. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung.
Er leitete Technologiestrategie und -beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Außerdem verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von 0 einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung erreichte. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.
Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er absolvierte die Bogazici University als Computeringenieur und hat einen MBA von der Columbia Business School.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.