Agenten stützen sich auf Webschnittstellen, um Aufgaben im Web zu erledigen. Um zu messen, wie die Wahl der Schnittstelle die Aufgabenerledigung beeinflusst, haben wir den AIM Agentic-Web-Benchmark erstellt und 3.500 Aufgaben versucht (100 Aufgaben über 7 Webschnittstellen in 5 Läufen abgeschlossen).
Erfolgsquoten
Eine Bright Data-Schnittstelle führte in jedem Lauf. Die Bright Data-CLI holte 8 Aufgaben mehr als die beste Nicht-Bright Data-Schnittstelle, nämlich Firecrawl MCP.
Untersuchen Sie 10 Beispielaufgaben auf GitHub und sehen Sie, wie wir diesen Benchmark in der Methodik durchführen.
Konsistenz über die Läufe
Bright Data MCP hat den besten Lauf mit 52 %. Der Abstand zwischen dem besten und schlechtesten Lauf bei Oxylabs MCP beträgt nur 5 Aufgaben über 5 Läufe. Es ist die konsistenteste Schnittstelle im Panel, gefolgt von:
- Bright Data CLI: 7
- Nimble MCP: 7
- Nimble CLI: 9
- Firecrawl MCP: 10
- ZenRows MCP: 11
- Bright Data MCP: 15
Kosten und Geschwindigkeit
Die Kostenachse addiert die Token-Kosten des Agenten zu dem, was der Anbieter für dieselbe Aufgabe berechnet hat. Bei der Zeit schlagen die MCP-Tools beide CLI-Tools ohne Überschneidung. Arbeiten mit CLI bedeutet, dass der Agent externe Prozesse startet, Text zurückliest und oft die Syntax erneut versucht, und jede zusätzliche Runde trägt die gesamte Konversation erneut voran. Cache-Lesevorgänge dominieren die Kosten, daher zählt die Grafik hauptsächlich, wie viele Runden eine Schnittstelle benötigt, bevor der Agent antworten kann.
Nimble MCP ist die kostengünstigste und schnellste Schnittstelle im Benchmark mit $0,065 pro Aufgabe, gefolgt von Firecrawl MCP mit $0.08. Bright Data MCP ist am schnellsten, mit einem Median von 186 Sekunden pro Aufgabe. Nimble CLI hatte mehr Wiederholungsversuche als andere Tools aufgrund von Zeitüberschreitungen. Eine Aufgabe, bei der die Zeit abläuft, erhält einen zweiten Versuch, und nur dieser zweite Versuch wird bewertet. Kosten und Latenz stammen aus demselben bewerteten Versuch, der selbst an das Limit gestoßen sein kann.
Gründe für Fehlschläge
Bright Data CLI wurde im Durchschnitt 17.6 Mal pro 100 Aufgaben blockiert, am seltensten im Panel, während Firecrawl MCP, Nimble MCP und Oxylabs MCP fast doppelt so oft blockiert wurden.
Nimble CLI wurde unter den vier Nicht-Bright-Data-Schnittstellen am seltensten blockiert, mit 18.2, lieferte bei 28.4 Aufgaben pro 100 jedoch nichts zurück – der höchste Anteil an Nicht-Zustellungen im Panel, was darauf zurückzuführen ist, dass 36.5 Prozent seiner Versuche das 30-Minuten-Limit erreichten (Versuche übersteigen Aufgaben, weil Aufgaben mit Zeitüberschreitung einmal wiederholt wurden).
Als bevorzugte Quelle hinzufügenMethodik
Jede Schnittstelle lief auf einem eigenen VPS. Der Agent war OpenClaw mit MiniMax M3 über OpenRouter, ohne parallele Aufgabenläufe. Jeder Server hatte 2 vCPUs und 2GB RAM.
Der verwendete Aufgabensatz war für alle sieben Schnittstellen in allen 5 Läufen identisch.
Jeder Versuch hatte 30 Minuten. Eine Aufgabe, bei der die Zeit ablief, erhielt einen erneuten Versuch, mit Ausnahme der vier zustandsändernden Aufgaben, die nie wiederholt wurden. Vor jedem Lauf holte eine Sonde eine kostengünstige Seite über das Anbieterkonto, und der Lauf weigerte sich zu starten, wenn dieser Abruf fehlschlug.
In diesem Benchmark verwendete Versionen;
Beispielaufgaben
Zehn der 100 Aufgaben sind vollständig auf GitHub veröffentlicht, zusammen mit der Anweisung, die der Agent erhielt, dem Ausgabeformat, den Bestehensregeln und der Bewertung der einzelnen Schnittstellen.
Dataset
Die 100 Aufgaben erstrecken sich über 29 Websites in diesen Kategorien: E-Commerce (24 Aufgaben), Reisen (21), Immobilien (17), Tickets (15), Social Media (15) und Jobs (8). Wir haben 2 bis 5 Aufgaben pro Website vorbereitet, je nachdem, wie viele Aktionen die Website unterstützt. Sechsundneunzig Aufgaben rufen Informationen ab, und vier ändern den Zustand auf der entfernten Website und werden nie wiederholt, da ein erster Versuch möglicherweise bereits einen Warenkorb geändert hat.
Auswertung
Jede Aufgabe und ihre Bestehensbedingungen wurden auf Englisch verfasst. Der Auswerter liest die Regeldatei und bewertet nur, wenn jede darauf zutreffende Regel erfüllt ist.
Blockiert bedeutet, dass der Anbieter die Website nicht erreichen konnte und dies mitteilte. Die Antwort kam als Fehlermeldung statt als Daten zurück.
Umgegangen bedeutet, dass der Agent die Seite direkt abgerufen hat, statt die Anbieterschnittstelle zu nutzen, typischerweise per direkter Anfrage aus der Shell. Wir finden diese in den Sitzungsprotokollen. Eine umgangene Aufgabe bringt nichts und bleibt in der Gesamtzahl von 100 Aufgaben.
„Nicht ermittelt“-Zellen sind solche, bei denen der Auswerter nicht entscheiden konnte, ob die Antwort korrekt war. Sie wurden weder als korrekt noch als blockiert gezählt. Dies betrifft 8 bis 18 Aufgaben pro Schnittstelle und Lauf, alle aus denselben 27 Aufgaben.
Dieselben Aufgaben, Anweisungen und dasselbe Modell wurden über alle sieben Schnittstellen hinweg verwendet, und die Regeln wurden vor dem ersten Lauf festgelegt.
Kosten
Das Diagramm addiert zwei Zahlen. Modellkosten sind das, was der Agent für Tokens ausgegeben hat, MiniMax M3 über OpenRouter zu $0,30 pro Million Eingabetokens, $1,20 pro Million Ausgabetokens und $0,06 pro Million Cache-Lesevorgänge, gezählt aus dem bewerteten Versuch jeder Aufgabe.
Schnittstellenkosten sind das, was der Anbieter für dieselbe Arbeit berechnet hat, gemittelt über fünf Läufe:
- Bright Data: aus der Abrechnung des Kontos pro Zone und Tag abgelesen. Scraping Browser kostet $8 pro GB plus $0,10 pro Stunde, Web Unlocker $1,50 pro 1K Anfragen, SERP $1,50 pro 1K.
- ZenRows: aus ihrem Panel, Browser-Sitzungsbandbreite plus Fetch-Credits wie protokolliert. Der Plan beträgt EUR 129.99 pro 1M Credits; Browser ergibt ungefähr 40.500 Credits pro GB, und Fetch verbrauchte im Durchschnitt 14 Credits pro Anfrage nach den JS-Render- und Premium-Proxy-Multiplikatoren.
- Oxylabs: Anfragezahlen aus den Agenten-Transkripten zu $1,15 pro 1K Ergebnisse.
- Firecrawl: Credits aus den Transkripten gezählt zu $83 pro 100K Credits, 1 Credit pro Scrape.
- Nimble: Anfragen aus den Transkripten gezählt zu $1,00 pro 1K für Extract und $1,10 pro 1K für Search.
Einschränkungen
Nimble CLI lief bei 36.5 Prozent seiner Versuche in die Zeitüberschreitung.
Alle Schnittstellen haben unterschiedliche Geschwindigkeiten; nicht alle Aufgaben starteten oder endeten zur gleichen Zeit. Einige Aufgaben hängen vom Datum oder davon ab, was zu diesem Zeitpunkt gelistet ist; daher sahen einige Anbieter bei diesen nicht dieselbe Seite. Die Bestehensregeln wurden so formuliert, dass sie das Format und den Abruf prüfen, nicht ein bestimmtes Inserat, sodass eine geänderte Seite die Bewertung nicht verändert.
Diese Forschung zitieren
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Kalelioğlu, Berk},
title = {{AIM Agentic-Web-Benchmark}},
year = {2026},
month = sep,
howpublished = {\url{https://aimultiple.com/agentic-web}},
note = {AIMultiple. Abgerufen am 29. September 2026}
}Ergebnisse und Zeitstempel von 0 Datenpunkten. Laden Sie die Zusammenfassungsdaten aus den Diagrammen und Tabellen dieses Artikels als ZIP-Datei herunter, die 0 CSV-Dateien enthält.
Möchten Sie die granularen Daten dahinter? Premium beitreten
Cems Arbeit bei AIMultiple wurde von führenden globalen Publikationen wie Business Insider, Forbes, Morning Brew und Washington Post, von globalen Unternehmen wie Deloitte und HPE, von NGOs wie dem World Economic Forum und von supranationalen Organisationen wie der European Commission zitiert. [1], [2], [3], [4], [5]
Im Laufe seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen bei ihren Technologieentscheidungen bei McKinsey & Company und Altman Solon über mehr als ein Jahrzehnt. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung.
Er leitete Technologiestrategie und -beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Außerdem verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von 0 einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung erreichte. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.
Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er absolvierte die Bogazici University als Computeringenieur und hat einen MBA von der Columbia Business School.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.