Şevval Alper

AIM-Code Bench: Agentischer Coding-Benchmark

Die Bewertung von LLMs ohne ihre Coding-Agent-Testgerüste spiegelt nicht vollständig wider, wie sie in der Praxis eingesetzt werden. Echte Entwicklung umfasst auch das Erweitern bestehender Arbeit, die Übernahme unvertrauten Codes und das Hinterlassen von Implementierungen, auf denen andere aufbauen können. Wir stellen AIM-Code Bench vor, um Models gemeinsam mit ihren Coding-Agent-Testgerüste über sich weiterentwickelnde Softwareaufgaben…

KI-Code-Review-Tools Benchmark

Mit dem zunehmenden Einsatz von KI-Coding-Tools sind Codebases anfälliger für Schwachstellen geworden, was den Bedarf an effektiven Code-Reviews erhöht hat. Um dem zu begegnen, stellen wir RevEval (KI Code Review Eval) vor, das die vier führenden KI-Code-Review-Tools über 309 Pull Requests aus Repositories unterschiedlicher Größe benchmarkt und ihre Leistung anhand von Beiträgen von 10 Entwicklern…

Agent-Benchmarks

Agentic IT: Können KI-Agenten einen Benchmark entwerfen

Wir haben 16 Models anhand eines Benchmark-Entwurfs in Text-zu-SQL und Tool-Calling getestet. Jedes Model erstellte einen Benchmark pro Thema, insgesamt 32 Einreichungen. Keine Einreichung erfüllte jedes Rubrik-Kriterium. Die Agenten konnten Tests erstellen und ausführen, aber keiner führte sowohl einen Leerantwort-Test als auch einen Richtigantwort-Test des eigenen Scorers vor. Text-zu-SQL wandelt eine Frage in natürlicher Sprache…

KI-Coding-Benchmark: Claude Code vs Cursor

Im KI-Coding hat sich der Markt in zwei Kategorien aufgesplittert: Agentic CLI-Tools und in IDEs eingebettete KI-Code-Editoren. Jede behauptet, die Entwicklung zu automatisieren. Nur wenige Vergleiche zeigen, wie sie sich unter identischen Arbeitslasten unterscheiden. Wir haben jeden Agenten über 10 Full-Stack-Webentwicklungsaufgaben hinweg getestet, dabei ~600 atomare Validierungsprüfungen pro Agent und mehr als 9.600 automatische Testausführungen…

VELC-Bench: Verifikation im Langkontext-Benchmark

Die Fähigkeit des Modells, eine bestimmte Metrik im Kontext zu lokalisieren, ihren Wert mit einer Behauptung zu vergleichen und sie zu bestätigen oder abzulehnen. Dies testet die feingranulare Werteübereinstimmung unter Langkontext-Bedingungen. Das Modell muss den Wert sowohl abrufen als auch einen präzisen Vergleich durchführen. Die Modelle werden in den folgenden Kontextfenstern getestet: claude-fable-5 erzielt 90,0 %…

RELC-Bench: Abruf im Langkontext-Benchmark

RELC-Bench (RELC-Bench: Abruf im Langkontext-Benchmark) zielt darauf ab, die Fähigkeit eines model zu messen, einen bestimmten numerischen Wert aus einem oder mehreren Dokumenten in seinem Kontext zu finden und zu extrahieren. Es wird getestet, ob das model sich an eine bestimmte Tatsache erinnern und sie abrufen kann, die es gerade in der Eingabe gesehen hat.…

Zielgruppensimulation: Können LLMs menschliches Verhalten vorhersagen?

Im Marketing ist die Bewertung, wie genau LLMs menschliches Verhalten vorhersagen, entscheidend für die Beurteilung ihrer Wirksamkeit bei der Antizipation von Zielgruppenbedürfnissen und der Erkennung der Risiken von Fehlausrichtung, ineffektiver Kommunikation oder unbeabsichtigter Beeinflussung. Die Zielgruppensimulation mit LLMs ermöglicht die Modellierung virtueller Zielgruppen und hilft Organisationen, Reaktionen auf Inhalte oder Produkte vorherzusehen, ohne auf teure…

HALC-Bench: LLM-Halluzination beim Long-Context-Retrieval-Benchmark

HALC-Bench (LLM-Halluzination beim Long-Context-Retrieval-Benchmark) misst die Widerstandsfähigkeit eines großen Sprachmodells gegen das Erfinden von Belegen für eine Kennzahl, die im Zieldokument nicht existiert, und verwendet dazu 3 Heuhaufen, die am Anfang, in der Mitte und am Ende des Kontextfensters des Modells platziert sind, mit 204 Fragen. claude-fable-5 beantwortete alle 204 Fallen an jeder Heuhaufen-Position korrekt.…

Codeausführung mit MCP: Ein neuer Ansatz für die Effizienz von KI-Agenten

Anthropic hat eine Methode eingeführt, bei der KI-Agenten mit Model Context Protocol (MCP) -Servern interagieren, indem sie ausführbaren Code schreiben, anstatt direkte Aufrufe an Tools zu tätigen. Der Agent behandelt Tools wie Dateien auf einem Computer, findet, was er benötigt, und nutzt sie direkt mit Code, sodass Zwischendaten nicht durch den Speicher des Modells laufen…