Benchmark für KI-Code-Review-Tools
Durch den vermehrten Einsatz von KI-gestützten Codierungstools sind Codebasen anfälliger für Sicherheitslücken geworden, was den Bedarf an effektiven Code-Reviews erhöht hat. Um dem zu begegnen, stellen wir RevEval (AI Code Review Eval) vor. Dieses Tool vergleicht die vier führenden KI-Code-Review-Tools anhand von 309 Pull Requests aus Repositories unterschiedlicher Größe und bewertet ihre Leistung mithilfe des Feedbacks von zehn Entwicklern und einem LLM-Absolventen als Juror.
Vergleichsergebnisse
CodeRabbit wurde in 51 % von 309 Pull Requests als das erfolgreichste Code-Review-Tool eingestuft:
Zur Ermittlung des Rankings verwendeten wir die LLM-Bewertungen. Wir untersuchten, welches KI-Code-Review-Tool in jedem Pull Request die höchste Punktzahl erreichte (bewertet anhand unserer LLM-Bewertungen) und berechneten anschließend den Prozentsatz aller Pull Requests, in denen jedes Tool den ersten Platz belegte.
CodeRabbit erzielte sowohl bei den manuellen menschlichen Bewertungen als auch bei den LLM-Bewertungen als Juror die höchsten Punktzahlen, gefolgt von Greptile und GitHub Copilot:
Bei der Berechnung des Durchschnittswerts wurden alle drei Bewertungskategorien gleich gewichtet. Die Bewertungen großer und kleiner Repositories wurden von LLM als Juror vorgenommen, und die Entwicklerbewertungen wurden manuell durchgeführt, um die Bewertungen von LLM als Juror zu überprüfen.
Menschliche Beurteilungen
Wir haben die an den Evaluierungen teilnehmenden Entwickler gefragt, welches KI-Code-Review-Tool sie bevorzugt in ihre Arbeitsabläufe integrieren würden. Da CTOs eine Schlüsselrolle bei der Entscheidungsfindung in der Softwareentwicklung spielen, haben wir ihre Antworten in einem separaten Diagramm hervorgehoben:
Detaillierter Vergleich
Wir berechneten die durchschnittliche Anzahl an Fehlern pro Pull Request (PR), indem wir alle von den einzelnen Code-Review-Tools gemeldeten Fehler/Probleme zählten und durch die Gesamtzahl der PRs (309) teilten. Nicht alle PRs in unserer Codebasis enthalten Fehler oder Probleme. GitHub Copilot meldet nicht explizit, wenn ein Fehler in einem PR erkannt wird; daher wurde es von diesem Vergleich ausgeschlossen.
Unsere Methodik können Sie unten einsehen.
Merkmale
Diese Funktion wird von CodeRabbits „Agentic Pre-Merge Checks“ bereitgestellt. Sie validiert Pull Requests automatisch anhand von Qualitätsstandards und unternehmensspezifischen Anforderungen, bevor sie zusammengeführt werden, und gibt das Ergebnis (bestanden/nicht bestanden) mit Erläuterungen direkt im PR-Walkthrough aus. Jeder Check kann so konfiguriert werden, dass er Entwickler entweder warnt oder Zusammenführungen vollständig blockiert. GitHub Copilot, Cursor BugBot und Greptile bieten zwar Funktionen zur PR-Review, fungieren aber eher als Beratungssysteme mit Feedback und Vorschlägen denn als systematische Validierungsframeworks.
** Cursor und GitHub Copilot bieten möglicherweise mehr Funktionen als ihre Code-Review-Komponenten; in unserem Vergleich sind nur die Funktionen von Cursor Bugbot und GitHub Copilot Code Review enthalten.
Der Funktionsumfang variiert je nach Abonnementplan. Daher sind einige Funktionen, die oben als verfügbar gekennzeichnet sind, in Ihrem Abonnement möglicherweise nicht enthalten.
Bei automatisierten Code-Reviews waren CodeRabbit, GitHub Copilot und Cursor Bugbot einfacher zu konfigurieren als Greptile, da automatisierte Code-Reviews bei Greptile für ein leeres Repository nicht aktiviert werden können.
Funktionsanalyse
CodeRabbit
- Mehr als 40 integrierte Linter und Sicherheitsscanner.
- AST-Musterbasierte benutzerdefinierte Anweisungen.
- Passt sich im Laufe der Zeit dem Feedback der Entwickler an.
- Entwickler können @coderabbitai markieren, um Nachfragen zu stellen, Korrekturen anzufordern oder Empfehlungen einzuholen.
- Unterstützt benutzerdefinierte MCP-Server für zusätzlichen Kontext.
GitHub Copilot Code Review
- Die Schaltfläche „Vorschlag implementieren“ übergibt an den Coding-Agenten Copilot.
- Enge Integration in das GitHub-Ökosystem.
- Individuelle Anweisungen über copilot-instructions.md.
Greptile
- Lernt die Codierungsstandards des Teams anhand der Kommentarhistorie in den Pull Requests kennen.
- Mithilfe von Pattern Repos können Entwickler in greptile.json auf verwandte Repos verweisen und so zusätzlichen Kontext bereitstellen.
- Entwickler können mit @greptileai antworten, um Rückfragen zu stellen oder Verbesserungsvorschläge zu machen.
- Greptile lernt durch Daumen hoch/Daumen runter-Feedback.
- Für alle PRs wurden automatisch Sequenzdiagramme generiert.
Cursor BugBot
- Nachdem BugBot einen Fehler identifiziert hat, können Entwickler die Schaltfläche „Im Cursor beheben“ verwenden, um den Cursor schnell zu öffnen und den Fehler zu beheben.
- Entwickler können ihre Code-Review-Regeln in BUGBOT.md-Dateien anpassen.
Wir wollten Graphite auch einem Benchmark unterziehen; aufgrund eines Fehlers im Dashboard konnten wir jedoch keine automatisierten Code-Reviews für neue Repositories aktivieren. Wir kontaktierten den Support am 25. Oktober 2025, die Antwort löste das Problem aber nicht. Trotz weiterer E-Mails und einer Nachricht im Slack-Kanal blieb das Problem ungelöst.
Komponenten und Integrationen
* Alle diese Lösungen unterstützen GitHub.
Methodik
Wir haben für jedes Tool separate Benchmark-Repositories innerhalb unserer eigenen GitHub-Organisation erstellt.
Nachdem wir die automatischen Code-Reviews für jedes Tool in seinem jeweiligen Repository aktiviert hatten, öffneten wir nacheinander Pull Requests, warteten auf den Abschluss des Reviews und schlossen die PRs anschließend, um die Ergebnisse zu dokumentieren. Wir haben keine Tool-Einstellungen verändert oder angepasst. Jedes Tool wurde mit seiner Standardkonfiguration, genau wie installiert, evaluiert.
Unser Workflow beginnt mit dem Klonen des Quell-Repositorys, wie es an einem ausgewählten Stichtag existierte. Anschließend werden die nach diesem Datum eingereichten Pull Requests nacheinander abgespielt, wobei die ursprüngliche Repository-Struktur erhalten bleibt.
Wir verwendeten die Versionen aller Produkte vom November 2025. Unser Benchmark bestand aus zwei verschiedenen Bereichen von Quellcode-Repositorys:
1. Bekannte, mittelgroße bis große Repositorien
Wir wollten herausfinden, wie gut KI-Code-Review-Tools Repositories mit großen und komplexen Strukturen verstehen. Insgesamt haben wir 289 Pull Requests in 7 Repositories überprüft.
2. Kleine und neue Repositories
Uns ist bewusst, dass wir unseren LLM-Absolventen als Richter nicht mit dem
Da die Kontextfenster großer Repositories dafür nicht ausreichen, haben wir zusätzlich die ersten 3–5 Pull Requests (PRs) neuer und kleinerer Repositories bewertet. MCP-Server erfüllten unsere Anforderungen optimal. Daher wählten wir 8 offizielle MCP-Server aus und ließen 20 PRs darauf begutachten.
Unser Datensatz enthält Code, der von erfahrenen Entwicklern geschrieben wurde. Wir haben die Leistungsfähigkeit nicht anhand vollständig KI-generierter Codebasen evaluiert.
Entwicklerbewertungen
Wir wählten zufällig 35 Pull Requests (PRs) aus und wiesen sie 10 Entwicklern zu. Jeder PR wurde von den Entwicklern fünfmal bewertet. Ziel der wiederholten Bewertung war es, die Voreingenommenheit der Entwickler zu minimieren. Die Entwickler beurteilten die Ergebnisse herstellerunabhängig.
Die meisten von ihnen gelangten zu denselben grundlegenden Erkenntnissen:
- Die detaillierten Rezensionen von CodeRabbit sind hilfreich, und das Tool ist erfolgreich bei der Fehlererkennung.
- Greptile lieferte zwar aussagekräftige Zusammenfassungen, die generierten Sequenzdiagramme sind jedoch für einige PRs nicht notwendig.
Abbildung 1: Beispiel eines Sequenzdiagramms, bereitgestellt von Greptile. Greptile generiert die Diagramme für jeden PR. 1
- GitHub Copilot ist sehr erfolgreich beim Aufspüren von Tippfehlern im Code und macht treffende Vorschläge; seine Analyse ist kürzer als die von CodeRabbit und Greptile.
- Cursor Bugbot liefert weniger detaillierte und ungenauere Analysen.
Nach den Evaluierungen gaben sie außerdem an, dass sie diese künftig in ihren eigenen Repositories als Unterstützungstool für Entwickler einsetzen werden.
LLM als Richter
Wir verwendeten GPT-5 zur Auswertung der Rezensionen. Anschließend nutzten wir GPT-4o, um die Ausgabe im JSON-Format zu strukturieren.
Unser Evaluierungsablauf umfasst:
- Für große Repositories: Der ursprüngliche PR-Text, die Diff-Informationen und Kommentare/Reviews aus den Tools.
- Für kleine Repositories: Die gesamte Codebasis, der ursprüngliche PR-Text, die Diff-Informationen und Kommentare/Reviews aus den Tools.
Hier ist die vollständige Aufgabenstellung, die wir verwendet haben:
Bewerten Sie jedes Werkzeug anhand dieser Dimensionen (Skala 1-5):
1. Korrektheit
Handelt es sich bei den identifizierten Problemen tatsächlich um echte Fehler/Bugs/Korrekturen im Code?
– 5 (Ausgezeichnet): Alle identifizierten Probleme sind echte Probleme
– 4 (Gut): Die meisten Probleme sind real, lediglich kleinere Fehlidentifizierungen.
– 3 (Akzeptabel): Mischung aus realen und fragwürdigen Problemen
– 2 (Schlecht): Die meisten identifizierten Probleme sind keine tatsächlichen Probleme
– 1 (Nicht bestanden): Es konnten keine tatsächlichen Probleme identifiziert werden, alle Ergebnisse sind falsch.
2. Vollständigkeit
Wurden wichtige Punkte angesprochen? Wie umfassend ist die Überprüfung?
– 5 (Ausgezeichnet): Erfasst alle kritischen und die wichtigsten Punkte.
– 4 (Gut): Erkennt größere Probleme, übersieht einige kleinere.
– 3 (Akzeptabel): Erfasst einige wichtige Punkte, weist aber bemerkenswerte Lücken auf.
– 2 (Mangelhaft): Übersieht mehrere kritische Punkte
– 1 (Nicht bestanden): Übersieht alle oder nahezu alle kritischen Punkte
3. Umsetzbarkeit
Sind die Vorschläge klar und umsetzbar? Beinhaltet der Pull Request Patches/Fixes? Falls der Code keine Fehler enthält, tragen Sie für die Umsetzbarkeit aller Tools „null“ ein und vergeben Sie für diesen Pull Request keine Bewertungen.
– 5 (Ausgezeichnet): Alle Vorschläge beinhalten klare Patches/Fixes und sind direkt umsetzbar.
– 4 (Gut): Die meisten Vorschläge enthalten klare Anleitungen, einige beinhalten auch Korrekturen.
– 3 (Akzeptabel): Die Vorschläge sind größtenteils verständlich, bieten aber für einige Probleme keine ausreichenden Lösungen.
– 2 (Mangelhaft): Die Vorschläge sind größtenteils unklar oder nicht umsetzbar
– 1 (Nicht bestanden): Es wurden keine klaren Vorschläge oder Anleitungen gegeben.
4. Tiefe
Zeigt es ein Verständnis für die Logik und den Zweck des Codes?
– 5 (Ausgezeichnet): Zeigt ein tiefes Verständnis für Code-Logik, Architektur und Zweck.
– 4 (Gut): Zeigt ein gutes Verständnis mit kleineren Lücken
– 3 (Akzeptabel): Oberflächliches Verständnis, Kontext fehlt.
– 2 (Mangelhaft): Oberflächliche oder fehlerhafte Erklärungen des Codeverhaltens
– 1 (Fehlgeschlagen): Kein Verständnis für die Logik und den Zweck des Codes.
Ausgabeformat
Bitte geben Sie für jedes Werkzeug Folgendes an:
1. Detaillierte Begründung: Was wurde festgestellt? Wurden wichtige Probleme übersehen? Wurden Patches einbezogen? Tiefes Verständnis der Codebasis? Konkrete Beispiele.
2. Einzelwertungen (1-5 für jede Dimension, unter Verwendung der oben genannten Skala)
Beispielausgabe
Werkzeug A:
Begründung: Tool A bewies hervorragende Korrektheit, indem es ein tatsächliches Speicherleck in der Verbindungspooling-Logik in Zeile 145 identifizierte und einen spezifischen Patch mithilfe eines Kontextmanagers bereitstellte. Es deckte außerdem die fehlende Fehlerbehandlung im API-Endpunkt auf und lieferte umsetzbaren Code. Der Vollständigkeitswert spiegelt wider, dass zwar schwerwiegende Probleme gefunden wurden, die Race Condition im asynchronen Handler, die zu Produktionsproblemen hätte führen können, jedoch übersehen wurde. Alle vier Kommentare waren substanziell und direkt umsetzbar. Die Tiefe der Analyse war hoch und zeugte von einem tiefen Verständnis der Ressourcenverwaltungsmuster und der Fehlerweitergabe im Quellcode.
Korrektheit: 5
Vollständigkeit: 4
Umsetzbarkeit: 5
Tiefe: 4
Werkzeug B:
Begründung: Tool B identifizierte die Schwachstelle in der Eingabevalidierung in Zeile 89 korrekt und bot eine klare Lösung mittels Parameterbereinigung. Die Vollständigkeit war jedoch erheblich beeinträchtigt, da die kritische Sicherheitslücke im Authentifizierungsablauf, die die Wiederverwendung von Token ermöglicht, übersehen wurde. Die Umsetzbarkeit war größtenteils gut – die Vorschläge enthielten Codebeispiele. Die Tiefe der Analyse war akzeptabel, aber oberflächlich, da der Fokus auf oberflächlichen Prüfungen lag, anstatt das Sicherheitsmodell oder die Auswirkungen auf den Datenfluss zu verstehen.
Korrektheit: 4
Vollständigkeit: 1
Umsetzbarkeit: 4
Tiefe: 2
Zu bewertende Tools: CodeRabbit, Cursor Bugbot, GitHub Copilot, Greptile
Seien Sie objektiv und gründlich. Verwenden Sie konkrete Beispiele aus den Rezensionen, um Ihre Bewertungen zu untermauern.
Was ist KI-Code-Review?
KI-gestützte Code-Reviews analysieren Quellcode automatisiert mithilfe von Machine-Learning-Modellen, vorwiegend großen Sprachmodellen (LLMs), um Fehler, Ineffizienzen und potenzielle Sicherheitslücken zu identifizieren. Neben der Fehlererkennung liefern diese Systeme kontextbezogene Erklärungen, schlagen konkrete Lösungen vor und generieren Patches, die Entwicklern helfen, sowohl die Codequalität als auch die Wartbarkeit zu verbessern. Viele KI-Review-Tools unterstützen zudem die Dokumentation, indem sie Änderungen zusammenfassen und beschreibende Kommentare oder Erklärungen für neu hinzugefügten Code erstellen.
Da KI-Modelle Code schnell und in großem Umfang auswerten können, beschleunigen sie den Überprüfungsprozess erheblich und erleichtern es, Probleme frühzeitig zu erkennen, während gleichzeitig einheitliche Codierungsstandards in großen oder schnelllebigen Projekten aufrechterhalten werden.
In modernen KI-gestützten Entwicklungsumgebungen wie Cursor oder Claude Code kann es vorkommen, dass Entwickler beim intuitiven Programmieren („Vibe-Coding“) oder durch die starke Nutzung automatisch generierter Vorschläge unbeabsichtigt den Überblick über die Entwicklung ihres Codes verlieren. Dies kann zu versteckten Sicherheitslücken oder logischen Inkonsistenzen führen. KI-gestützte Code-Review-Tools helfen, diese Risiken zu minimieren, indem sie eine zusätzliche Ebene strukturierter und systematischer Analysen bieten, um den KI-generierten Code zu validieren und zu verbessern.
Vorteile der KI-Codeüberprüfung
Effizienz und Geschwindigkeit
KI-gestützte Code-Review-Tools analysieren Code in Echtzeit, geben sofortiges Feedback und weisen Entwickler während der Arbeit auf potenzielle Probleme hin. Sie erkennen Fehler und Sicherheitslücken, die menschlichen Prüfern möglicherweise entgehen, insbesondere in großen oder sich schnell entwickelnden Codebasen. Durch die Automatisierung von Routineprüfungen ermöglichen diese Tools Entwicklern, sich auf strategisches Denken, komplexe Problemlösungen und Architekturentscheidungen zu konzentrieren.
Verbesserte Codequalität
KI-gestützte Code-Review-Tools tragen zur Einhaltung einheitlicher Codierungsstandards in Teams bei, indem sie stilistische Inkonsistenzen und Abweichungen von Best Practices aufdecken. Sie bieten zudem detailliertes Feedback und Empfehlungen zu einer Vielzahl von Codierungsproblemen – von kleineren Verbesserungen bis hin zu schwerwiegenden Fehlern. Entwickler können so im Laufe der Zeit aus diesem Feedback lernen, ihre Programmiergewohnheiten optimieren und neue Techniken anwenden, die die Gesamtqualität ihrer Arbeit verbessern.
Einschränkungen und Herausforderungen
Übermäßige Abhängigkeit von KI-Tools
Ein häufiges Problem bei KI-gestützten Code-Reviews ist die übermäßige Abhängigkeit von automatisiertem Feedback. Obwohl KI wertvolle Erkenntnisse liefern kann, sollte sie nicht als vollständiger Ersatz für menschliches Fachwissen betrachtet werden. Automatisierte Reviews können Arbeitsabläufe beschleunigen, doch menschliche Prüfer bleiben unerlässlich, um Korrektheit, Kontextverständnis und die Übereinstimmung mit den Projektzielen sicherzustellen. In unserer Benchmark gaben Entwickler übereinstimmend an, sich nicht blind auf diese Tools verlassen zu wollen. Sie betrachteten sie als Assistenten, die das menschliche Urteilsvermögen ergänzen, nicht ersetzen.
Umgang mit falsch positiven und falsch negativen Ergebnissen
Falsch-positive Ergebnisse treten auf, wenn das Tool funktionierenden Code fälschlicherweise als problematisch einstuft, während falsch-negative Ergebnisse entstehen, wenn tatsächliche Probleme übersehen werden. In unserer Evaluierung stellten falsch-negative Ergebnisse das größte Problem dar. Die Tools übersahen wichtige Probleme häufiger, als dass sie fälschlicherweise Warnungen ausgaben. Dies unterstreicht die Notwendigkeit einer kontinuierlichen Verbesserung der zugrunde liegenden Modelle und Algorithmen.
Um diesen Herausforderungen zu begegnen, müssen KI-Code-Review-Tools durch besseres Training, verbesserte Kontextverarbeitung und präzisere Schlussfolgerungsfähigkeiten weiterentwickelt werden.
Bewährte Verfahren für die Nutzung von KI-Code-Reviews
Tipps von Experten
Kombinieren Sie KI-Reviews mit menschlichen Erkenntnissen: Nutzen Sie KI-Code-Reviews parallel zu menschlichen Reviews, um sicherzustellen, dass der Code sowohl technisch einwandfrei ist als auch den Projektzielen entspricht.
Passen Sie die Regeln an Ihr Projekt an: Passen Sie die Regeln des KI-Tools an die Codierungsstandards Ihres Projekts an, um unnötige Warnmeldungen zu reduzieren.
Nutzen Sie KI-Feedback als Lerninstrument: Betrachten Sie KI-Vorschläge als Möglichkeit, zu lernen und sich zu verbessern, und besprechen Sie sie mit Ihrem Team, um zu verstehen, warum es Probleme gibt und wie ähnliche Probleme in Zukunft vermieden werden können.
Danksagungen
Wir danken den Entwicklern aufrichtig, die ihre Zeit und ihr Fachwissen für die Durchführung der manuellen Auswertungen zur Verfügung gestellt haben:
Aziz Durmaz (CTO eines Transport- und Logistikunternehmens)
Berk Kalelioğlu (Mitbegründer eines Spieleentwicklungsstudios)
Elif Ece Örnek (Software-Ingenieurin bei einer Reise-Website)
Haydar Külekçi (Berater bei einem Unternehmen für Suchtechnologien und KI)
Mehmet Şirin Can (Entwicklungsleiter bei AIMultiple)
Mehmet Korkmaz (CTO eines Medienunternehmens in der E-Sport- und Videospielbranche)
Murat Orno (ehemaliger CTO einer regionalen Zahlungsplattform mit über 500 Mitarbeitern)
Orçun Candan (Full-Stack-Entwickler bei AIMultiple)
Yalçın Börlü (leitender Softwareentwickler bei einem Unternehmen im Bereich Gesundheit und Wellness)
Yiğit Dinç (Mitbegründer eines Legal-Tech-Unternehmens)
Wir danken außerdem den Entwicklern und Betreuern der in unserem Benchmark enthaltenen Open-Source-Repositories für ihre Arbeit und ihre wertvollen Beiträge zur Community.
Anonymisierung der ursprünglichen Entwickleridentitäten
Um den Benchmark verantwortungsvoll durchzuführen, haben wir beim Abspielen von Pull Requests aus den Upstream-Repositories alle ursprünglichen Entwicklernamen und E-Mail-Adressen anonymisiert. Da die Benchmark-Repositories öffentlich sind, könnte die Beibehaltung der ursprünglichen Autoreninformationen unbeabsichtigt personenbezogene Daten offenlegen und das Risiko bergen, Entwickler jedes Mal zu benachrichtigen, wenn ein neu erstellter Pull Request geöffnet oder aktualisiert wird. Obwohl GitHub Autoren normalerweise nicht benachrichtigt, wenn ihre Commits in einem separaten Repository abgespielt werden, hielten wir es für eine bewährte Vorgehensweise, jegliche Möglichkeit unerwünschter Benachrichtigungen, Probleme mit der Urheberschaft oder Datenschutzbedenken auszuschließen.
Die Anonymisierung gewährleistet Folgendes:
- Die Entwickler werden durch Tausende von automatisierten PR-Ereignissen nicht gestört.
- Persönliche Daten werden nicht in einem anderen öffentlichen Repository erneut veröffentlicht.
- Die Benchmarks bleiben unvoreingenommen, sodass weder die Tools noch die LLM-Gutachter durch bekannte Autorennamen beeinflusst werden können.
- Bei der Arbeit mit Open-Source-Beiträgen werden ethische Standards und Datenschutzbestimmungen eingehalten.
Lediglich die Identitäts-Metadaten wurden verändert; der gesamte Code, die Unterschiede, die Reihenfolge der Commits und die Dateistrukturen wurden exakt beibehalten, um die Authentizität und Reproduzierbarkeit des Benchmarks zu gewährleisten.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich.