Benchmark de herramientas de revisión de código con IA
Con el mayor uso de herramientas de programación con IA, los repositorios de código se han vuelto más propensos a vulnerabilidades, lo que aumentó la necesidad de revisiones de código eficaces. Para abordar esto, presentamos RevEval (IA Code Review Eval), que compara las cuatro principales herramientas de revisión de código con IA en 309 solicitudes de incorporación de cambios de repositorios de distintos tamaños y evalúa su rendimiento utilizando la opinión de 10 desarrolladores y un LLM como juez.
Resultados del benchmark
CodeRabbit se clasificó como la herramienta de revisión de código más exitosa en 51 % de 309 PRs:
Para medir la clasificación, utilizamos las puntuaciones del LLM como juez. Examinamos qué herramienta de revisión de código con IA obtuvo la puntuación más alta en cada PR (puntuada mediante nuestro LLM como juez) y luego calculamos el porcentaje de todos los PRs en los que cada herramienta ocupó el primer lugar.
CodeRabbit obtuvo la puntuación más alta tanto en las evaluaciones humanas manuales como en las evaluaciones del LLM como juez, seguido de Greptile y GitHub Copilot:
Al calcular la puntuación media, las tres categorías de evaluación se ponderaron por igual. Las puntuaciones de repositorios grandes y de repositorios pequeños fueron evaluadas por el LLM como juez, y las evaluaciones de los desarrolladores se completaron manualmente para verificar dos veces las puntuaciones del LLM como juez.
Evaluaciones humanas
Preguntamos a los desarrolladores que participaron en las evaluaciones qué herramienta de revisión de código con IA preferirían integrar en sus flujos de trabajo. Dado que los CTO desempeñan un papel clave en la toma de decisiones en el desarrollo de software, destacamos sus respuestas en un gráfico aparte:
Comparación detallada
Calculamos el número medio de errores por PR contando todos los errores/problemas notificados por cada herramienta de revisión de código y dividiéndolo por el número total de PRs (309). No todos los PRs de nuestro repositorio de código contienen errores o problemas. GitHub Copilot no informa explícitamente cuando detecta un error en un PR; por lo tanto, se excluyó de esta comparación.
Puede consultar nuestra metodología a continuación.
Características
* La proporciona la función “comprobaciones pre-fusión agénticas” de CodeRabbit. Valida automáticamente las solicitudes de incorporación de cambios con respecto a estándares de calidad y requisitos organizativos personalizados antes de fusionar, y devuelve resultados de aprobado/reprobado con explicaciones directamente en el recorrido del PR. Cada comprobación puede configurarse para advertir a los desarrolladores o bloquear fusiones por completo. Si bien GitHub Copilot, Cursor BugBot y Greptile ofrecen funciones de revisión de PR, actúan como sistemas de asesoramiento que ofrecen comentarios y sugerencias en lugar de frameworks de validación sistemáticos.
** Cursor y GitHub Copilot pueden ofrecer más capacidades más allá de sus componentes de revisión de código; en nuestra comparación solo se incluyen las funciones de Cursor Bugbot y GitHub Copilot Code Review.
Las funciones varían según los planes de suscripción, por lo que algunas funciones marcadas como disponibles arriba pueden no estar disponibles en su suscripción.
En las revisiones de código automatizadas, CodeRabbit, GitHub Copilot y Cursor Bugbot fueron más fáciles de configurar que Greptile porque las revisiones de código automatizadas no se pueden habilitar para un repositorio vacío en Greptile.
Análisis en profundidad de las funciones
CodeRabbit
- 40+ linters y escáneres de seguridad integrados.
- Instrucciones personalizadas basadas en patrones AST.
- Se adapta a los comentarios de los desarrolladores con el tiempo.
- Los desarrolladores pueden etiquetar @coderabbitai para hacer preguntas de seguimiento, solicitar correcciones o cuestionar recomendaciones.
- Admite servidores MCP personalizados para contexto adicional.
GitHub Copilot Code Review
- El botón “Implementar sugerencia” transfiere la tarea al agente de programación de Copilot.
- Integración estrecha con el ecosistema de GitHub.
- Instrucciones personalizadas mediante copilot-instructions.md.
Greptile
- Aprende los estándares de programación del equipo a partir del historial de comentarios de los PR.
- Con repositorios de patrones, los desarrolladores pueden hacer referencia a repositorios relacionados en greptile.json para aportar contexto adicional.
- Los desarrolladores pueden responder con @greptileai para hacer preguntas de seguimiento o recibir sugerencias de corrección.
- Greptile aprende de los comentarios con pulgar arriba/abajo.
- Diagramas de secuencia generados automáticamente para todos los PRs.
Cursor BugBot
- Después de que BugBot identifique un error, los desarrolladores pueden usar el botón “Corregir en Cursor” para abrir rápidamente Cursor y corregir el error.
- Los desarrolladores pueden personalizar sus reglas de revisión de código en archivos BUGBOT.md.
También teníamos intención de evaluar Graphite; sin embargo, debido a un error en su panel, no pudimos habilitar las revisiones de código automatizadas para repositorios nuevos. Contactamos a su equipo de soporte el 25 de octubre de 2025, pero la respuesta no resolvió el problema. A pesar de los correos de seguimiento y de un mensaje en su canal de Slack, el problema siguió sin resolverse.
Componentes e integraciones
* Todas estas soluciones admiten GitHub.
Metodología
Creamos repositorios de benchmark separados para cada herramienta dentro de nuestra organización dedicada de GitHub.
Después de habilitar las revisiones de código automáticas para cada herramienta en su repositorio asignado, abrimos solicitudes de incorporación de cambios en secuencia, esperamos a que la herramienta completara su revisión y luego cerramos los PRs para registrar los resultados. No modificamos ni ajustamos la configuración de ninguna herramienta. Cada herramienta se evaluó con su configuración predeterminada, exactamente como se instaló.
Nuestro flujo de trabajo comienza clonando el repositorio de origen tal como existía en una fecha de referencia seleccionada y, a continuación, reproduciendo una a una las solicitudes de incorporación de cambios enviadas después de esa fecha, preservando la estructura original del repositorio.
Utilizamos las versiones de noviembre de 2025 de todos los productos. Nuestro benchmark consistió en 2 rangos diferentes de repositorios de origen:
1. Repositorios conocidos, de tamaño mediano y grande
Nuestro objetivo era comprobar hasta qué punto las herramientas de revisión de código con IA comprenden repositorios con estructuras grandes y complejas. En total, revisamos 289 PRs en 7 repositorios.
2. Repositorios pequeños y nuevos
Somos conscientes de que no podemos alimentar a nuestro LLM como juez con el
repositorio completo en los repositorios grandes, ya que sus ventanas de contexto no son suficientes para ello. Por lo tanto, para superar esta limitación, también evaluamos los primeros 3-5 PRs de repositorios nuevos y pequeños. Los servidores MCP se ajustan perfectamente a nuestras necesidades. En consecuencia, elegimos 8 servidores MCP oficiales e hicimos que se revisaran 20 PRs en ellos.
Nuestro dataset contiene código escrito por desarrolladores experimentados. No evaluamos el rendimiento en repositorios de código generados íntegramente por IA.
Evaluaciones de los desarrolladores
Seleccionamos aleatoriamente 35 PRs y los asignamos a 10 desarrolladores; cada PR fue evaluado 5 veces por desarrolladores. Nuestro objetivo al repetir la evaluación era minimizar el sesgo de los desarrolladores. Los desarrolladores evaluaron los resultados de manera independiente del proveedor.
La mayoría llegó a las mismas conclusiones de alto nivel:
- Las revisiones detalladas de CodeRabbit son útiles y tienen éxito en la detección de errores.
- Greptile proporcionó resúmenes acertados, pero los diagramas de secuencia que generó no son necesarios para algunos PRs.
- GitHub Copilot es muy bueno para encontrar erratas en el código y hace sugerencias muy acertadas; su análisis es más breve que los de CodeRabbit y Greptile.
- Cursor Bugbot proporciona un análisis menos detallado y menos preciso.
Después de las evaluaciones, también afirmaron que empezarán a usarlas en sus propios repositorios como herramienta de apoyo para los desarrolladores.
LLM como juez
Utilizamos GPT-5 para evaluar las revisiones. Después de la evaluación, utilizamos GPT-4o para estructurar la salida en formato JSON.
Nuestro flujo de trabajo de evaluación incluye:
- Para repositorios grandes: el cuerpo original del PR, el diff y los comentarios/revisiones de las herramientas.
- Para repositorios pequeños: todo el repositorio de código, el cuerpo original del PR, el diff y los comentarios/revisiones de las herramientas.
Este es el prompt completo que utilizamos:
Evalúa cada herramienta en estas dimensiones (escala 1-5):
1. Exactitud
¿Los problemas identificados son realmente problemas, errores o correcciones reales en el código?
– 5 (Excelente): Todos los problemas identificados son problemas reales
– 4 (Bueno): La mayoría de los problemas son reales; hay pequeñas identificaciones erróneas
– 3 (Aceptable): Mezcla de problemas reales y cuestionables
– 2 (Deficiente): La mayoría de los problemas identificados no son problemas reales
– 1 (Fallido): No puede identificar problemas reales; todos los hallazgos son incorrectos
2. Completitud
¿Detectó problemas importantes? ¿Qué tan exhaustiva es la revisión?
– 5 (Excelente): Detecta todos los problemas críticos y la mayoría de los importantes.
– 4 (Bueno): Detecta problemas importantes, pero omite algunos menores
– 3 (Aceptable): Detecta algunos problemas importantes, pero tiene lagunas notables
– 2 (Deficiente): Omite varios problemas críticos
– 1 (Fallido): Omite todos o casi todos los problemas críticos
3. Aplicabilidad
¿Las sugerencias son claras e implementables? ¿Incluye parches/correcciones? Si no hay errores en el código, escribe “null” en aplicabilidad para todas las herramientas; no otorgues ninguna puntuación a ninguna herramienta para ese PR.
– 5 (Excelente): Todas las sugerencias incluyen parches/correcciones claros y son directamente implementables
– 4 (Bueno): La mayoría de las sugerencias tienen una orientación clara; algunas incluyen parches
– 3 (Aceptable): Las sugerencias son algo claras, pero carecen de parches para algunos problemas
– 2 (Deficiente): Las sugerencias son en su mayoría poco claras o no implementables
– 1 (Fallido): No se proporcionan sugerencias ni orientaciones claras
4. Profundidad
¿Demuestra comprensión de la lógica y el propósito del código?
– 5 (Excelente): Demuestra una comprensión profunda de la lógica, la arquitectura y el propósito del código
– 4 (Bueno): Muestra una buena comprensión con pequeñas lagunas
– 3 (Aceptable): Comprensión superficial; omite parte del contexto
– 2 (Deficiente): Explicaciones superficiales o incorrectas del comportamiento del código
– 1 (Fallido): No comprende la lógica ni el propósito del código
Formato de salida
Para cada herramienta, proporciona:
1. Razonamiento detallado: ¿Qué encontró? ¿Omitió problemas importantes? ¿Incluye parches? ¿Comprensión profunda del repositorio de código? Ejemplos específicos.
2. Puntuaciones individuales (1-5 para cada dimensión, utilizando la escala anterior)
Ejemplo de salida
Herramienta A:
Razonamiento: La herramienta A demostró una exactitud excelente al identificar una fuga de memoria real en la lógica de agrupación de conexiones en la línea 145, proporcionando un parche específico mediante un gestor de contexto. También detectó la falta de gestión de errores en el endpoint de la API con código aplicable. La puntuación de completitud refleja que, aunque encontró problemas importantes, omitió la condición de carrera en el controlador asíncrono que podría causar problemas en producción. Los 4 comentarios fueron sustanciales y directamente implementables. La profundidad fue sólida y mostró comprensión de los patrones de gestión de recursos y de la propagación de errores en el repositorio de código.
Exactitud: 5
Completitud: 4
Aplicabilidad: 5
Profundidad: 4
Herramienta B:
Razonamiento: La herramienta B identificó correctamente la vulnerabilidad de validación de entrada en la línea 89 y proporcionó una corrección clara mediante la depuración de parámetros. Sin embargo, la completitud se vio significativamente afectada, ya que omitió la vulnerabilidad de seguridad crítica en el flujo de autenticación que permite la reutilización de tokens. La aplicabilidad fue en general buena: las sugerencias incluían fragmentos de código. La profundidad fue aceptable pero superficial, centrada en comprobaciones de nivel superficial en lugar de comprender el model de seguridad o las implicaciones del flujo de datos.
Exactitud: 4
Completitud: 1
Aplicabilidad: 4
Profundidad: 2
Herramientas a evaluar: CodeRabbit, Cursor Bugbot, Github Copilot, Greptile
Sé objetivo y exhaustivo. Utiliza ejemplos específicos de las revisiones para respaldar tus puntuaciones.
Añadir como fuente preferida¿Qué es la revisión de código con IA?
La revisión de código con IA es el análisis automatizado del código fuente mediante models de aprendizaje automático, principalmente models de lenguaje de gran tamaño (LLMs), para identificar errores, ineficiencias y posibles vulnerabilidades. Además de detectar problemas, estos sistemas pueden proporcionar explicaciones contextuales, sugerir correcciones concretas y generar parches que ayudan a los desarrolladores a mejorar tanto la calidad como el mantenimiento del código. Muchas herramientas de revisión con IA también ayudan con la documentación al resumir los cambios y producir comentarios descriptivos o explicaciones para el código recién añadido.
Dado que los models de IA pueden evaluar el código rápidamente y a gran escala, aceleran considerablemente el proceso de revisión y facilitan la detección temprana de problemas, al tiempo que mantienen estándares de programación coherentes en proyectos grandes o de rápida evolución.
En los entornos de desarrollo modernos asistidos por IA, como Cursor o Claude Code, los desarrolladores pueden perder sin darse cuenta el control de cómo evoluciona su repositorio de código cuando practican “vibe coding” o dependen en gran medida de sugerencias generadas automáticamente. Esto puede introducir vulnerabilidades ocultas o incoherencias lógicas. Las herramientas de revisión de código con IA ayudan a mitigar estos riesgos al proporcionar una capa adicional de análisis estructurado y sistemático para validar y mejorar el código generado por IA.
Beneficios de la revisión de código con IA
Eficiencia y velocidad
Las herramientas de revisión de código con IA pueden analizar el código en tiempo real, proporcionando comentarios inmediatos y señalando posibles problemas mientras los desarrolladores trabajan. Son capaces de detectar errores y vulnerabilidades de seguridad que los revisores humanos podrían pasar por alto, especialmente en repositorios de código grandes o en rápida evolución. Al automatizar las comprobaciones rutinarias, estas herramientas permiten a los desarrolladores concentrarse en razonamientos de nivel superior, resolución de problemas complejos y decisiones arquitectónicas.
Mejora de la calidad del código
Las herramientas de revisión de código con IA ayudan a mantener estándares de programación coherentes entre los equipos al identificar incoherencias de estilo y desviaciones de las mejores prácticas. También ofrecen comentarios y recomendaciones detallados sobre una amplia gama de problemas de programación, desde mejoras menores hasta errores importantes. Con el tiempo, los desarrolladores pueden aprender de estos comentarios, perfeccionar sus hábitos de programación y adoptar nuevas técnicas que refuerzan la calidad general de su trabajo.
Limitaciones y retos
Dependencia excesiva de las herramientas de IA
Una preocupación habitual con la revisión de código con IA es la dependencia excesiva de los comentarios automatizados. Aunque la IA puede ser una valiosa fuente de ideas, no debe tratarse como un sustituto completo de la experiencia humana. Las revisiones automatizadas pueden acelerar los flujos de trabajo, pero los revisores humanos siguen siendo esenciales para garantizar la exactitud, la conciencia del contexto y la alineación con los objetivos del proyecto. En nuestro benchmark, los desarrolladores afirmaron sistemáticamente que no confiarían ciegamente en estas herramientas. Las consideraban asistentes que complementan el criterio humano en lugar de sustituirlo.
Gestión de falsos positivos y falsos negativos
Los falsos positivos se producen cuando la herramienta identifica incorrectamente código que funciona como problemático, mientras que los falsos negativos se producen cuando se omiten problemas reales. En nuestra evaluación, la principal preocupación fueron los falsos negativos. Las herramientas eran más propensas a pasar por alto problemas importantes que a generar advertencias incorrectas. Esto pone de relieve la necesidad de una mejora continua en los models y algoritmos subyacentes.
Para hacer frente a estos retos, las herramientas de revisión de código con IA deben evolucionar mediante un mejor entrenamiento, una gestión del contexto mejorada y capacidades de razonamiento más precisas.
Prácticas recomendadas para usar revisiones de código con IA
Consejos de expertos
Combine las revisiones de IA con el criterio humano: utilice las revisiones de código con IA junto con revisiones humanas para garantizar que el código sea técnicamente sólido y esté alineado con los objetivos del proyecto.
Personalice las reglas para adaptarlas a su proyecto: ajuste las reglas de la herramienta de IA para que coincidan con los estándares de programación de su proyecto y reducir las alertas innecesarias.
Utilice los comentarios de la IA como herramienta de aprendizaje: trate las sugerencias de la IA como una forma de aprender y mejorar, comentándolas con su equipo para entender por qué y cómo evitar problemas similares en el futuro.
Agradecimientos
Expresamos nuestro más sincero agradecimiento a los desarrolladores que aportaron su tiempo y experiencia para realizar las evaluaciones manuales:
Aziz Durmaz (CTO de una empresa de transporte y logística)
Berk Kalelioğlu (cofundador de un estudio de desarrollo de videojuegos)
Elif Ece Örnek (ingeniera de software en un sitio web de viajes)
Haydar Külekçi (consultor en una empresa de tecnologías de búsqueda e IA)
Mehmet Şirin Can (jefe de desarrollo en AIMultiple)
Mehmet Korkmaz (CTO de una empresa de medios del sector de los deportes electrónicos y los videojuegos)
Murat Orno (antiguo CTO de una plataforma de pagos regional con más de 500 empleados)
Orçun Candan (desarrollador full-stack en AIMultiple)
Yalçın Börlü (ingeniero de software sénior en una empresa de salud y bienestar)
Yiğit Dinç (cofundador de una empresa de tecnología jurídica)
También damos las gracias a los desarrolladores y mantenedores de los repositorios de código abierto incluidos en nuestro benchmark por su trabajo y sus valiosas contribuciones a la comunidad.
Anonimización de las identidades originales de los desarrolladores
Para realizar el benchmark de manera responsable, anonimizamos todos los nombres y direcciones de correo electrónico originales de los desarrolladores al reproducir solicitudes de incorporación de cambios de repositorios anteriores. Dado que los repositorios del benchmark son públicos, conservar la información original de los autores podría exponer involuntariamente datos personales y crear el riesgo de notificar a los desarrolladores cada vez que se abre o actualiza una solicitud de incorporación de cambios recreada. Aunque GitHub no suele notificar a los autores cuando sus commits se reproducen en un repositorio separado, consideramos que era una práctica recomendada evitar cualquier posibilidad de notificaciones no deseadas, problemas de atribución o riesgos de privacidad.
La anonimización garantiza que:
- Los desarrolladores no se ven perturbados por miles de eventos de PR automatizados.
- La información personal no se vuelve a publicar en un repositorio público diferente.
- Los benchmarks permanecen imparciales, evitando que las herramientas o los jueces LLM se vean influidos por nombres de autores reconocibles.
- Se mantienen las normas éticas y de privacidad al trabajar con contribuciones de código abierto.
Solo se alteraron los metadatos de identidad; todo el código, los diffs, el orden de los commits y las estructuras de archivos se conservaron exactamente para mantener la autenticidad y reproducibilidad del benchmark.
Cita este benchmark
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Alper, Şevval},
title = {{Benchmark de herramientas de revisión de código con IA}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/ai-code-review-tools}},
note = {AIMultiple. Recuperado el 13 de Marzo de 2026}
}El trabajo de Cem ha sido citado por publicaciones globales líderes como Business Insider, Forbes, Washington Post, firmas globales como Deloitte, HPE y ONG como el Foro Económico Mundial y organizaciones supranacionales como la Comisión Europea.
A lo largo de su carrera, Cem se ha desempeñado como consultor tecnológico, comprador de tecnología y emprendedor tecnológico. Asesoró a empresas en sus decisiones tecnológicas en McKinsey & Company y Altman Solon durante más de una década. También publicó un informe de McKinsey sobre digitalización.
Lideró la estrategia tecnológica y las adquisiciones de una empresa de telecomunicaciones reportando directamente al CEO. También lideró el crecimiento comercial de la empresa de tecnología profunda Hypatos, que alcanzó ingresos recurrentes anuales de 7 dígitos y una valoración de 9 dígitos desde 0 en 2 años. El trabajo de Cem en Hypatos fue cubierto por publicaciones tecnológicas líderes como TechCrunch y Business Insider.
Cem habla regularmente en conferencias internacionales de tecnología. Se graduó de la Universidad de Bogazici como ingeniero informático y tiene un MBA de Columbia Business School.
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.