Şevval Alper
Intereses de investigación
Şevval se centra en herramientas de codificación con IA, agentes de IA y tecnologías cuánticas.Forma parte del equipo de benchmark de AIMultiple, realiza evaluaciones y aporta información para ayudar a los lectores a comprender diversas tecnologías emergentes y sus aplicaciones.
Experiencia profesional
Contribuyó a organizar y guiar a los participantes en tres eventos “CERN International Masterclasses - hands-on particle physics” en Türkiye, colaborando con el profesorado para facilitar el aprendizaje.Formación académica
Şevval tiene una licenciatura en Física por la Middle East Technical University.Últimos artículos de Şevval
Recocido cuántico: computación cuántica práctica
El recocido cuántico es una tecnología cuántica prometedora para empresas con problemas de optimización urgentes que las computadoras tradicionales no pueden resolver rápidamente. Se puede utilizar para resolver problemas de optimización de forma más eficaz que las computadoras tradicionales. Sin embargo, todavía se utiliza principalmente en el ámbito académico, y se requiere más I+D para…
HALC-Bench: LLM Alucinación en el benchmark de recuperación de contexto largo
HALC-Bench (LLM Alucinación en el benchmark de recuperación de contexto largo) mide la resistencia de un LLM a fabricar evidencia de una métrica que no existe en el documento objetivo mediante 3 almiares colocados al principio, en el medio y al final de la ventana de contexto del modelo, con 204 preguntas. claude-fable-5 respondió correctamente…
Benchmark de codificación con IA: Claude Code vs Cursor
En la codificación con IA, el mercado se ha fragmentado en dos categorías: herramientas de CLI agéntico y editores de código con IA integrados en los IDE. Cada una afirma automatizar el desarrollo. Pocas comparaciones muestran en qué se diferencian bajo cargas de trabajo idénticas. Evaluamos cada agente en 10 tareas de desarrollo web full-stack,…
Ejecución de código con MCP: Un nuevo enfoque para la eficiencia de los agentes de IA
Anthropic presentó un método en el que los agentes de IA interactúan con los servidores del Model Context Protocol (MCP) escribiendo código ejecutable en lugar de realizar llamadas directas a las herramientas. El agente trata las herramientas como archivos en un ordenador, encuentra lo que necesita y las usa directamente con código, de modo que…
VELC-Bench: Verificación en el Benchmark de Contexto Largo
La capacidad del modelo para localizar una métrica específica en el contexto, comparar su valor con una afirmación y confirmarla o rechazarla. Esto evalúa la coincidencia precisa de valores en condiciones de contexto largo. El modelo debe recuperar el valor y realizar una comparación precisa. Los modelos se evalúan en las siguientes ventanas de contexto:…
AIM-Code Bench: benchmark de codificación agéntica
Evaluar los LLMs sin sus arneses de agentes de codificación no refleja del todo cómo se usan en la práctica. El desarrollo real también implica ampliar trabajo existente, hacerse cargo de código desconocido y dejar implementaciones sobre las que otros puedan construir. Presentamos AIM-Code Bench para evaluar modelos junto con sus arneses de agentes de…
Benchmark de herramientas de revisión de código con IA
Con el mayor uso de herramientas de programación con IA, los repositorios de código se han vuelto más propensos a vulnerabilidades, lo que aumentó la necesidad de revisiones de código eficaces. Para abordar esto, presentamos RevEval (IA Code Review Eval), que compara las cuatro principales herramientas de revisión de código con IA en 309 solicitudes…
Benchmarks de agentes
Benchmark de agente
TI agéntica: ¿Pueden los agentes de IA diseñar un benchmark?
Probamos 16 modelos en un diseño de benchmark de texto a SQL y llamada de herramientas. Cada modelo creó un benchmark por tema, para un total de 32 envíos. Ningún envío superó todos los criterios de la rúbrica. Los agentes pudieron construir y ejecutar pruebas, pero ninguno demostró a la vez una prueba de respuesta…
RELC-Bench: benchmark de recuperación en contexto largo
RELC-Bench (RELC-Bench: benchmark de recuperación en contexto largo) tiene como objetivo medir la capacidad de un model para encontrar y extraer un valor numérico específico de uno o más documentos dentro de su contexto. Comprueba si el model puede recordar y recuperar un dato concreto que acaba de ver en la entrada. claude-fable-5 obtiene 97,0 %…
Boletín informativo de AIMultiple
Reciba un correo electrónico gratuito a la semana con las últimas noticias tecnológicas B2B y análisis de expertos para impulsar su empresa.