Şevval Alper
Intereses de investigación
Şevval se centra en herramientas de codificación con IA, agentes de IA y tecnologías cuánticas.Forma parte del equipo de benchmark de AIMultiple, realiza evaluaciones y aporta información para ayudar a los lectores a comprender diversas tecnologías emergentes y sus aplicaciones.
Experiencia profesional
Contribuyó a organizar y guiar a los participantes en tres eventos “CERN International Masterclasses - hands-on particle physics” en Türkiye, colaborando con el profesorado para facilitar el aprendizaje.Formación académica
Şevval tiene una licenciatura en Física por la Middle East Technical University.Últimos artículos de Şevval
Comparar los modelos GPT-5: razonamiento, velocidad y coste
Exploramos las diferencias entre la familia GPT-5 de OpenAI (por ejemplo, GPT-5, GPT-5-mini y GPT-5-nano) recopilando el rendimiento en los benchmarks y los costes de ejecutar los benchmarks. Usamos la familia GPT-5 en nuestro análisis. Usamos seis benchmarks de diversas áreas, incluidos el razonamiento, la programación, el seguimiento de instrucciones y las matemáticas. Nuestro análisis…
AIM-Code Bench: benchmark de codificación agéntica
Evaluar los LLMs sin sus arneses de agentes de codificación no refleja del todo cómo se usan en la práctica. El desarrollo real también implica ampliar trabajo existente, hacerse cargo de código desconocido y dejar implementaciones sobre las que otros puedan construir. Presentamos AIM-Code Bench para evaluar modelos junto con sus arneses de agentes de…
Benchmark de herramientas de revisión de código con IA
Con el mayor uso de herramientas de programación con IA, los repositorios de código se han vuelto más propensos a vulnerabilidades, lo que aumentó la necesidad de revisiones de código eficaces. Para abordar esto, presentamos RevEval (IA Code Review Eval), que compara las cuatro principales herramientas de revisión de código con IA en 309 solicitudes…
Benchmarks de agentes
Benchmark de agente
TI agéntica: ¿Pueden los agentes de IA diseñar un benchmark?
Probamos 16 modelos en un diseño de benchmark de texto a SQL y llamada de herramientas. Cada modelo creó un benchmark por tema, para un total de 32 envíos. Ningún envío superó todos los criterios de la rúbrica. Los agentes pudieron construir y ejecutar pruebas, pero ninguno demostró a la vez una prueba de respuesta…
Benchmark de codificación con IA: Claude Code vs Cursor
En la programación con IA, el mercado se ha fragmentado en dos categorías: herramientas de CLI agéntico y editores de código con IA integrados en IDE. Cada una afirma automatizar el desarrollo. Pocas comparaciones muestran cómo difieren bajo cargas de trabajo idénticas. Evaluamos a cada agente en 10 tareas de desarrollo web de pila completa,…
VELC-Bench: Verificación en el Benchmark de Contexto Largo
La capacidad del modelo para localizar una métrica específica en el contexto, comparar su valor con una afirmación y confirmarla o rechazarla. Esto evalúa la coincidencia precisa de valores en condiciones de contexto largo. El modelo debe recuperar el valor y realizar una comparación precisa. Los modelos se evalúan en las siguientes ventanas de contexto:…
RELC-Bench: benchmark de recuperación en contexto largo
RELC-Bench (RELC-Bench: benchmark de recuperación en contexto largo) tiene como objetivo medir la capacidad de un model para encontrar y extraer un valor numérico específico de uno o más documentos dentro de su contexto. Comprueba si el model puede recordar y recuperar un dato concreto que acaba de ver en la entrada. claude-fable-5 obtiene 97,0 %…
Simulación de audiencia: ¿Pueden los LLMs predecir el comportamiento humano?
En marketing, evaluar con qué precisión los LLMs predicen el comportamiento humano es crucial para valorar su efectividad en la anticipación de las necesidades de la audiencia y reconocer los riesgos de desalineación, comunicación ineficaz o influencia no deseada. La simulación de audiencias con LLMs permite modelar audiencias virtuales, ayudando a las organizaciones a prever…
HALC-Bench: LLM Alucinación en el benchmark de recuperación de contexto largo
HALC-Bench (LLM Alucinación en el benchmark de recuperación de contexto largo) mide la resistencia de un LLM a fabricar evidencia de una métrica que no existe en el documento objetivo mediante 3 almiares colocados al principio, en el medio y al final de la ventana de contexto del modelo, con 204 preguntas. claude-fable-5 respondió correctamente…
Boletín informativo de AIMultiple
Reciba un correo electrónico gratuito a la semana con las últimas noticias tecnológicas B2B y análisis de expertos para impulsar su empresa.