Berk Kalelioğlu
Intereses de investigación
Berk se centra en el aprendizaje automático, las herramientas de IA agéntica y los models de lenguaje grandes y pequeños (LLMs y SLMs).Forma parte del equipo de benchmark de AIMultiple, realizando evaluaciones y proporcionando perspectivas para ayudar a los lectores a comprender las tecnologías emergentes y sus aplicaciones en el mundo real.
Experiencia profesional
Comenzó su carrera como líder de proyecto tecnológico en ODTU IVME-R, donde lideró un proyecto para construir generadores físicos cuánticos y de números pseudoaleatorios.Tras su etapa en IVME-R, cofundó una empresa de desarrollo de videojuegos y publicó un juego en Steam.
Más tarde orientó su carrera hacia la IA y se unió a AIMultiple como investigador.
Educación
Berk tiene una licenciatura en Matemáticas por la Universidad de Ankara.Últimos artículos de Berk
Agentes siempre activos: Claude Duet vs Dots vs Grok Bot
Los agentes siempre activos siguen trabajando después de cerrar la aplicación. Cada uno se ejecuta en un ordenador que conserva sus archivos y memoria, inicia tareas según un horario o cuando ocurre algo, y te envía un mensaje cuando necesita una decisión. Comparamos seis de ellos: OpenAI Dots, Grok Bot, Meta Muse, Claude Duet, Hermes…
Benchmark de VPS: Hetzner vs Digital Ocean
Evaluamos 6 proveedores de servidores privados virtuales (VPS) ejecutando ~1.200 pruebas automatizadas por servidor en CPU, memoria, E/S de disco y velocidad de red usando sysbench, fio y speedtest-cli. También documentamos la experiencia completa desde el registro hasta SSH de cada proveedor. Usamos planes de 4 vCPU (compartidos) / 8 GB de cada proveedor, sin…
AIM-Decision: Jev frente a Clef frente a LLMs
Los modelos de decisión, también llamados modelos System One, puntúan un conjunto fijo de opciones en lugar de generar texto token por token. Probamos 62 modelos de decisión en 1.655 preguntas de clasificación, como puntuar un fallo de seguridad o un retiro de producto, y ejecutamos 49 de ellos en 50 tareas de navegador. Consulte…
Benchmark de clasificación de series temporales: Foundation Models frente a métodos clásicos
Evaluamos 13 métodos de clasificación de series temporales, desde foundation models de series temporales preentrenados hasta una línea base de 22 características de 2019, en 33 datasets UCR/UEA bajo un único protocolo congelado. Es decir, 14.638 celdas registradas de método-dataset-remuestreo, 11.874 de ellas puntuadas. El gráfico compara 12 métodos en los 15 datasets univariados que…
MCP Gateway Benchmark: latencia y seguridad de 6 gateways
Un gateway MCP se sitúa entre un agente de IA y las herramientas a las que llama, y los proveedores lo posicionan como la capa de seguridad para ese tráfico. Evaluamos seis gateways MCP contra un backend instrumentado en una sola máquina, midiendo la latencia añadida, la autorización por herramienta, la protección del contenido y…
Benchmark de Modelos Tabulares: Rendimiento en 19 Conjuntos de Datos
Evaluamos 13 modelos de aprendizaje tabular en 19 conjuntos de datos reales con aproximadamente 272.000 muestras, desde 435 hasta 48.800 filas. Cada modelo se ejecutó con validación cruzada de 5 pliegues en las mismas particiones. Los resultados también alimentan el AIM Tabular Index, que los combina con las tablas de clasificación públicas TabArena y BeyondArena.…
AIM benchmark web agéntico
Los agentes dependen de las interfaces web para completar tareas web. Para comparar la finalización de tareas entre interfaces web, creamos el AIM benchmark web agéntico y ejecutamos 100 tareas en 8 interfaces, 5 veces cada una, para 4.000 resultados puntuados. Bright Data CLI y Bright Data MCP completaron 3.6 y 3.8 tareas más por…
Benchmark de Marketing Agéntico AIM
Presentamos el Benchmark de Marketing Agéntico AIM, que mide el rendimiento de los agentes en tres flujos de trabajo de marketing: análisis de brechas competitivas, preparación de lista de objetivos ABM y una presentación de ventas personalizada. También realizamos una auditoría de reputación del sitio web por separado, en la que los agentes examinaron el…
A-CODE-CLI Bench: Benchmark de CLI agénticas
Las herramientas CLI agénticas son herramientas de programación con IA que pueden crear y eliminar archivos, ejecutar comandos, planificar y ejecutar la programación de todo el proyecto. Evaluamos las herramientas líderes en 10 escenarios reales de desarrollo web, realizando ~600 comprobaciones de validación atómicas por agente y más de ~5.000 ejecuciones de pruebas automatizadas totales,…
TI agéntica: ¿Pueden los agentes de IA diseñar un benchmark?
Probamos 16 modelos en un diseño de benchmark de texto a SQL y llamada de herramientas. Cada modelo creó un benchmark por tema, para un total de 32 envíos. Ningún envío superó todos los criterios de la rúbrica. Los agentes pudieron construir y ejecutar pruebas, pero ninguno demostró a la vez una prueba de respuesta…
Boletín informativo de AIMultiple
Reciba un correo electrónico gratuito a la semana con las últimas noticias tecnológicas B2B y análisis de expertos para impulsar su empresa.