Berk Kalelioğlu

18 de oct

Benchmark de Tabular Models: Rendimiento en 19 Datasets

Evaluamos 13 models de aprendizaje tabular en 19 datasets reales que abarcan aproximadamente 272.000 muestras, con tamaños de dataset de 435 a 48.800 filas. Cada model se ejecutó con validación cruzada de 5 pliegues en divisiones idénticas. Cada dataset es un round-robin de enfrentamientos directos entre models, decidido por la métrica principal. Elo agrega todos…

AIM-Decision: Jev frente a Clef frente a LLMs

Modelos de decisión, también llamados modelos System One, puntúan un conjunto fijo de opciones en lugar de generar texto token por token. Probamos 50 modelos de decisión en 1.655 preguntas de clasificación, como calificar una falla de seguridad o la retirada de un producto, y ejecutamos 47 de ellos en 50 tareas de navegador. Consulte…

AIM benchmark web agéntico

Los agentes dependen de las interfaces web para completar tareas web. Para comparar la finalización de tareas entre interfaces web, creamos el AIM benchmark web agéntico y ejecutamos 100 tareas en 8 interfaces, 5 veces cada una, para 4.000 resultados puntuados. Bright Data CLI y Bright Data MCP completaron 3.6 y 3.8 tareas más por…

Benchmark de Marketing Agéntico AIM

Presentamos el Benchmark de Marketing Agéntico AIM, que mide el rendimiento de los agentes en tres flujos de trabajo de marketing: análisis de brechas competitivas, preparación de lista de objetivos ABM y una presentación de ventas personalizada. También realizamos una auditoría de reputación del sitio web por separado, en la que los agentes examinaron el…

MCP Gateway Benchmark: latencia y seguridad de 6 gateways

Un gateway MCP se sitúa entre un agente de IA y las herramientas a las que llama, y los proveedores lo posicionan como la capa de seguridad para ese tráfico. Evaluamos seis gateways MCP contra un backend instrumentado en una sola máquina, midiendo la latencia añadida, la autorización por herramienta, la protección del contenido y…

13 de oct

A-CODE-CLI Bench: Benchmark de CLI agénticas

Las herramientas CLI agénticas son herramientas de programación con IA que pueden crear y eliminar archivos, ejecutar comandos, planificar y ejecutar la programación de todo el proyecto. Evaluamos las herramientas líderes en 10 escenarios reales de desarrollo web, realizando ~600 comprobaciones de validación atómicas por agente y más de ~5.000 ejecuciones de pruebas automatizadas totales,…

Comparación de Funciones

30 de sep

Agentes siempre activos: Dots vs Grok Bot vs Muse

Los agentes siempre activos siguen trabajando después de cerrar la aplicación. Cada uno se ejecuta en un ordenador que conserva sus archivos y memoria, inicia tareas según un horario o cuando ocurre algo, y te envía un mensaje cuando necesita una decisión. Comparamos cinco de ellos: OpenAI Dots, Grok Bot, Meta Muse, Hermes Agent y…

18 de sep

TI agéntica: ¿Pueden los agentes de IA diseñar un benchmark?

Probamos 16 modelos en un diseño de benchmark de texto a SQL y llamada de herramientas. Cada modelo creó un benchmark por tema, para un total de 32 envíos. Ningún envío superó todos los criterios de la rúbrica. Los agentes pudieron construir y ejecutar pruebas, pero ninguno demostró a la vez una prueba de respuesta…

17 de sep

AIM Enterprise: Benchmark empresarial agéntico

Las empresas usan LLM todos los días para sus tareas habituales. Para encontrar los LLM más rentables, diseñamos AIM Enterprise, un benchmark empresarial agéntico, donde usamos 69 tareas empresariales reales en estrategia, marketing, RR. HH., ventas y operaciones. Dos modelos jueces puntuaron cada archivo que superó las comprobaciones. En el 32,7 % de las puntuaciones individuales,…