Investigación profunda con IA: Claude vs ChatGPT vs Grok

La investigación profunda con IA ofrece a los usuarios una gama más amplia de resultados de búsqueda que los motores de búsqueda con IA. Para ver el rendimiento de diferentes herramientas de investigación profunda con IA, presentamos tres nuevos benchmarks:

DR-50 (Investigación profunda 50) Bench, que evalúa las herramientas a través de 50 preguntas que abarcan seis tipos de preguntas, DR-2T (Investigación profunda 2 tareas) Bench, que evalúa las herramientas mediante dos tareas de investigación del mundo real centradas en la calidad de la generación de informes, la cobertura de fuentes y la presentación estructurada de datos, y Agentes vs Modelos de investigación profunda, demuestra que los agentes son más baratos que los modelos de investigación profunda, ofreciendo niveles de precisión comparables.

Benchmark Agentes vs Modelos de investigación profunda

Los agentes de IA como Claude Code y OpenAI Codex pueden buscar en la web, obtener páginas específicas y extraer datos mediante llamadas de herramientas dirigidas. Probamos si este enfoque agentivo iguala el rendimiento de los modelos de investigación profunda creados específicamente para tareas de investigación factual. Se evaluaron seis herramientas en 5 tareas con 33 puntos de control de verdad fundamental que abarcan eventos corporativos, fusiones y adquisiciones, documentación de software e investigación en IA. Consulte nuestra metodología.

Parallel Ultra y Claude Code empataron en la cima con un 97% de precisión. Codex los siguió con un 93,9%. Perplexity Sonar obtuvo un 87,9%. Los modelos de investigación profunda de OpenAI (o3 y o4-mini) puntuaron entre el 75,8% y el 81,8%, a pesar de realizar entre 27 y 125 búsquedas web por tarea y costar entre 2 y 6 veces más que Sonar.

Los mejores comparten un patrón: navegan a fuentes primarias y las leen cuidadosamente. Codex consultó la presentación 8-K ante la SEC para la Tarea 2 y la declaración de proxy de la SEC para la Tarea 3. Claude Code obtuvo directamente las páginas de documentación de Unity en la Tarea 1. Parallel encontró la cifra específica de pago a Zaslav ($886,8M) que otras tres herramientas pasaron por alto. o3 y o4-mini buscaron ampliamente pero extrajeron información menos precisa de las páginas que encontraron.

Claude Code y Codex ocupan la esquina superior derecha: alta precisión a bajo costo ($1,54 y $1,30, respectivamente). Parallel logra la misma precisión por $2,10. o3 cuesta $10,92 para una precisión del 75,8%. En la pestaña de latencia, Claude Code es el más rápido con 1,7 minutos por tarea en promedio. Parallel es el más lento con 16,7 minutos, pero iguala la máxima precisión. Sonar se sitúa en una sólida posición intermedia con 2,3 minutos y un 87,9%.

Sonar produce un promedio de 5.253 palabras por tarea. Los agentes producen entre 398 y 483. Sonar escribió 4.509 palabras sobre la estructura EntityId de Unity, pero solo pudo nombrar uno de sus cinco métodos públicos. Codex escribió 248 palabras y nombró los cinco. Parallel escribió 1.037 palabras y acertó. Más palabras y más citas no predijeron una mayor precisión.

Análisis en profundidad: Migración de Unity 2022.3 a Unity 6 (Tarea 5)

La Tarea 5 es la más compleja del benchmark. Se pidió a cada herramienta que creara una guía de transición de Unity 2022.3 LTS a Unity 6.3 LTS. El prompt especificaba las versiones exactas: 2022.3.62f3, 2022.3.74f1 y 6000.3.12f1. Una respuesta correcta requiere leer la página de requisitos del sistema de Unity 6.3, la página del ciclo de vida del soporte y cuatro guías de actualización separadas (6.0, 6.1, 6.2, 6.3).

Tres de las seis herramientas devolvieron los requisitos del sistema para Unity 6.0 en lugar de Unity 6.3.

o3, o4-mini y Claude Code hicieron referencia a la página de documentación de Unity 6.0 en lugar de la de 6.3, a pesar de que el prompt especificaba "Unity 6.3" y el número de compilación "6000.3.12f1".

Un equipo que siguiera la guía de o3 apuntaría a Android API 23 (Android 6.0). Unity 6.3 requiere API 25 (Android 7.1). La compilación fallaría o se lanzaría apuntando a una plataforma no compatible. La guía en sí parece profesional: tablas limpias, estructura sensata, tono correcto. Las cifras son incorrectas.

Codex y Parallel acertaron todas las cifras. Codex navegó directamente a la página de requisitos del sistema de 6.3 y la comparó línea por línea con la página de 2022.3. Incluso identificó que el mínimo de iOS cambió de 12 a 13 dentro de la línea 2022.3 en la compilación 2022.3.72f1, antes de saltar a 15 en 6.3. Parallel produjo una guía completa con cifras correctas y 35 fuentes citadas.

Cómo abordó cada herramienta la tarea:

Claude Code generó 4 subagentes paralelos, cada uno manejando una parte diferente de la pregunta: fechas de soporte, ruta de actualización, cambios disruptivos y requisitos del sistema. Rápido (3 minutos 59 segundos), pero el subagente de requisitos del sistema obtuvo la página de documentación incorrecta.

Codex ejecutó 90 búsquedas web secuenciales durante 6 minutos 17 segundos. Obtuvo la guía de actualización de 6.3, la página de requisitos del sistema de 6.3 y la página de requisitos del sistema de 2022.3 individualmente. Más lento pero metódico. Todas las cifras fueron correctas.

o3 dedicó 8 minutos y 32 búsquedas web. Produjo 2.132 palabras de consejos generales de migración, pero extrajo los plazos de soporte y los requisitos del sistema de la documentación de 6.0. No mencionó ningún cambio disruptivo específico de 6.3 (eliminación del modo de compatibilidad URP, desaprobación de Netcode 1.x, desaprobación de Relay/Lobby).

Ninguna herramienta leyó las cuatro guías de actualización (6.0, 6.1, 6.2, 6.3) en secuencia. La documentación de Unity indica que los desarrolladores deben seguirlas en orden porque cada una contiene cambios disruptivos únicos. Cada herramienta encontró la página más destacada y extrajo de allí. Esta es una limitación estructural para cualquier tarea de investigación que requiera trabajar a través de una serie de documentos relacionados en lugar de encontrar una única respuesta.

Resultados del DR-50 Bench

Comparación de precisión y latencia

Probamos las herramientas de investigación profunda con IA en 50 preguntas de 6 tipos distintos. Consulte nuestra metodología del benchmark

Perplexity Sonar Deep Research muestra la mayor precisión con un 34% y una latencia moderada. Parallel Ultra y o4 mini deep research demuestran niveles de precisión similares, alrededor del 22-24%, aunque Parallel Ultra requiere bastante más tiempo. o3-deep-research exhibe la menor precisión con una latencia extendida.

Costo y latencia en la única tarea exitosa

Medimos el costo y la latencia en una sola pregunta donde todas las herramientas tuvieron éxito. o4 mini deep research y Perplexity Ultra ocupan la región eficiente con costos bajos y tiempos de finalización más rápidos. o3 deep research opera a un costo más alto con mayor latencia. Parallel muestra la mayor latencia a pesar de un costo moderado.

Citas

La cantidad de citas varía independientemente del costo y la latencia. o4 mini deep research proporciona significativamente más citas manteniendo la eficiencia, lo que sugiere diferentes enfoques para la obtención y referencia de información. Las citas mínimas en o3 deep research, a pesar de su costo premium, indican que el recuento de citas no está vinculado al consumo de recursos.

Resultados del DR-2T Bench

También realizamos un segundo benchmark con las 7 principales herramientas de investigación profunda con IA usando dos tareas y las evaluamos en cinco dimensiones.

Las evaluamos en función de la precisión y la cantidad de fuentes. Consulte la metodología para ver cómo evaluamos estas soluciones.

Gemini lidera en precisión de los datos proporcionados:

Claude es el líder en cuanto al número de fuentes indexadas:

Tarea 1:

Les pedimos que crearan tablas sobre software empresarial de gestión de contraseñas según nuestro prompt. Consulte el prompt completo.

Casi todas las herramientas proporcionaron tablas detalladas con la información solicitada, aunque sus enfoques de presentación de datos variaron significativamente.

Para la generación de informes completos:

• Gemini y Claude emergieron como las soluciones líderes, entregando informes analíticos extensos con ideas sintetizadas y análisis contextual.
• Por el contrario, Bright Data Deep Lookup* se centró principalmente en la extracción de datos, proporcionando tablas estructuradas con contenido narrativo limitado.

Los investigadores deben seleccionar las herramientas en función de sus necesidades de investigación específicas. Aquellos que requieran un análisis integral y soluciones orientadas a informes encontrarán que Gemini y Claude son los más adecuados, ya que estas herramientas se centran más en sintetizar información en informes detallados.

Por el contrario, los investigadores que prioricen la recopilación de datos brutos y requieran búsquedas web a gran escala se beneficiarán más de Bright Data, que proporciona una cobertura extensa de datos web con niveles de confianza y explicaciones detalladas de la relevancia y fiabilidad de las fuentes.

Este enfoque centrado en los datos hace que Bright Data sea valiosa para revisiones sistemáticas que requieran una verificación de fuentes de alto volumen.

Kimi emplea una metodología distintiva para la generación de informes, produciendo un informe interactivo que incorpora resúmenes ejecutivos, secciones específicas de "lo mejor para" y recomendaciones estratégicas.

El informe incluye visualizaciones de datos integradas y atribución de fuentes, lo que resulta en un entregable completo adecuado para su implementación inmediata sin modificaciones adicionales.

Nota: Perplexity proporcionó un informe detallado pero no logró crear una tabla con la información recopilada. Dado que nuestro prompt solicitaba explícitamente salidas en tabla, recibió cero puntos por esa tarea.

*Actualizaremos Bright Data Deep Lookup cuando el producto salga de la fase beta.

Tarea 2:

El objetivo de esta tarea es evaluar su velocidad y cobertura en la investigación. Solicitamos un informe detallado sobre la adopción de RPA para determinar el número de páginas indexadas y el tiempo que lleva generar un informe.

Por supuesto, el número de fuentes no tiene por qué correlacionarse con la calidad de la investigación. Sin embargo, dado que estas herramientas están diseñadas para acelerar la investigación, lo consideramos una métrica importante.

También debemos señalar que los tiempos de búsqueda varían significativamente entre estas herramientas. Grok Deep Search es aproximadamente 10 veces más rápido que ChatGPT Deep Research y busca aproximadamente 3 veces más páginas web.

Claude Deep Search también es altamente receptivo, habiendo investigado 261 fuentes en más de 6 minutos. Sin embargo, Gemini puede no ser una opción ideal para quienes buscan una solución rápida y receptiva, ya que investigó 62 fuentes en más de 15 minutos.

Novedades en herramientas de investigación profunda con IA

Kimi K2.5

Kimi K2.5 puede procesar texto, imágenes y video, generar código listo para producción y ejecutar flujos de trabajo complejos utilizando una arquitectura de enjambre de agentes.

Agent Swarm es el mecanismo de Kimi K2.5 para manejar tareas complejas convirtiendo un único modelo en un equipo coordinado de agentes de IA. En lugar de ejecutar una tarea secuencialmente, Kimi crea múltiples subagentes especializados, cada uno con un rol específico como investigación, análisis, codificación, verificación o estructuración de contenido. Estos agentes operan en paralelo, usan herramientas de forma independiente y comparten resultados intermedios, lo que reduce significativamente el tiempo de ejecución para flujos de trabajo de larga duración.

El enjambre descompone un objetivo de alto nivel en subtareas, las asigna a los agentes, monitorea el progreso e integra los resultados en un producto final coherente. Este enfoque es especialmente útil para la investigación profunda, la creación de documentos a gran escala, el procesamiento por lotes y la resolución de problemas de múltiples pasos, en los que diferentes partes del trabajo pueden realizarse simultáneamente.

Investigación profunda de Kimi K2.5

La investigación profunda de Kimi K2.5 admite la investigación de principio a fin y la generación de informes para preguntas complejas. Recopila información de múltiples fuentes, analiza los temas desde múltiples perspectivas y sintetiza los resultados en informes visuales.

La investigación profunda está diseñada principalmente para análisis de inversiones, investigación industrial, trabajo académico y planificación estratégica, donde se requiere un análisis orientado a la toma de decisiones.

Figura 1: Un ejemplo de investigación de Kimi K2.5 Deep Research sobre métricas ESG y retornos de inversión.

Claude para ciencias de la vida

Claude para ciencias de la vida está diseñado para apoyar el trabajo científico a lo largo del ciclo de vida del desarrollo de fármacos y dispositivos para organizaciones de biotecnología, farmacéuticas y de investigación. Las actualizaciones recientes amplían su alcance más allá de la investigación preclínica hacia las operaciones de ensayos clínicos y los flujos de trabajo regulatorios, añadiendo nuevos conectores de datos y habilidades de agente adaptadas a casos de uso del mundo real en ciencias de la vida.

Características y capacidades clave:

• Conectores científicos ampliados: Acceso a plataformas como Medidata, ClinicalTrials.gov, bioRxiv/medRxiv, Open Targets, ChEMBL, ToolUniverse y Owkin, junto con las integraciones existentes con Benchling, PubMed, 10x Genomics, BioRender, Synapse.org y Wiley.
• Inteligencia para ensayos clínicos: Uso seguro de datos históricos de reclutamiento de ensayos y rendimiento de centros para apoyar el análisis de viabilidad, la planificación del reclutamiento de pacientes y el monitoreo de ensayos.
• Soporte para descubrimiento temprano: Herramientas para ayudar con la identificación de dianas, el análisis de compuestos y la prueba de hipótesis utilizando bases de datos científicas curadas y herramientas computacionales.
• Flujos de trabajo bioinformáticos: Habilidades de agente y conjuntos de herramientas que admiten pipelines de procesamiento y análisis de datos, incluyendo scVI-tools y despliegues Nextflow.
• Redacción y planificación de protocolos: Una habilidad de redacción de protocolos de ensayos clínicos que incorpora vías regulatorias, contexto competitivo, recomendaciones de criterios de valoración y la guía relevante de la FDA.
• Preparación regulatoria: Asistencia para identificar lagunas en documentos regulatorios, redactar respuestas a preguntas de agencias y navegar por las directrices aplicables.¹

Integración de Gemini Deep Research con Gmail, Docs, Drive y Chat

Google ha introducido una actualización significativa de Gemini Deep Research, ampliando su capacidad para acceder a datos de todo el ecosistema de Google. La herramienta ahora puede conectarse a Gmail, Google Drive (incluyendo Docs, Slides, Sheets y PDFs) y Google Chat, permitiendo a los usuarios incluir fuentes privadas y compartidas directamente en su proceso de investigación.

Con esta actualización, los usuarios pueden:

• Crear informes completos combinando datos de correos electrónicos, documentos y chats con información de la web.
• Realizar un análisis competitivo que integre planes de proyecto, hojas de cálculo comparativas y discusiones en equipo.
• Lanzar un plan de investigación de varios pasos para un nuevo producto analizando los primeros materiales de lluvia de ideas y los hilos de comunicación relacionados.

Esta función permite a Gemini Deep Research dar soporte tanto a revisiones de literatura académica como a investigaciones de mercado. Al combinar múltiples fuentes de datos, los usuarios pueden generar análisis más detallados y descubrir ideas clave de manera más eficiente.²

Gemini en Chrome: Navegación automática

Google está actualizando Gemini en Chrome en macOS, Windows y Chromebook Plus con Gemini 3, añadiendo un panel lateral, un soporte más integrado para aplicaciones de Google y funciones agénticas como la navegación automática:

• Navegación y acciones agénticas de varios pasos: La nueva función de Navegación Automática de Chrome utiliza Gemini 3 para actuar como un agente web que puede llevar a cabo de forma autónoma tareas complejas de varios pasos, como investigar opciones de viaje, rellenar formularios, comparar productos y navegar entre sitios web interpretando instrucciones e interactuando con las páginas en nombre del usuario.
• Disponibilidad: La Navegación Automática se está implementando actualmente en vista previa para los suscriptores de Google IA Pro y IA Ultra en Estados Unidos y requiere Chrome en plataformas como Windows, macOS o Chromebook Plus.
• Cobertura de aplicaciones conectadas: La actualización de Gemini en Chrome admite integraciones de aplicaciones conectadas con servicios como Gmail, Calendar, YouTube, Maps, Google Shopping y Flights.
  • Para acciones que implican pasos sensibles o de alto riesgo, como completar una compra o publicar en redes sociales, el sistema se detiene y solicita confirmación explícita del usuario antes de proceder.³

Microsoft presenta Deep Research en Azure IA Foundry Agent Service

Microsoft ha lanzado la vista previa pública de Deep Research dentro de Azure IA Foundry Agent Service, ofreciendo la tecnología de investigación agéntica de OpenAI a través de la plataforma empresarial Azure. El servicio permite la automatización de tareas de investigación complejas, la integración entre sistemas empresariales y la creación de resultados de investigación transparentes y auditables.⁴

Las características clave son:

• Investigación automatizada de varios pasos: Utiliza el modelo o3-deep-research para planificar, analizar y sintetizar datos de la web y sistemas empresariales.
• Fundamentación web con Bing Search: Garantiza que la información se base en fuentes verificadas y actuales.
• Resultados transparentes: Cada informe incluye fuentes citadas, pasos de razonamiento y aclaraciones.
• Integración con herramientas de Azure: Funciona con Logic Apps, Azure Functions y otros conectores para la creación de informes y la automatización de flujos de trabajo.
• Flexibilidad programática: Disponible a través de API y SDK, lo que permite a los desarrolladores integrar herramientas de investigación profunda con IA en aplicaciones y flujos de trabajo.

Cómo funciona

1. Aclaración de la intención de investigación: El sistema utiliza GPT-4o y GPT-4.1 para definir la pregunta de investigación.
2. Recopilación de datos: Bing Search reúne datos web fiables para la fundamentación.
3. Análisis de resultados: El modelo de investigación profunda realiza razonamiento y síntesis para producir informes completos con ideas clave.
4. Garantía de cumplimiento: Cada resultado es trazable y auditable para uso empresarial.

Beneficios de las herramientas de investigación profunda con IA

Mayor eficiencia y productividad

• Revisiones de literatura: Las herramientas de investigación con IA actúan como un asistente de investigación, realizando una búsqueda bibliográfica profunda en vastas bases de datos de artículos científicos. Identifican artículos relevantes y pueden sintetizar la información para generar resúmenes concisos, reduciendo significativamente el tiempo y el esfuerzo necesarios para una revisión bibliográfica manual.
• Recopilación y análisis de datos: Un asistente de investigación con IA puede automatizar la recopilación de datos mediante la minería de grandes bases de datos y páginas web. Estas herramientas poseen capacidades de investigación profunda que les permiten procesar y analizar conjuntos de datos masivos mucho más rápido que los métodos tradicionales. Pueden identificar patrones y tendencias que podrían pasar desapercibidos en una revisión manual, lo cual es crucial para tareas de investigación complejas como el análisis de mercado o la creación de un informe de investigación profunda.
• Automatización de tareas repetitivas: La IA puede encargarse de tareas repetitivas como la entrada de datos y el formato de las citas de las fuentes. Al automatizar estos procesos que consumen tiempo, los investigadores pueden centrarse en temas más complejos y en los aspectos creativos de su trabajo.

Conocimientos más profundos y descubrimiento

• Identificación de lagunas de investigación: Al analizar la literatura académica existente, las herramientas de IA pueden ayudar a los investigadores a identificar lagunas en el conocimiento actual. Este es un paso fundamental para formular una nueva pregunta de investigación o desarrollar un plan de investigación de varios pasos. Estas herramientas proporcionan información fácil de leer en un formato estructurado y bien organizado.
• Síntesis de información: Los asistentes de investigación con IA pueden sintetizar información de múltiples fuentes, generando un informe completo y destacando los hallazgos clave. Esto proporciona a los investigadores una visión general amplia sin necesidad de leer todos y cada uno de los artículos completos, lo que ahorra tiempo sin dejar de ofrecer una visión integral.
  • Por ejemplo, la herramienta de investigación profunda de Claude generó un informe detallado. El informe se puede publicar como un Artefacto, accesible en línea y visible en los motores de búsqueda.
• Exploración de conexiones: Las herramientas que visualizan redes de citas pueden ayudar a los investigadores a ver cómo se interconectan los diferentes artículos científicos. Esto puede conducir a descubrimientos y a una comprensión más completa de un campo de investigación.

Por ejemplo, Grok indexó más de 100 páginas diferentes en nuestra segunda tarea. Normalmente, a un humano le llevaría horas leer y recopilar información de todas estas páginas, pero a Grok le tomó ~2 minutos.

Por lo tanto, estas herramientas pueden acelerar el proceso de investigación. Sin embargo, los usuarios siempre deben recordar que estas herramientas pueden alucinar y generar información incorrecta, por lo que deben ser cautelosos al utilizar información extraída directamente de un LLM.

Desafíos y limitaciones de las herramientas de investigación profunda con IA

Precisión y fiabilidad

La mayoría de las personas desconfían de la precisión de la información generada por LLM y la verifican por sí mismas porque saben que los LLM pueden alucinar. El problema con la investigación profunda es que, al realizar una investigación más exhaustiva que un chat estándar y proporcionar fuentes, los usuarios pueden asumir erróneamente que siempre proporciona información precisa. Los LLMs (incluso con investigación profunda) aún tienden a alucinar, y esto puede dar lugar a graves malentendidos.

• Falta de contexto y matiz: Un asistente de investigación con IA puede tener dificultades para comprender el contexto completo de una tarea de investigación, pudiendo resumir la información sin entender su significado más profundo. Esto puede llevar a conclusiones incompletas o incorrectas.
• Información desactualizada: Los datos de entrenamiento de algunos modelos de IA pueden no estar actualizados, lo que hace que se pierdan avances recientes en artículos científicos u otra literatura académica.
• Credibilidad de las fuentes: Las herramientas de IA a menudo tienen dificultades para diferenciar entre fuentes autorizadas y no fiables, tratando toda la información de la web abierta como igualmente válida. El juicio humano es esencial para examinar la credibilidad de las fuentes para un informe de investigación profunda.

Sesgo y preocupaciones éticas

• Sesgo algorítmico: Si los conjuntos de datos utilizados para entrenar los modelos de IA contienen sesgos sociales, la IA los aprenderá y perpetuará. Esto puede dar lugar a resultados sesgados contra grupos demográficos específicos, afectando a la integridad de la investigación profunda.
• Privacidad de los datos: El uso de herramientas de IA implica el procesamiento de grandes cantidades de datos, lo que plantea importantes problemas de privacidad y seguridad. Los datos propietarios o confidenciales introducidos por un investigador podrían utilizarse para entrenar futuros modelos, lo que conlleva un riesgo de fuga de datos.
• Propiedad y derechos de autor: Cuando una herramienta de IA sintetiza información de múltiples fuentes, surgen preguntas sobre la propiedad intelectual y la atribución adecuada. A menudo es difícil determinar la propiedad del resultado final y asegurar que todas las citas de las fuentes sean correctas.

Habilidad humana y dependencia excesiva

• La ilusión de la experiencia: Las herramientas de IA pueden producir un informe pulido y estructurado, creando la falsa impresión de un análisis completo y experto. La herramienta es un asistente de investigación, no un sustituto del juicio, la experiencia y el escrutinio que un investigador humano aporta a las tareas de investigación complejas. Esto es especialmente relevante para los responsables de la toma de decisiones que se enfrentan a decisiones de alto riesgo.
• Erosión del pensamiento crítico: Una dependencia excesiva de las herramientas de investigación con IA puede disminuir el pensamiento crítico y las habilidades analíticas del investigador. Proporcionar todas las respuestas puede reducir la participación del usuario en los complejos procesos de investigación esenciales para los artículos académicos de alta calidad.
• Curva de aprendizaje pronunciada: A pesar de su diseño fácil de usar, muchas herramientas de investigación tienen una ligera curva de aprendizaje, especialmente para sus funciones avanzadas. Es posible que los investigadores necesiten invertir tiempo para aprovechar plenamente las capacidades de investigación profunda de la herramienta.

Gary Marcus también advirtió que puede provocar un declive en la calidad de los artículos científicos.⁵

Descubre más de nuestros análisis comparativos e insights basados en datos en la Búsqueda de Google.

Añadir como fuente preferida

Metodología

En nuestro benchmark DR-50, evaluamos las herramientas de investigación con IA utilizando 50 preguntas de seis tipos diferentes de preguntas:

 1. Búsqueda factual simple

Preguntas de un solo paso que requieren la recuperación directa de datos de una única fuente.

Ejemplo: "¿Cuál es el precio de entrada de 1M tokens para el modelo llama-3-70b de DeepInfra?"

2. Análisis comparativo

Evaluación entre fuentes que requiere la recopilación de datos de múltiples proveedores para comparar productos o servicios.

Ejemplo: "¿Qué proveedor ofrece llama-3.2-1b al precio combinado más barato?"

3. Razonamiento de varios pasos

Cadenas de razonamiento secuencial que requieren múltiples pasos dependientes de recuperación de información.

Ejemplo: "¿Cuál es el precio de entrada por 1 millón de tokens en OpenRouter para el modelo que ocupó el 1er lugar en el benchmark de Razonamiento Financiero de AIMultiple?"

4. Basado en cálculos

Se realizan operaciones matemáticas sobre datos numéricos recuperados.

Ejemplo: "¿Cuál es la diferencia en el precio combinado entre los dos modelos más baratos de Mistral IA?"

5. Extracción estructurada de JSON

La recopilación de datos requiere un estricto formato JSON con múltiples valores estructurados.

Ejemplo: "¿Cuáles son la arquitectura, memoria y ancho de banda de la NVIDIA H200 SXM? Formato: {"arquitectura": "...", "memoria": "...", "ancho de banda": "..."}"

6. Listado categórico

Enumeración completa de todos los elementos dentro de una categoría específica.

Ejemplo: "Proporciona todos los servidores MCP en la categoría blockchain."

Métricas de evaluación

Precisión

Comparamos cada respuesta con respuestas de verdad fundamental predefinidas utilizando GPT-4o-mini como juez automatizado a través de OpenRouter. La puntuación final de precisión representa el porcentaje de respuestas correctas en las 50 consultas.

Conteo de tokens

Utilizamos la biblioteca tiktoken para medir los tokens en el lado del cliente y validamos estas mediciones con los recuentos de tokens reportados por las API de los proveedores y las interfaces de usuario cuando estaban disponibles.

Latencia

Medimos la latencia como el tiempo de reloj de pared desde el inicio de la solicitud hasta la recepción de la respuesta completa, reportada en segundos. Validamos estas mediciones con las métricas de latencia reportadas por las API de los proveedores y las interfaces de usuario cuando estaban disponibles.

Costo

Rastreamos los costos manualmente a través del panel de facturación de cada proveedor.

Citas

Extraímos automáticamente las citas de los metadatos de respuesta de cada API y contamos las URL únicas citadas por respuesta.

Configuración técnica

Ejecutamos el benchmark de forma secuencial, con cada API completando las 50 consultas antes de que comenzara la siguiente API. Implementamos un retraso de 5 segundos entre consultas consecutivas para evitar la limitación de tasa, y no impusimos ningún límite de tiempo, permitiendo que las solicitudes esperaran indefinidamente su finalización.

Para el benchmark DR-2T basado en diferentes tareas, cada dato del prompt se puntuó como 1 punto. Si la salida no estaba en formato de tabla, la calificamos con 0.

Prompt de la Tarea 1

Investiga y evalúa las 5 principales soluciones empresariales de gestión de contraseñas basándote en los siguientes criterios para identificar la solución más efectiva para el despliegue empresarial.

Criterios

1. Características de seguridad

• Estándar de cifrado utilizado
• Implementación de arquitectura de conocimiento cero
• Opciones de MFA soportadas
• Certificaciones de seguridad de terceros
• Funciones de monitoreo de salud de contraseñas

2. Despliegue e integración

• Opciones de despliegue
• Capacidades de integración con directorios
• Disponibilidad y funcionalidad de la API
• Integración SSO

3. Experiencia de usuario

• Compatibilidad con extensiones de navegador
• Disponibilidad y calificación de la aplicación móvil
• Capacidades de acceso sin conexión
• Funcionalidad de compartición de contraseñas

4. Administración

• Opciones de aplicación de políticas de contraseñas
• Automatización de aprovisionamiento/desaprovisionamiento de usuarios
• Funciones de informes y cumplimiento
• Protocolos de acceso de emergencia

5. Costo y escalabilidad

• Comparar precios utilizando escenarios empresariales estandarizados (100 usuarios, 500 usuarios, 1000+ usuarios)

Formato de entrega

1. Tabla detallada para cada criterio
2. Tabla de comparación de costos con escenarios estandarizados

Prompt para la Tarea 2

En nuestra segunda tarea, nuestro objetivo era descubrir el alcance de la investigación realizada. Para ello, comparamos el número de referencias citadas. Comparar artículos no es un método objetivo en este caso, ya que no es factible establecer una verdad fundamental definitiva.

Sin embargo, el número de referencias puede darnos una idea de su capacidad para proporcionar información, ya que la fortaleza de estas herramientas es su capacidad para indexar cientos de páginas web en minutos.

Metodología del Benchmark Agentes vs Investigación profunda

Creamos 5 tareas de investigación en diferentes dominios. Cada tarea hace preguntas directas con respuestas factuales y verificables. Cada punto de control se puntúa de forma binaria: correcto o incorrecto.

Cada pregunta se dirige a información publicada después de las fechas de corte de los datos de entrenamiento de los modelos. El benchmark se ejecutó en la primera semana de abril de 2026.

La verdad fundamental se construyó a partir de fuentes primarias: documentación oficial de Unity 6.4, presentación 8-K de Atlassian ante la SEC, comunicados de prensa de Paramount, el artículo de arxiv de ARC-AGI-3 y las guías de actualización de Unity. Cada herramienta recibió prompts idénticos. Todos los prompts terminaban con "Cita todas las fuentes que hayas utilizado con sus URL".

Puntuación: coincidencia automatizada de patrones para números, fechas y nombres. Juez LLM (GPT-4o) para los puntos de control de calidad de las explicaciones. Un revisor humano validó todos los resultados.

Los modelos de investigación profunda se invocaron a través de la OpenRouter API (o3, o4-mini, Sonar) y la API de Parallel. Los agentes se ejecutaron a través de sus interfaces de línea de comandos con la búsqueda web habilitada, sin herramientas MCP.

En Claude Code, utilizamos Opus 4.6, y en Codex, utilizamos GPT 5.4. Ambos en esfuerzo medio, y el cálculo de costos se realiza mediante el uso de tokens para ambos agentes.

Preguntas frecuentes

Cita este benchmark

Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Investigación profunda con IA: Claude vs ChatGPT vs Grok}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/ai-deep-research}},
  note   = {AIMultiple. Recuperado el 22 de Junio de 2026}
}

Enlaces de referencia

1.

Advancing Claude in healthcare and the life sciences \ Anthropic

2.

Google Workspace apps can now be integrated into Deep Research

Google

3.

Chrome gets new Gemini 3 features, including auto browse

Google

4.

Introducing Deep Research in Azure AI Foundry Agent Service | Microsoft Azure Blog

Microsoft Azure Blog

5.

Deep Research, Deep Bullshit, and the potential (model) collapse of science

Marcus on AI

Cem Dilmegani

Analista principal

Síguenos

Cem ha sido el analista principal de AIMultiple desde 2017. AIMultiple informa a cientos de miles de empresas (según similarWeb), incluyendo el 55% de las empresas Fortune 500 cada mes. El trabajo de Cem ha sido citado por importantes publicaciones globales como Business Insider, Forbes, Washington Post, firmas globales como Deloitte, HPE y ONG como el Foro Económico Mundial y organizaciones supranacionales como la Comisión Europea. Puede consultar más empresas y recursos de renombre que citan a AIMultiple. A lo largo de su carrera, Cem se desempeñó como consultor, comprador y emprendedor tecnológico. Asesoró a empresas en sus decisiones tecnológicas en McKinsey & Company y Altman Solon durante más de una década. También publicó un informe de McKinsey sobre digitalización. Lideró la estrategia y adquisición de tecnología de una empresa de telecomunicaciones, reportando directamente al CEO. Asimismo, lideró el crecimiento comercial de la empresa de tecnología avanzada Hypatos, que alcanzó ingresos recurrentes anuales de siete cifras y una valoración de nueve cifras partiendo de cero en tan solo dos años. El trabajo de Cem en Hypatos fue reseñado por importantes publicaciones tecnológicas como TechCrunch y Business Insider. Cem participa regularmente como ponente en conferencias internacionales de tecnología. Se graduó en ingeniería informática por la Universidad de Bogazici y posee un MBA de la Columbia Business School.

Ver perfil completo

Sé el primero en comentar

Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.

Nombre

Dirección de correo electrónico

Comentario

0/450

Publicar comentario