Investigación profunda con IA: Claude vs ChatGPT vs Grok

La investigación profunda con IA ofrece a los usuarios una gama más amplia de resultados de búsqueda que los motores de búsqueda con IA. Para observar el rendimiento en diferentes herramientas de investigación profunda con IA, estamos presentando tres nuevos puntos de referencia:

DR-50 (Deep Research 50) Bench, que evalúa herramientas en 50 preguntas que abarcan seis tipos de preguntas, DR-2T (Deep Research 2 Task) Bench, que evalúa herramientas mediante dos tareas de investigación del mundo real centradas en la calidad de generación de informes, cobertura de fuentes y presentación de datos estructurados, y Agent vs Deep Research Models, que demuestra que los agentes son más baratos que los modelos de investigación profunda mientras ofrecen niveles comparables de precisión.

Resultados del DR-50 Bench

Comparación de precisión y latencia

Probamos herramientas de investigación profunda con IA en 50 preguntas con 6 tipos de preguntas distintos. Consulte nuestra metodología del punto de referencia

Perplexity Sonar Deep Research muestra la mayor precisión con un 34 % y una latencia moderada. Parallel Ultra y o4 mini deep research muestran niveles de precisión similares alrededor del 22-24 %, aunque Parallel Ultra requiere significativamente más tiempo. o3-deep-research exhibe la menor precisión con latencia prolongada.

Costo y latencia en la única tarea exitosa

Medimos el costo y la latencia en una sola pregunta en la que todas las herramientas tuvieron éxito. o4 mini deep research y Perplexity Ultra ocupan la región eficiente con bajos costos y tiempos de finalización más rápidos. o3 deep research opera con un costo más alto y mayor latencia. Parallel muestra la latencia más larga a pesar de un costo moderado.

Citas

La cantidad de citas varía independientemente del costo y la latencia. o4 mini deep research proporciona significativamente más citas mientras mantiene la eficiencia, lo que sugiere diferentes enfoques para la obtención y referencia de información. Las citas mínimas en o3 deep research, a pesar de su costo premium, indican que el número de citas no está ligado al consumo de recursos.

Resultados del DR-2T Bench

También realizamos un segundo punto de referencia entre las 7 principales herramientas de investigación profunda con IA con dos tareas y las evaluamos en cinco dimensiones.

Las evaluamos según la precisión y el número de fuentes. Consulte la metodología para ver cómo evaluamos estas soluciones.

Gemini lidera en precisión de los datos proporcionados:

Claude lidera según el número de fuentes indexadas:

Tarea 1:

Les pedimos que crearan tablas sobre software empresarial de gestión de contraseñas según nuestra indicación. Consulte la indicación completa en indicación.

Casi todas las herramientas proporcionaron tablas detalladas que contenían la información solicitada, aunque sus enfoques para la presentación de datos variaron significativamente.

Para la generación de informes completos:

• Gemini y Claude emergieron como las soluciones líderes, entregando informes analíticos extensos con ideas sintetizadas y análisis contextual.
• En contraste, Bright Data Deep Lookup* se centró principalmente en la extracción de datos, proporcionando tablas estructuradas con contenido narrativo limitado.

Los investigadores deben seleccionar herramientas según sus necesidades específicas de investigación. Aquellos que requieran análisis exhaustivos y soluciones centradas en informes encontrarán que Gemini y Claude son las más adecuadas, ya que estas herramientas se enfocan más en sintetizar información en informes detallados.

Por el contrario, los investigadores que priorizan la recolección de datos brutos y requieren búsquedas web a gran escala se beneficiarán más de Bright Data, que proporciona amplia cobertura de datos web con niveles de confianza y explicaciones detalladas sobre la relevancia y confiabilidad de las fuentes.

Este enfoque centrado en datos hace que Bright Data sea valioso para revisiones sistemáticas que requieren verificación de fuentes de alto volumen.

Kimi emplea una metodología distintiva para la generación de informes, produciendo un informe interactivo que incorpora resúmenes ejecutivos, secciones específicas de "mejor para" y recomendaciones estratégicas.

El informe presenta visualizaciones de datos integradas y atribución de fuentes, resultando en un producto final completo adecuado para implementación inmediata sin modificaciones adicionales.

Nota: Perplexity proporcionó un informe detallado pero no creó una tabla con la información recopilada. Dado que nuestra indicación solicitó específicamente salidas en formato de tabla, recibió cero puntos por esa tarea.

*Actualizaremos Bright Data Deep Lookup cuando el producto salga de la etapa beta.

Tarea 2:

El objetivo de esta tarea es evaluar su velocidad y cobertura en la investigación. Solicitamos un informe detallado sobre la adopción de RPA para determinar el número de páginas indexadas y el tiempo que tarda en generar un informe.

Por supuesto, el número de fuentes no tiene que correlacionarse con la calidad de la investigación. Sin embargo, dado que estas herramientas están diseñadas para acelerar la investigación, consideramos que era una métrica importante.

También debemos señalar que los tiempos de búsqueda varían significativamente entre estas herramientas. Grok Deep Search es aproximadamente 10 veces más rápido que ChatGPT Deep Research y busca aproximadamente 3 veces más páginas web.

Claude Deep Search también es altamente receptivo, habiendo investigado 261 fuentes en más de 6 minutos. Sin embargo, Gemini puede no ser una opción ideal para quienes buscan una solución rápida y receptiva, ya que investigó 62 fuentes en más de 15 minutos.

Punto de referencia: Agentes vs Modelos de Investigación Profunda

Agentes de IA como Claude Code y OpenAI Codex pueden buscar en la web, obtener páginas específicas y extraer datos mediante llamadas a herramientas específicas. Probamos si este enfoque agente iguala el rendimiento de los modelos de investigación profunda diseñados específicamente en tareas de investigación factual. Se evaluaron seis herramientas en 5 tareas con 33 puntos de control de verdad fundamental que abarcan eventos corporativos, fusiones y adquisiciones, documentación de software e investigación en IA. Consulte nuestra metodología.

Parallel Ultra y Claude Code empataron en la cima con 97 % de precisión. Codex siguió con 93,9 %. Perplexity Sonar obtuvo 87,9 %. Los modelos de investigación profunda de OpenAI (o3 y o4-mini) obtuvieron entre 75,8 % y 81,8 %, a pesar de realizar entre 27 y 125 búsquedas web por tarea y costar entre 2 y 6 veces más que Sonar.

Los mejores rendimientos comparten un patrón: navegan a fuentes primarias y las leen cuidadosamente. Codex fue al documento de la SEC 8-K para la Tarea 2 y al documento de la SEC para la Tarea 3. Claude Code obtuvo directamente las páginas de documentación de Unity en la Tarea 1. Parallel encontró la cifra específica del pago de Zaslav ($886,8 millones) que otras tres herramientas pasaron por alto. o3 y o4-mini buscaron ampliamente pero extrajeron información menos precisa de las páginas que encontraron.

Claude Code y Codex ocupan la esquina superior derecha: alta precisión a bajo costo (1,54 $ y 1,30 $, respectivamente). Parallel alcanza la misma precisión por 2,10 $. o3 cuesta 10,92 $ por una precisión del 75,8 %. En la pestaña de latencia, Claude Code es el más rápido con un promedio de 1,7 minutos por tarea. Parallel es el más lento con 16,7 minutos pero iguala la precisión máxima. Sonar se sitúa en una sólida posición intermedia con 2,3 minutos y 87,9 %.

Sonar produce 5.253 palabras por tarea en promedio. Los agentes producen entre 398 y 483. Sonar escribió 4.509 palabras sobre la estructura Unity EntityId pero solo pudo nombrar uno de sus cinco métodos públicos. Codex escribió 248 palabras y nombró los cinco. Parallel escribió 1.037 palabras y acertó todos. Más palabras y más citas no predijeron una precisión más alta.

Análisis detallado: migración de Unity 2022.3 a Unity 6 (Tarea 5)

La Tarea 5 es la tarea más compleja en el punto de referencia. Pedía a cada herramienta que creara una guía de transición de Unity 2022.3 LTS a Unity 6.3 LTS. La indicación especificaba números de versión exactos: 2022.3.62f3, 2022.3.74f1 y 6000.3.12f1. Una respuesta correcta requiere leer la página de requisitos del sistema de Unity 6.3, la página del ciclo de vida de soporte y cuatro guías de actualización separadas (6.0, 6.1, 6.2, 6.3).

Tres de seis herramientas devolvieron los requisitos del sistema para Unity 6.0 en lugar de Unity 6.3.

o3, o4-mini y Claude Code todos hicieron referencia a la página de documentación de Unity 6.0 en lugar de la página 6.3, a pesar de que la indicación especificaba "Unity 6.3" y el número de compilación "6000.3.12f1".

Un equipo que siguiera la guía de o3 apuntaría a API 23 de Android (Android 6.0). Unity 6.3 requiere API 25 (Android 7.1). La compilación fallaría o se lanzaría apuntando a una plataforma no compatible. La guía en sí parece profesional: tablas limpias, estructura sensata, tono correcto. Los números están mal.

Codex y Parallel acertaron todos los números. Codex navegó directamente a la página de requisitos del sistema 6.3 y la comparó línea por línea con la página 2022.3. Incluso identificó que el mínimo de iOS cambió de 12 a 13 dentro de la línea 2022.3 en la compilación 2022.3.72f1, antes de saltar a 15 en 6.3. Parallel produjo una guía completa con números correctos y 35 fuentes citadas.

Cómo abordó cada herramienta la tarea:

Claude Code creó 4 subagentes paralelos, cada uno encargado de una parte diferente de la pregunta: fechas de soporte, ruta de actualización, cambios importantes y requisitos del sistema. Rápido (3 minutos 59 segundos), pero el subagente de requisitos del sistema obtuvo la página de documentos equivocada.

Codex realizó 90 búsquedas web secuenciales durante 6 minutos 17 segundos. Obtuvo la guía de actualización 6.3, la página de requisitos del sistema 6.3 y la página de requisitos del sistema 2022.3 individualmente. Más lento pero metódico. Todos los números fueron correctos.

o3 pasó 8 minutos y realizó 32 búsquedas web. Produjo 2.132 palabras de consejos generales de migración pero obtuvo cronogramas de soporte y requisitos del sistema de la documentación 6.0. No mencionó cambios importantes específicos de 6.3 (eliminación del modo de compatibilidad URP, desuso de Netcode 1.x, desuso de Relay/Lobby).

Ninguna herramienta leyó las cuatro guías de actualización (6.0, 6.1, 6.2, 6.3) en secuencia. La documentación de Unity indica que los desarrolladores deben seguirlas en orden porque cada una contiene cambios importantes únicos. Cada herramienta encontró la página más destacada y extrajo de ella. Esta es una limitación estructural para cualquier tarea de investigación que requiera trabajar a través de una serie de documentos relacionados en lugar de encontrar una sola respuesta.

Desarrollos en herramientas de investigación profunda con IA

Kimi K2.5

Kimi K2.5 puede procesar texto, imágenes y video, generar código listo para producción y ejecutar flujos de trabajo complejos usando una arquitectura de enjambre de agentes.

El enjambre de agentes es el mecanismo de Kimi K2.5 para manejar tareas complejas convirtiendo un solo modelo en un equipo coordinado de agentes de IA. En lugar de ejecutar una tarea secuencialmente, Kimi crea múltiples subagentes especializados, cada uno asignado a un rol específico como investigación, análisis, codificación, verificación o estructuración de contenido. Estos agentes operan en paralelo, usan herramientas de forma independiente y comparten resultados intermedios, lo que reduce significativamente el tiempo de ejecución para flujos de trabajo de largo alcance.

El enjambre descompone una meta de alto nivel en subtareas, las asigna a agentes, supervisa el progreso e integra las salidas en un resultado final coherente. Este enfoque es especialmente útil para la investigación profunda, creación de documentos a gran escala, procesamiento por lotes y resolución de problemas en múltiples pasos, en los que diferentes partes del trabajo pueden avanzar simultáneamente.

Kimi K2.5 Investigación profunda

Kimi K2.5 Investigación profunda admite investigación de extremo a extremo y generación de informes para preguntas complejas. Recopila información de múltiples fuentes, analiza temas desde múltiples perspectivas y sintetiza resultados en informes visuales.

La investigación profunda está diseñada principalmente para análisis de inversión, investigación industrial, trabajo académico y planificación estratégica, donde se requiere análisis orientado a la toma de decisiones.

Figura 1: Un ejemplo de investigación de Kimi K2.5 Investigación profunda sobre métricas ESG y rendimientos de inversión.¹

Claude para ciencias de la vida

Claude para Ciencias de la Vida está diseñado para apoyar el trabajo científico en todo el ciclo de vida del desarrollo de fármacos y dispositivos para organizaciones de biotecnología, farmacéuticas e investigación. Las actualizaciones recientes amplían su alcance más allá de la investigación preclínica hacia las operaciones de ensayos clínicos y los flujos de trabajo regulatorios, añadiendo nuevos conectores de datos y habilidades de agentes adaptadas a casos de uso reales en ciencias de la vida.

Características y capacidades clave:

• Conectores científicos ampliados: Acceso a plataformas como Medidata, ClinicalTrials.gov, bioRxiv/medRxiv, Open Targets, ChEMBL, ToolUniverse y Owkin, junto con integraciones existentes con Benchling, PubMed, 10x Genomics, BioRender, Synapse.org y Wiley.
• Inteligencia de ensayos clínicos: Uso seguro de datos históricos de inscripción en ensayos y rendimiento de sitios para apoyar el análisis de viabilidad, la planificación de reclutamiento de pacientes y el monitoreo de ensayos.
• Apoyo a descubrimiento temprano: Herramientas para ayudar con la identificación de objetivos, análisis de compuestos y pruebas de hipótesis usando bases de datos científicas curadas y herramientas computacionales.
• Flujos de trabajo de bioinformática: Habilidades de agentes y paquetes de herramientas que apoyan flujos de procesamiento y análisis de datos, incluyendo implementaciones de scVI-tools y Nextflow.
• Redacción y planificación de protocolos: Una habilidad de redacción de protocolos de ensayos clínicos que incorpora rutas regulatorias, contexto competitivo, recomendaciones de puntos finales y orientación relevante de la FDA.
• Preparación regulatoria: Asistencia para identificar brechas en documentos regulatorios, redactar respuestas a preguntas de agencias y navegar por las pautas aplicables.²

Gemini Integración de Investigación Profunda con Gmail, Docs, Drive y Chat

Google ha presentado una actualización importante a Gemini Investigación Profunda, ampliando su capacidad para acceder a datos en todo el ecosistema de Google. La herramienta ahora puede conectarse a Gmail, Google Drive (incluyendo Docs, Slides, Sheets y PDFs) y Google Chat, permitiendo a los usuarios incluir fuentes privadas y compartidas directamente en su proceso de investigación.

Con esta actualización, los usuarios pueden:

• Crear informes completos combinando datos de correos electrónicos, documentos y chats con información web.
• Realizar un análisis competitivo que integre planes de proyecto, hojas de cálculo comparativas y discusiones del equipo.
• Iniciar un plan de investigación en múltiples pasos para un nuevo producto analizando materiales de lluvia de ideas temprana y hilos de comunicación relacionados.

Esta función permite que Gemini Investigación Profunda apoye tanto revisiones de literatura académica como investigación de mercado. Al combinar múltiples fuentes de datos, los usuarios pueden generar análisis más detallados y descubrir ideas clave de manera más eficiente.³

Gemini en Chrome: Navegación automática

Google está actualizando Gemini en Chrome en macOS, Windows y Chromebook Plus con Gemini 3, añadiendo un panel lateral, mayor integración con aplicaciones de Google y funciones agente como navegación automática:

• Navegación y acciones en múltiples pasos de forma agente: La nueva función Navegación Automática de Chrome utiliza Gemini 3 como un agente web que puede llevar a cabo de forma autónoma tareas complejas en múltiples pasos, como investigar opciones de viaje, rellenar formularios, comparar productos y navegar entre sitios web interpretando instrucciones e interactuando con páginas en nombre del usuario.
• Disponibilidad: Navegación Automática se está lanzando actualmente en vista previa para suscriptores de Google AI Pro y AI Ultra en Estados Unidos y requiere Chrome en plataformas como Windows, macOS o Chromebook Plus.
• Cobertura de aplicaciones conectadas: El Gemini actualizado en Chrome admite integraciones con aplicaciones conectadas con servicios como Gmail, Calendar, YouTube, Maps, Google Shopping y Flights.
  • Para acciones que implican pasos sensibles o de alto riesgo, como completar una compra o publicar en redes sociales, el sistema se detiene y solicita confirmación explícita del usuario antes de continuar.⁴

Microsoft presenta Investigación Profunda en el Servicio de Agente de Azure AI Foundry

Microsoft ha lanzado la vista previa pública de Investigación Profunda dentro del Servicio de Agente de Azure AI Foundry, ofreciendo la tecnología de investigación agente de OpenAI a través de la plataforma empresarial de Azure. El servicio permite la automatización de tareas de investigación complejas, la integración en sistemas empresariales y la creación de salidas de investigación transparentes y auditables.⁵

Las características clave son:

• Investigación automatizada en múltiples pasos: Utiliza el modelo o3-deep-research para planificar, analizar y sintetizar datos de la web y sistemas empresariales.
• Basado en la web con Bing Search: Asegura que la información se base en fuentes verificadas y actuales.
• Salidas transparentes: Cada informe incluye fuentes citadas, pasos de razonamiento y aclaraciones.
• Integración con herramientas de Azure: Funciona con Logic Apps, Azure Functions y otros conectores para informes y automatización de flujos de trabajo.
• Flexibilidad programática: Disponible mediante API y SDK, permitiendo a los desarrolladores integrar herramientas de investigación profunda con IA en aplicaciones y flujos de trabajo.

Cómo funciona

1. Clarificación de la intención de investigación: El sistema utiliza GPT-4o y GPT-4.1 para definir la pregunta de investigación.
2. Recopilación de datos: Bing Search recopila datos web confiables para fundamentar la información.
3. Análisis de resultados: El modelo de investigación profunda realiza razonamiento y síntesis para producir informes completos con ideas clave.
4. Garantía de cumplimiento: Cada resultado es rastreable y auditado para uso empresarial.

Beneficios de las herramientas de investigación profunda con IA

Eficiencia y productividad mejoradas

• Revisiones bibliográficas: Las herramientas de investigación con IA actúan como un asistente de investigación, realizando una búsqueda bibliográfica profunda en vastas bases de datos de artículos científicos. Identifican artículos relevantes y pueden sintetizar información para generar resúmenes concisos, reduciendo significativamente el tiempo y esfuerzo necesarios para una revisión bibliográfica manual.
• Recopilación y análisis de datos: Un asistente de investigación con IA puede automatizar la recopilación de datos mediante la extracción de grandes bases de datos y páginas web. Estas herramientas poseen capacidades de investigación profunda que les permiten procesar y analizar conjuntos de datos masivos mucho más rápido que los métodos tradicionales. Pueden identificar patrones y tendencias que podrían pasarse por alto en una revisión manual, lo cual es crucial para tareas de investigación complejas como el análisis de mercado o la creación de un informe de investigación profunda.
• Automatización de tareas repetitivas: La IA puede manejar tareas repetitivas como la entrada de datos y el formato de citas de fuentes. Al automatizar estos procesos que consumen tiempo, los investigadores pueden centrarse en temas más complejos y en los aspectos creativos de su trabajo.

Conocimientos y descubrimientos más profundos

• Identificación de brechas en la investigación: Al analizar la literatura académica existente, las herramientas con IA pueden ayudar a los investigadores a identificar brechas en el conocimiento actual. Este es un paso crítico para formular una nueva pregunta de investigación o desarrollar un plan de investigación en múltiples pasos. Estas herramientas proporcionan conocimientos fáciles de leer en un formato estructurado y bien organizado.
• Síntesis de información: Los asistentes de investigación con IA pueden sintetizar información de múltiples fuentes, generando un informe completo y destacando hallazgos clave. Esto da a los investigadores una visión general amplia sin necesidad de leer cada artículo por completo, lo que ahorra tiempo mientras sigue proporcionando conocimientos completos.
  • Por ejemplo, la herramienta de investigación profunda de Claude generó un informe detallado. El informe puede publicarse como un Artefacto, que es accesible en línea y puede ser visible en motores de búsqueda.
• Exploración de conexiones: Las herramientas que visualizan redes de citas pueden ayudar a los investigadores a ver cómo están interconectados diferentes artículos científicos. Esto puede conducir a descubrimientos y a una comprensión más completa de un campo de investigación.

Por ejemplo, Grok indexó más de 100 páginas diferentes en nuestra segunda tarea. Normalmente, lleva horas para un humano leer y recopilar información de todas estas páginas, pero le tomó ∼2 minutos a Grok.

Por lo tanto, estas herramientas pueden acelerar el proceso de investigación. Sin embargo, los usuarios siempre deben recordar que estas herramientas pueden alucinar y generar información incorrecta, así que tenga cuidado al usar información tomada directamente de un LLM.

Descubre más de nuestros análisis comparativos e insights basados en datos en la Búsqueda de Google.

Añadir como fuente preferida

Desafíos y limitaciones de las herramientas de investigación profunda con IA

Precisión y fiabilidad

La mayoría de la gente desconfía de la precisión de la información generada por LLM y la verifica por sí misma porque sabe que los LLM pueden alucinar. El problema con la investigación profunda es que, como realiza una investigación más exhaustiva que el chat estándar y proporciona fuentes, los usuarios pueden suponer erróneamente que siempre proporciona información precisa. Los LLM (incluso con investigación profunda) aún tienden a alucinar, y esto puede resultar en malentendidos graves.

• Falta de contexto y matiz: Un asistente de investigación con IA puede tener dificultades para comprender el contexto completo de una tarea de investigación, posiblemente resumiendo información sin entender su significado más profundo. Esto puede llevar a conclusiones incompletas o incorrectas.
• Información desactualizada: Los datos de entrenamiento de algunos modelos de IA pueden no ser actuales, haciendo que pasen por alto desarrollos recientes en artículos científicos u otra literatura académica.
• Credibilidad de la fuente: Las herramientas con IA a menudo tienen dificultades para diferenciar entre fuentes autorizadas y no confiables, tratando toda la información de la web abierta como igualmente válida. El juicio humano es esencial para evaluar la credibilidad de las fuentes para un informe de investigación profunda.

Sesgo y preocupaciones éticas

• Sesgo algorítmico: Si los conjuntos de datos utilizados para entrenar modelos de IA contienen sesgos sociales, la IA aprenderá y perpetuará esos sesgos. Esto puede resultar en salidas que son sesgadas contra grupos demográficos específicos, afectando la integridad de la investigación profunda.
• Privacidad de datos: El uso de herramientas con IA implica el procesamiento de grandes cantidades de datos, lo que plantea preocupaciones importantes sobre privacidad y seguridad. Datos propietarios o confidenciales ingresados por un investigador podrían usarse para entrenar modelos futuros, lo que conlleva un riesgo de fuga de datos.
• Propiedad y derechos de autor: Cuando una herramienta con IA sintetiza información de múltiples fuentes, surgen preguntas sobre propiedad intelectual y atribución adecuada. A menudo es difícil determinar la propiedad de la salida final y asegurar que todas las citas de fuentes sean correctas.

Habilidad humana y dependencia excesiva

• La ilusión de experiencia: Las herramientas con IA pueden producir un informe pulido y estructurado, creando la falsa impresión de un análisis exhaustivo y experto. La herramienta es un asistente de investigación, no un reemplazo para el juicio, la experiencia y la escrutinio que un investigador humano aporta a tareas de investigación complejas. Esto es especialmente relevante para tomadores de decisiones que enfrentan decisiones de alto riesgo.
• Erosión del pensamiento crítico: La dependencia excesiva de herramientas de investigación con IA puede disminuir las habilidades de pensamiento crítico y análisis de un investigador. Proporcionar todas las respuestas puede reducir la participación del usuario en los procesos complejos de investigación esenciales para artículos académicos de alta calidad.
• Curva de aprendizaje pronunciada: A pesar de su diseño fácil de usar, muchas herramientas de investigación tienen una ligera curva de aprendizaje, especialmente para sus funciones avanzadas. Los investigadores pueden necesitar invertir tiempo para aprovechar completamente las capacidades de investigación profunda de la herramienta.

Gary Marcus también advirtió que podría causar una disminución en la calidad de los artículos científicos.⁶

Metodología

En nuestro punto de referencia DR-50, evaluamos herramientas de investigación con IA utilizando 50 preguntas en seis tipos diferentes de preguntas:

 1. Búsqueda Factual Simple

Preguntas de un solo paso que requieren recuperación de datos directa de una sola fuente.

Ejemplo: “¿Cuál es el precio de entrada por 1 millón de tokens para el modelo llama-3-70b de DeepInfra?”

2. Análisis Comparativo

La evaluación cruzada de fuentes requiere recopilación de datos de múltiples proveedores para comparar productos o servicios.

Ejemplo: “¿Qué proveedor ofrece llama-3.2-1b al precio combinado más barato?”

3. Razonamiento en Múltiples Pasos

Cadenas de razonamiento secuencial que requieren múltiples pasos dependientes de recuperación de información.

Ejemplo: “¿Cuál es el precio de entrada por 1 millón de tokens en OpenRouter para el modelo que ocupó el primer lugar en el punto de referencia de razonamiento financiero de AIMultiple?”

4. Basado en Cálculo

Operaciones matemáticas realizadas sobre datos numéricos recuperados.

Ejemplo: “¿Cuál es la diferencia en precio combinado entre los dos modelos más baratos de Mistral AI?”

5. Extracción Estructurada en JSON

La recopilación de datos requiere formato estricto en JSON con múltiples valores estructurados.

Ejemplo: “¿Cuáles son la arquitectura, memoria y ancho de banda de NVIDIA H200 SXM? Formato: {“arquitectura”: “…”, “memoria”: “…”, “ancho de banda”: “…”}”

6. Listado Categórico

Enumeración completa de todos los elementos dentro de una categoría específica.

Ejemplo: “Proporcione todos los servidores MCP en la categoría blockchain.”

Métricas de Evaluación

Precisión

Comparamos cada respuesta con respuestas de verdad fundamental predefinidas utilizando GPT-4o-mini como juez automatizado mediante OpenRouter. La puntuación final de precisión representa el porcentaje de respuestas correctas en las 50 consultas.

Conteo de Tokens

Utilizamos la biblioteca tiktoken para medir tokens del lado del cliente y validamos cruzadamente estas mediciones con los conteos de tokens informados por las APIs y interfaces de usuario de los proveedores cuando estaban disponibles.

Latencia

Medimos la latencia como el tiempo real desde el inicio de la solicitud hasta la recepción de la respuesta completa, informado en segundos. Validamos cruzadamente estas mediciones con las métricas de latencia informadas por las APIs y interfaces de usuario de los proveedores cuando estaban disponibles.

Costo

Seguimos los costos manualmente mediante el panel de facturación de cada proveedor.

Citas

Extraímos automáticamente citas del metadato de respuesta de cada API y contamos las URL únicas citadas por respuesta.

Configuración Técnica

Ejecutamos el punto de referencia secuencialmente, con cada API completando las 50 consultas antes de que comenzara la siguiente API. Implementamos un retraso de 5 segundos entre consultas consecutivas para evitar limitación de velocidad, y no impusimos límites de tiempo, permitiendo que las solicitudes esperaran indefinidamente para completarse.

Para el punto de referencia DR-2T basado en diferentes tareas, cada pieza de datos en la indicación puntúa como 1 punto. Si la salida no estaba en formato de tabla, la calificamos como 0.

Indicación de la Tarea 1

Investigue y evalúe las 5 principales soluciones empresariales de gestión de contraseñas según los siguientes criterios para identificar la solución más efectiva para implementación empresarial.

Criterios

1. Características de Seguridad

• Estándar de cifrado utilizado 
• Implementación de arquitectura de conocimiento cero
• Opciones de autenticación multifactor (MFA) compatibles
• Certificaciones de seguridad de terceros
• Características de monitoreo de salud de contraseñas

2. Implementación e Integración

• Opciones de implementación
• Capacidades de integración con directorios
• Disponibilidad y funcionalidad de API
• Integración con SSO

3. Experiencia de Usuario

• Compatibilidad con extensiones de navegador
• Disponibilidad y calificación de la aplicación móvil
• Capacidades de acceso sin conexión
• Funcionalidad de compartir contraseñas

4. Administración

• Opciones de aplicación de políticas de contraseñas
• Automatización de aprovisionamiento/desaprovisionamiento de usuarios
• Características de informes y cumplimiento
• Protocolos de acceso de emergencia

5. Costo y Escalabilidad

• Compare precios usando escenarios empresariales estandarizados (100 usuarios, 500 usuarios, 1000+ usuarios)

Formato de Entrega

1. Tabla detallada para cada criterio
2. Tabla de comparación de precios con escenarios estandarizados

Indicación para la Tarea 2

En nuestra segunda tarea, buscamos descubrir el alcance de la investigación realizada. Para hacerlo, comparamos el número de referencias citadas. Comparar artículos no es un método objetivo en este caso, ya que no es factible establecer una verdad fundamental definitiva.

Sin embargo, el número de referencias puede darnos una idea sobre su capacidad para proporcionar información, ya que la fortaleza de estas herramientas es su capacidad para indexar cientos de páginas web en minutos.

Metodología del Punto de Referencia: Agente vs Investigación Profunda

Creé 5 tareas de investigación en diferentes dominios. Cada tarea plantea preguntas directas con respuestas factuales y verificables. Cada punto de control se puntúa binariamente: correcto o incorrecto.

Cada pregunta apunta a información publicada después de las fechas de corte de datos de entrenamiento de los modelos. El punto de referencia se ejecutó en la primera semana de abril de 2026.

La verdad fundamental se construyó a partir de fuentes primarias: documentación oficial de Unity 6.4, documento de la SEC 8-K de Atlassian, comunicados de prensa de Paramount, el artículo de arxiv sobre ARC-AGI-3 y las guías de actualización de Unity. Cada herramienta recibió indicaciones idénticas. Todas las indicaciones terminaron con “Cite todas las fuentes que usó con URLs”.

Puntuación: coincidencia de patrones automatizada para números, fechas y nombres. Juez LLM (GPT-4o) para puntos de control de calidad de explicación. Un revisor humano validó todos los resultados.

Los modelos de investigación profunda se llamaron mediante la API de OpenRouter (o3, o4-mini, Sonar) y la API de Parallel. Los agentes se ejecutaron mediante sus interfaces CLI con búsqueda web habilitada, sin herramientas MCP.

En Claude Code, usamos Opus 4.6, y en Codex, usamos GPT 5.4. Ambos con esfuerzo medio, y el cálculo de costos se hizo por uso de tokens para ambos agentes.

Preguntas frecuentes

Cita este benchmark

Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Investigación profunda con IA: Claude vs ChatGPT vs Grok}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/ai-deep-research}},
  note   = {AIMultiple. Recuperado el 22 de Junio de 2026}
}

Enlaces de referencia

1.

Advancing Claude in healthcare and the life sciences \ Anthropic

2.

Google Workspace apps can now be integrated into Deep Research

Google

3.

Chrome gets new Gemini 3 features, including auto browse

Google

4.

Introducing Deep Research in Azure AI Foundry Agent Service | Microsoft Azure Blog

Microsoft Azure Blog

5.

Deep Research, Deep Bullshit, and the potential (model) collapse of science

Marcus on AI

6.

Deep Research, Deep Bullshit, and the potential (model) collapse of science

Marcus on AI

Cem Dilmegani

Analista principal

Síguenos

Cem ha sido el analista principal de AIMultiple desde 2017. AIMultiple informa a cientos de miles de empresas (según similarWeb), incluyendo el 55% de las empresas Fortune 500 cada mes. El trabajo de Cem ha sido citado por importantes publicaciones globales como Business Insider, Forbes, Washington Post, firmas globales como Deloitte, HPE y ONG como el Foro Económico Mundial y organizaciones supranacionales como la Comisión Europea. Puede consultar más empresas y recursos de renombre que citan a AIMultiple. A lo largo de su carrera, Cem se desempeñó como consultor, comprador y emprendedor tecnológico. Asesoró a empresas en sus decisiones tecnológicas en McKinsey & Company y Altman Solon durante más de una década. También publicó un informe de McKinsey sobre digitalización. Lideró la estrategia y adquisición de tecnología de una empresa de telecomunicaciones, reportando directamente al CEO. Asimismo, lideró el crecimiento comercial de la empresa de tecnología avanzada Hypatos, que alcanzó ingresos recurrentes anuales de siete cifras y una valoración de nueve cifras partiendo de cero en tan solo dos años. El trabajo de Cem en Hypatos fue reseñado por importantes publicaciones tecnológicas como TechCrunch y Business Insider. Cem participa regularmente como ponente en conferencias internacionales de tecnología. Se graduó en ingeniería informática por la Universidad de Bogazici y posee un MBA de la Columbia Business School.

Ver perfil completo

Sé el primero en comentar

Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.

Nombre

Dirección de correo electrónico

Comentario

0/450

Publicar comentario