Modelos de Lenguaje Visual Comparados con el Reconocimiento de Imágenes

¿Pueden los Modelos de Lenguaje Visual (VLM) avanzados reemplazar los modelos tradicionales de reconocimiento de imágenes? Para averiguarlo, evaluamos 16 modelos líderes en tres paradigmas: CNN tradicionales (ResNet, EfficientNet), VLM (como GPT-4.1, Gemini 2.5) y APIs en la nube (AWS, Google, Azure).

La Precisión Media Promedio (mAP) sirvió como nuestra métrica principal de precisión, complementada por latencia, costo y análisis de rendimiento específico por clase.

Puede ver la metodología de la evaluación aquí.

Evaluación de precisión vs latencia

En nuestra evaluación, analizamos los modelos según cuatro dimensiones: latencia, precisión media promedio (mAP), precio y tasa de éxito. La latencia mide el tiempo que tarda un modelo en procesar una sola imagen, mientras que el mAP refleja la precisión general de la clasificación. La tasa de éxito rastrea si un modelo devolvió una salida JSON válida, particularmente relevante para los modelos de lenguaje visual, que interpretan imágenes en lenguaje natural en lugar de datos estructurados.

Los modelos tradicionales de reconocimiento de imágenes, como EfficientNet, ResNet18, ResNet50, ResNet101 y DenseNet121, muestran consistentemente tanto baja latencia (0.03–0.2 segundos) como precisión competitiva (mAP 0.75–0.81). Entre ellos, DenseNet121 y ResNet18 logran las puntuaciones mAP más altas (0.81 y 0.80 respectivamente), mientras que EfficientNet sigue de cerca (0.78). ResNet50 y ResNet101 muestran un rendimiento moderado dentro de este grupo (0.75 y 0.77), pero todos los modelos tradicionales superan significativamente a las herramientas de reconocimiento de imágenes basadas en la nube como AWS Rekognition, Google Cloud Vision y Azure Vision, que logran una precisión moderada (mAP 0.61–0.64) con latencias entre 2–3.5 segundos. Esto demuestra que los modelos tradicionales dominan tanto en velocidad como en precisión.

Para los modelos de lenguaje visual, incluidos OpenAI GPT-4.1, Claude Opus 4.1, X-AI Grok 2 Vision, Meta-Llama/LLama-3.2-11B Vision Instruct y Google Gemini 2.5 Flash, las latencias son significativamente más altas, oscilando entre 1 y 12 segundos, con valores de mAP entre 0.60 y 0.75. Google Gemini 2.5 Flash logra un 0.75 mAP, convirtiéndolo en el VLM más preciso en nuestra prueba. Entre otros VLM, GPT-4.1 se desempeña bien con un mAP de 0.73, seguido por Claude Opus 4.1 (0.71) y X-AI Grok 2 Vision (0.70). GPT-4o-mini muestra un rendimiento moderado (0.66 mAP), mientras que Meta-Llama Vision Instruct se queda muy atrás (0.60 mAP).

La mayoría de los modelos de lenguaje visual devuelven confiablemente salidas JSON con casi un 100% de éxito, excepto Meta-Llama Vision Instruct, que tuvo éxito solo el 36% de las veces, y Gemini 2.5 Pro, que falló consistentemente (0% de éxito), limitando severamente su aplicabilidad práctica en pipelines automatizados.

Aunque los modelos de lenguaje visual generalmente se quedan atrás de los modelos tradicionales de reconocimiento de imágenes en velocidad bruta, los VLM de mejor rendimiento, como Google Gemini 2.5 Flash (0.75 mAP) y GPT-4.1 (0.73 mAP), logran una precisión de clasificación que se acerca al rendimiento de las CNN tradicionales y supera significativamente a las APIs en la nube como AWS Rekognition y Azure Vision. En términos de latencia, la mayoría de los modelos de lenguaje visual se agrupan alrededor de 3-4 segundos, excepto Meta-Llama, que es notablemente más lento a 12 segundos, destacando el impacto de la arquitectura del modelo y la optimización.

En general, los modelos tradicionales de reconocimiento de imágenes aún sobresalen tanto en velocidad como en precisión. Sin embargo, los VLM muestran promesa para el razonamiento multimodal y las salidas estructuradas, con una latencia consistentemente más alta, pero los mejores modelos logran una precisión que se acerca a las CNN tradicionales y supera a los servicios de reconocimiento de imágenes basados en la nube.

Rendimiento específico por clase: donde los modelos sobresalen y luchan

Nuestra evaluación utilizó siete clases superpuestas que prueban diferentes aspectos de la detección de objetos:

• face: Representa solo la región de la cara. El modelo necesita detectar la cara de una persona, lo cual puede ser un desafío debido a su pequeño tamaño y detalles finos.
• head: Cubre toda la cabeza excluyendo la cara. Se centra en detectar la forma y estructura de la cabeza.
• head_with_helmet: Representa la cabeza usando un casco. El modelo debe detectar tanto la cabeza como el casco juntos, probando su capacidad para reconocer su relación.
• helmet: Representa solo el casco, independientemente de la presencia de una persona o cabeza. Importante para la detección de equipo.
• person: Detecta la presencia de una persona, con o sin casco. Sirve como una clase general de detección humana.
• person_no_helmet: Representa a una persona que no lleva casco. El modelo debe identificar tanto la presencia humana como la ausencia de casco.
• person_with_helmet: Representa a una persona usando un casco. Requiere distinguir tanto la presencia humana como el uso del casco, estrechamente relacionado con person_no_helmet.

Estas clases superpuestas y estrechamente relacionadas pueden ser un desafío para los modelos de lenguaje visual, ya que interpretan la información visual a través del lenguaje natural en lugar de capturar directamente las diferencias a nivel de píxel de grano fino.

Rendimiento de CNN tradicionales

1. Clase Face
   • Mejor rendimiento: EfficientNet y DenseNet121 (100%)
   • El más bajo: ResNet101 (95%)La detección de caras es altamente precisa en las CNN, superando a la mayoría de los VLM.
2. Clase Head
   • Mejor: ResNet18 y DenseNet121 (69%)
   • El más bajo: ResNet50 (50%)Rendimiento moderado; las CNN luchan más con la detección de cabezas que con las clases de caras y cascos.
3. Head y Head_with_helmet
   • Mejor rendimiento: EfficientNet y ResNet18 (Head_with_helmet 98%, Head 65–69%)
   • El más bajo: ResNet50 (Head 50%, Head_with_helmet 96%)Las CNN se desempeñan muy bien en cabezas con casco, logrando una precisión del 96–98% en todos los modelos. La detección de cabezas sin casco es más desafiante, con una precisión más baja (50–69%), lo que indica que las CNN distinguen objetos prominentes como cascos mejor que regiones menos distintas como cabezas sin casco.
4. Clase Person
   • Todos los modelos: 0% de precisión
5. Person_no_helmet
   • Mejor: DenseNet121 (72%)
   • El más bajo: ResNet50 (53%)Las CNN manejan esta clase desafiante mejor que los VLM, destacando su capacidad para capturar detalles de grano fino.
6. Person_with_helmet
   • Mejor: EfficientNet (98%)
   • El más bajo: DenseNet121 (96%)Alta precisión en todos los modelos; las personas con casco son reconocidas consistentemente.

Rendimiento de modelos de lenguaje visual

1. Clase Face (detección de caras)
   • Mejor rendimiento: Claude Opus 4.1 (83%)
   • El más débil: Meta-Llama Vision Instruct (4%) y GPT-4o-mini (12%)Los VLM generalmente se desempeñan peor en objetos pequeños y detallados como caras; Meta-Llama y GPT-4o-mini luchan con detalles finos.
2. Head y Head_with_helmet
   • Head: Claude Opus 4.1 (96%) más alto, Meta-Llama (30%) más bajo
   • Head_with_helmet: GPT-4.1 (99%) y Gemini 2.5 Flash (98%) más alto, Meta-Llama (50%) más bajoLos modelos se desempeñan bien en la detección de cabezas con o sin cascos; la mayoría alcanza una precisión del 90%+ excepto Meta-Llama.
3. Clase Helmet
   • El más alto: Grok 2 Vision (100%), GPT-4.1 (99%), Gemini 2.5 Flash (98%)
   • El más bajo: Meta-Llama (52%)Distinguir objetos con casco vs. sin casco es generalmente más fácil, pero Meta-Llama tiene un rendimiento inferior.
4. Clase Person
   • Todos los modelos alcanzan el 100%, probablemente debido a objetos grandes y claros.
5. Person_no_helmet
   • Mejor: GPT-4.1 y Gemini 2.5 Flash (58%)
   • El más bajo: Meta-Llama (18%) y GPT-4o-mini (29%)Detectar detalles finos como la ausencia de casco es un desafío; algunos modelos sobresalen en objetos prominentes pero se quedan atrás en clases matizadas.
6. Person_with_helmet
   • El más alto: GPT-4.1 (98%) y Gemini 2.5 Flash (98%)
   • El más bajo: Meta-Llama (55%)La mayoría de los modelos se desempeñan muy bien aquí.

Rendimiento de API en la nube

• Clase Face
  • Mejor: AWS Rekognition (22%)
  • El más bajo: Google Cloud Vision (0%)La detección de caras es generalmente pobre en las APIs en la nube; las distinciones de grano fino como las caras son un desafío.
• Head y Head_with_helmet
  • Head: AWS Rekognition (24%) mejor, Azure Vision el más bajo (0%)
  • Head_with_helmet: AWS Rekognition (10%) mejor, Azure Vision (1%) el más bajoLa detección de cabezas, especialmente con o sin casco, es limitada; las APIs en la nube se centran en objetos más amplios en lugar de detalles finos.
• Clase Helmet
  • Mejor: AWS Rekognition (94%)
  • El más bajo: Azure Vision (37%)La detección de cascos es moderadamente exitosa para algunas APIs (AWS), pero inconsistente entre proveedores.
• Clase Person
  • Todos los modelos: 100% Los objetos grandes y claros como personas completas son detectados confiablemente por todas las APIs en la nube.
• Person_no_helmet
  • Mejor: Azure Vision (78%)
  • El más bajo: Google Cloud Vision (26%)El rendimiento varía ampliamente; algunas APIs pueden manejar clases desafiantes moderadamente bien.
• Person_with_helmet
  • Mejor: AWS Rekognition (94%)
  • El más bajo: Azure Vision (37%) Las personas con casco son detectadas confiablemente por AWS pero inconsistentemente por otros proveedores.

Para caras, las CNN logran la mayor precisión, seguidas por los VLM, mientras que las APIs en la nube se desempeñan mal. En las clases head y head_with_helmet, las CNN siguen siendo fuertes, los VLM se desempeñan bien en cabezas con casco pero menos consistentemente en cabezas sin casco, y las APIs en la nube luchan con ambas. Para cascos, las CNN y los VLM generalmente se desempeñan muy bien, mientras que las APIs en la nube muestran un éxito variable. En la clase person, todos los paradigmas detectan personas completas confiablemente. Para person_no_helmet, las CNN superan tanto a los VLM como a las APIs en la nube, demostrando un manejo superior de detalles de grano fino. Finalmente, para person_with_helmet, las CNN y los VLM mantienen una alta precisión, mientras que las APIs en la nube muestran un rendimiento inconsistente dependiendo del proveedor.

Precisión, recall y puntuación F1

La Precisión mide cuántas de las predicciones positivas de un modelo son realmente correctas. En otras palabras, responde a la pregunta: "De las predicciones que el modelo etiquetó como positivas, ¿cuántas son realmente correctas?"

El Recall mide cuántas de las instancias positivas reales el modelo identifica con éxito. Responde a la pregunta: "De todos los casos verdaderamente positivos, ¿cuántos detectó el modelo?"

La Puntuación F1 es un resumen equilibrado de precisión y recall. Proporciona una sola métrica que refleja tanto la precisión como la cobertura, particularmente útil cuando se desea equilibrar la precisión y el recall.

Los modelos basados en CNN (ResNet50, ResNet101, DenseNet121) muestran un alto rendimiento tanto en precisión (0.93–0.95) como en recall (0.91–0.94), resultando en altas puntuaciones F1 (0.92–0.93). Esto indica que son altamente precisos en sus predicciones y capaces de capturar la mayoría de las instancias verdaderamente positivas. EfficientNet también muestra una alta puntuación F1 (0.92), ofreciendo un rendimiento consistente y confiable.

Las APIs en la nube (AWS Rekognition, Google Cloud Vision, Azure Vision) tienen una precisión y recall más bajas, con puntuaciones F1 que oscilan entre 0.32 y 0.58. Esto sugiere que, aunque los servicios en la nube están optimizados para tareas de propósito general, su precisión en distinciones de clases de grano fino es limitada.

Los modelos de lenguaje visual muestran un rendimiento más variable. GPT-4.1, X-AI Grok 2 Vision y Claude Opus 4.1 logran exactamente puntuaciones F1 de 0.76, mientras que Google Gemini 2.5 Flash se desempeña ligeramente mejor con una puntuación F1 de 0.80. Aunque estos modelos demuestran un rendimiento sólido en algunas clases, generalmente se quedan atrás de las CNN en precisión general. Meta-Llama Vision Instruct tiene una puntuación F1 de 0.47, con baja precisión y recall, lo que significa que el modelo lucha tanto para hacer predicciones correctas como para capturar verdaderos positivos.

Posibles razones detrás de las diferencias de rendimiento

Ventaja de la arquitectura CNN

Las CNN tradicionales están especializadas en la extracción de características a nivel de píxel, permitiendo una detección rápida y precisa de objetos de grano fino. Sus capas convolucionales optimizadas y mapas de características jerárquicos permiten baja latencia y alto mAP en tareas estándar de reconocimiento de imágenes.

Sobrecarga multimodal en VLM

Los Modelos de Lenguaje Visual procesan tanto imágenes como texto, agregando pasos de alineación de atención cruzada y embeddings. Esto permite razonamiento y salidas contextuales, pero aumenta el tiempo de inferencia, lo que lleva a una mayor latencia en comparación con las CNN.

Detección de clases de grano fino

Las clases superpuestas o sutiles (por ejemplo, person_no_helmet vs person_with_helmet) destacan las diferencias entre modelos. Las CNN capturan consistentemente estos detalles, los VLM se desempeñan bien en objetos prominentes pero luchan con distinciones sutiles, y las APIs en la nube se centran en clases amplias, limitando la precisión.

Fiabilidad de la salida estructurada

La generación inconsistente de JSON afecta el rendimiento de los VLM. Los modelos con bajas tasas de éxito parecen menos efectivos en pipelines, mientras que las CNN y las APIs en la nube producen salidas predecibles y deterministas.

Entonces, ¿cuál deberías elegir?

Las CNN tradicionales son ideales para aplicaciones críticas en velocidad donde los tiempos de respuesta en milisegundos importan, como el procesamiento de video en tiempo real, vehículos autónomos o sistemas de seguridad industrial. Con su superior precisión (mAP 0.75–0.81) e inferencia ultrarrápida (0.03–0.2s), estos modelos de IA tradicionales sobresalen cuando necesita un rendimiento confiable y consistente sin la sobrecarga del procesamiento de lenguaje natural o la complejidad del modelo. Las CNN se centran en tareas de datos y clasificación de imágenes visuales como la detección de objetos, ofreciendo tanto precisión visual como eficiencia sin necesidad de ajuste fino en modelos multimodales.

Los Modelos de Lenguaje Visual (VLM) brillan cuando necesita comprensión contextual y salidas flexibles. Estos modelos de lenguaje visual funcionan tanto en modalidades visuales como textuales, permitiendo que los modelos de lenguaje grandes procesen la entrada de imágenes junto con descripciones de texto. Perfectos para aplicaciones que requieren explicaciones en lenguaje natural, descripción de imágenes, tareas de razonamiento visual o incluso respuesta a preguntas visuales, aprovechan codificadores visuales y capas de atención cruzada para alinear pares de texto e imagen en el mismo espacio dimensional. Aunque acepta una mayor latencia (3–12s), las capacidades de razonamiento que aportan a la comprensión de imágenes, elementos visuales e instrucciones visuales los hacen ideales para tareas posteriores más específicas como moderación de contenido inteligente, generación de imágenes, razonamiento matemático visual o asistentes visuales interactivos. Al usar ajuste fino eficiente en parámetros con datos de entrenamiento de alta calidad, los modelos de lenguaje visual (VLM) se convierten en potentes modelos de aprendizaje automático que unifican la información visual y textual bajo un espacio de embedding compartido.

Las APIs en la nube proporcionan respuestas detalladas y completas con metadatos ricos y puntuaciones de confianza, lo que las hace ideales cuando necesita información extensa más allá de una simple clasificación. Estas APIs a menudo dependen de componentes de codificador visual preentrenados y codificadores visuales entrenados en grandes conjuntos de datos públicos de modelos de leyendas conceptuales y fotos relevantes. Ideales para aplicaciones que requieren salidas JSON estructuradas, cuadros delimitadores, localización de objetos o comprensión de video largo, son soluciones listas para usar sin necesidad de un entrenamiento robusto del modelo o gestión de infraestructura. Aunque su precisión es moderada (mAP 0.61–0.66), reducen los detalles técnicos y los costos de infraestructura, permitiendo tareas como la generación automatizada de informes, la extracción de significado semántico y la integración de frameworks unificados con modelos generativos existentes.

Calculadora de precios

Descubre más de nuestros análisis comparativos e insights basados en datos en la Búsqueda de Google.

Añadir como fuente preferida

Modelos de lenguaje visual (VLM) – Características clave y ventajas

Razonamiento multimodal

Los Modelos de Lenguaje Visual (VLM) son potentes modelos multimodales que pueden procesar simultáneamente modalidades visuales y textuales, permitiéndoles interpretar información visual y textual de una manera más rica y consciente del contexto. Al alinear la entrada de imágenes con prompts en lenguaje natural, permiten tareas avanzadas como descripción automática de imágenes, detección de cascos en grabaciones de seguridad, tareas de razonamiento visual, respuesta a preguntas visuales e incluso explicar contenido visual en lenguaje natural. A diferencia de los modelos de IA tradicionales que se centran solo en datos visuales, los VLM combinan capacidades visuales con razonamiento de modelos de lenguaje grandes, haciéndolos ideales para tareas posteriores complejas.

Salida estructurada y generación de JSON

Muchos modelos de lenguaje visual pueden generar salidas estructuradas como JSON, lo cual es valioso para pipelines automatizados y aplicaciones que requieren descripciones de texto junto con características de imagen. En nuestra evaluación, ChatGPT-5 y Gemini 2.5 Pro fallaron consistentemente, mientras que Meta-Llama Vision Instruct tuvo éxito solo alrededor del 36% de las veces. Las salidas estructuradas son particularmente útiles para asistentes visuales, permitiendo tareas como detección de objetos, localización de objetos y producción de datos confiables para modelos de aprendizaje automático sin un ajuste fino extenso.

Capacidades de ajuste fino

Los VLM soportan ajuste fino eficiente en parámetros con datos de entrenamiento relativamente pequeños, permitiendo una adaptación rápida a tareas de razonamiento visual específicas del dominio. Por ejemplo, pueden ajustarse finamente para distinguir entre individuos con o sin casco o equipo de seguridad especializado en escenarios de entrada de imágenes. Al aprovechar arquitecturas de codificador visual preentrenadas y técnicas robustas de entrenamiento de modelos, pueden generalizar mejor con menos leyendas conceptuales o pares de texto e imagen.

Limitaciones de los modelos de lenguaje visual

Latencia y velocidad

En comparación con las CNN tradicionales o modelos visuales más simples, los modelos de lenguaje visual suelen tener una mayor latencia, lo que puede limitar aplicaciones en tiempo real como la comprensión de video largo. Algunos modelos multimodales, como X-AI Grok 2 Vision y Google Gemini 2.5 Flash, están más cerca de las APIs en la nube en velocidad, pero Meta-Llama es notablemente más lento. La compensación proviene de su diseño de extremo a extremo del modelo y capas de atención cruzada, que mejoran las capacidades de razonamiento pero aumentan el tiempo de inferencia.

Desafíos por clase

Los modelos de lenguaje visual a veces luchan con clases superpuestas y reconocimiento de objetos de grano fino, como diferenciar entre una "cabeza" y una "cabeza_con_casco" o entre "persona_sin_casco" y "persona_con_casco". Aunque algunos modelos se desempeñan bien en clases con casco, tienen un rendimiento inferior en otras tareas de razonamiento visual como la detección de caras o elementos visuales sutiles. Esto destaca la importancia de datos de entrenamiento de alta calidad y un ajuste fino cuidadoso al apuntar a tareas posteriores más específicas.

Fiabilidad de la salida estructurada

La consistencia de las salidas estructuradas como JSON varía ampliamente. Mientras que algunos VLM generan confiablemente salidas válidas, otros fallan en casos de uso particulares, limitando su utilidad en pipelines completamente automatizados. Incluso con arquitecturas de codificador visual preentrenadas y enfoques de espacio de embedding compartido, algunos modelos aún fallan en mantener el significado semántico en la salida estructurada. Esta inconsistencia subraya la necesidad de un entrenamiento robusto del modelo, fotos relevantes en el conjunto de datos y mejoras continuas en modelos generativos para modalidades de visión y lenguaje.

Metodología de la evaluación

Condujimos nuestra evaluación integral utilizando el conjunto de datos de detección de cascos de seguridad SHEL5K, utilizando específicamente las primeras 500 imágenes para asegurar una comparación consistente en todas las arquitecturas de modelos. El conjunto de datos contiene siete clases superpuestas diseñadas para probar capacidades de detección de objetos de grano fino: cara, cabeza, cabeza_con_casco, casco, persona, persona_sin_casco y persona_con_casco.

Preprocesamiento de datos

Las anotaciones originales del conjunto de datos SHEL5K se proporcionaron en formato XML. Desarrollamos un pipeline de preprocesamiento para convertir estas anotaciones en un formato CSV multietiqueta adecuado para una evaluación sistemática:

Cada imagen se mapeó a sus etiquetas de verdad fundamental correspondientes, creando un marco de evaluación estandarizado. Para las CNN tradicionales, las imágenes se preprocesaron a una resolución de 224×224 con normalización estándar. Los modelos de lenguaje visual y las APIs en la nube recibieron imágenes en su formato original para preservar la información contextual.

Protocolo de evaluación de CNN tradicionales

Las redes neuronales convolucionales tradicionales (EfficientNet, variantes ResNet, DenseNet121) sufrieron un ajuste fino supervisado utilizando las mejores prácticas establecidas:

Configuración de entrenamiento:

• Arquitectura: Modelos preentrenados con cabezas de clasificación modificadas
• Función de pérdida: BCEWithLogitsLoss para clasificación multietiqueta
• Optimizador: Adam con tasa de aprendizaje 1e-4
• Epochs de entrenamiento: 5
• División de datos: 80% entrenamiento, 20% validación
• Tamaño de lote: 16

Marco de prueba de modelos de lenguaje visual

Los VLM fueron evaluados a través de prompts cuidadosamente estructurados diseñados para elicitar respuestas consistentes y legibles por máquina. Nuestro enfoque de ingeniería de prompts solicitó puntuaciones de confianza en formato JSON para cada clase.

Configuración de API:

• Temperatura: 0.1 (baja temperatura para consistencia)
• Max tokens: 800
• Modelos probados mediante integración de OpenRouter API
• Análisis de JSON con manejo de errores y validación de formato

Rastreo de tasa de éxito: Monitoreamos el porcentaje de respuestas JSON válidas, ya que los VLM a veces generan explicaciones en lenguaje natural en lugar de salida estructurada. Esta métrica resultó crucial para evaluar la viabilidad de implementación práctica.

Integración de API en la nube y mapeo de etiquetas

Las APIs en la nube presentaron desafíos únicos debido a su naturaleza de propósito general y taxonomías diferentes. Desarrollamos estrategias de mapeo integrales para cada servicio:

Estrategia de mapeo de etiquetas:

Las APIs en la nube presentan un desafío fundamental: no fueron diseñadas para nuestra taxonomía específica de siete clases. Estos servicios devuelven etiquetas de propósito general como "persona", "casco", "trabajador de construcción" o "equipo de seguridad" en lugar de las combinaciones precisas que necesitamos evaluar (como "persona_con_casco" o "cabeza_con_casco").

Para abordar esta limitación, desarrollamos diccionarios de mapeo integrales para cada servicio en la nube basados en sus salidas. El mapeo de Azure Computer Vision incluyó 50+ variantes de etiquetas que cubren diferentes formas en que la API podría describir personas (persona, hombre, mujer, trabajador, individuo), cascos (casco, casco duro, casco de seguridad, gorra) y características faciales (cara, rostro humano, retrato). Se crearon mapeos extensos similares para AWS Rekognition y Google Cloud Vision, cada uno adaptado al vocabulario específico y patrones de etiquetado de ese servicio.

Lógica de inferencia de clases combinadas:

El aspecto más sofisticado de nuestra evaluación de API en la nube involucró inferir clases combinadas que las APIs no reconocen explícitamente. Implementamos lógica basada en reglas para detectar cuando aparecen múltiples elementos básicos juntos:

Cuando se detectan tanto "persona" como "casco" en la misma imagen con suficiente confianza, el sistema infiere "persona_con_casco" usando la puntuación de confianza mínima entre las dos detecciones (enfoque conservador). De manera similar, detectar "cabeza" y "casco" simultáneamente activa la clasificación "cabeza_con_casco".

Para clasificaciones negativas, cuando se detecta una persona pero no se encuentra un casco, el sistema infiere "persona_sin_casco" con una confianza ligeramente reducida (90% de la confianza original de la persona) para tener en cuenta la incertidumbre inherente a la inferencia negativa.

Este enfoque reconoce que las APIs en la nube sobresalen en detectar objetos individuales pero luchan con el razonamiento relacional sobre combinaciones de objetos, una limitación clave al evaluar tareas de clasificación de grano fino y dependientes del contexto.

Métricas de evaluación y análisis estadístico

Métricas principales:

• Precisión Media Promedio (mAP): Medida principal de precisión usando promediado macro en clases
• Precisión, Recall, Puntuación F1: Promediado micro para evaluación general del rendimiento
• Precisión por clase: Rendimiento de clase individual para análisis detallado
• Latencia: Tiempo de procesamiento de extremo a extremo por imagen
• Tasa de éxito: Porcentaje de salidas válidas (particularmente relevante para VLM)

Selección de umbral: Se aplicó un umbral de clasificación de 0.5 consistentemente en todos los modelos, con VLM usando puntuaciones de confianza y modelos tradicionales usando logits activados por sigmoide.

Robustez estadística: Cada modelo fue evaluado en conjuntos de imágenes idénticos con preprocesamiento consistente para asegurar una comparación justa. Las mediciones de latencia se promediaron en múltiples ejecuciones para tener en cuenta la variación del sistema.

Controles experimentales y limitaciones

Controles implementados:

• Conjunto de prueba idéntico de 500 imágenes en todos los modelos
• Métricas y umbrales de evaluación consistentes
• Manejo de errores y procedimientos de tiempo límite estandarizados
• Múltiples rotación de claves API para manejar límites de velocidad

Cita este benchmark

Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Şipi, Nazlı},
  title  = {{Modelos de Lenguaje Visual Comparados con el Reconocimiento de Imágenes}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/vision-language-models}},
  note   = {AIMultiple. Recuperado el 30 de Junio de 2026}
}

Cem Dilmegani

Analista principal

Síguenos

Cem ha sido el analista principal de AIMultiple desde 2017. AIMultiple informa a cientos de miles de empresas (según similarWeb), incluyendo el 55% de las empresas Fortune 500 cada mes. El trabajo de Cem ha sido citado por importantes publicaciones globales como Business Insider, Forbes, Washington Post, firmas globales como Deloitte, HPE y ONG como el Foro Económico Mundial y organizaciones supranacionales como la Comisión Europea. Puede consultar más empresas y recursos de renombre que citan a AIMultiple. A lo largo de su carrera, Cem se desempeñó como consultor, comprador y emprendedor tecnológico. Asesoró a empresas en sus decisiones tecnológicas en McKinsey & Company y Altman Solon durante más de una década. También publicó un informe de McKinsey sobre digitalización. Lideró la estrategia y adquisición de tecnología de una empresa de telecomunicaciones, reportando directamente al CEO. Asimismo, lideró el crecimiento comercial de la empresa de tecnología avanzada Hypatos, que alcanzó ingresos recurrentes anuales de siete cifras y una valoración de nueve cifras partiendo de cero en tan solo dos años. El trabajo de Cem en Hypatos fue reseñado por importantes publicaciones tecnológicas como TechCrunch y Business Insider. Cem participa regularmente como ponente en conferencias internacionales de tecnología. Se graduó en ingeniería informática por la Universidad de Bogazici y posee un MBA de la Columbia Business School.

Ver perfil completo

Investigado por

Nazlı Şipi

Investigador de IA

Síguenos

Nazlı es analista de datos en AIMultiple. Cuenta con experiencia previa en análisis de datos en diversos sectores, donde se dedicó a transformar conjuntos de datos complejos en información útil para la toma de decisiones.

Ver perfil completo

Sé el primero en comentar

Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.

Nombre

Dirección de correo electrónico

Comentario

0/450

Publicar comentario