Comparar Modelos de Visión Grandes: GPT-4o vs YOLOv8n

Los modelos de visión grandes (LVMs) pueden automatizar y mejorar tareas visuales como la detección de defectos, diagnóstico médico y monitoreo ambiental.

Realizamos pruebas de referencia a tres modelos de detección de objetos: YOLOv8n, DETR y GPT-4o Vision, en 1,000 imágenes cada uno, midiendo métricas como mAP@0.5, velocidad de inferencia, FLOPs y cantidad de parámetros. Para garantizar una comparación justa, todas las imágenes se redimensionaron a 800×800 píxeles y se evaluaron utilizando preprocesamiento idéntico, umbrales de confianza y criterios de coincidencia basados en IoU.

Prueba de referencia de detección de objetos: GPT-4o (Vision), YOLOv8n, DETR

mAP@0.5: Precisión media promedio en un umbral de Intersección sobre Unión (IoU) de 0.5, que mide la precisión de la detección de objetos equilibrando los verdaderos positivos y los falsos positivos.

Latencia (ms): El tiempo promedio de procesamiento por imagen, medido en milisegundos, indica la velocidad del modelo.

Resultados de la prueba de referencia

Las capacidades de detección de objetos de GPT-4o siguen siendo limitadas en comparación con modelos especializados como YOLOv8n y DETR.

Precisión:

• DETR: mAP@0.5 = 0.55
• YOLOv8n: 0.20
• GPT-4o: 0.02

Estos resultados indican que GPT-4o aún no es adecuado para tareas prácticas de detección de objetos.

Latencia:

• YOLOv8n: 365 ms
• DETR: 3145 ms
• GPT-4o: 5150 ms

YOLOv8n ofrece la inferencia más rápida pero con menor precisión, mientras que DETR logra una mejor precisión a costa de un procesamiento más lento.

Todos los modelos se evaluaron utilizando imágenes de entrada de 800×800 para garantizar la consistencia. Las cantidades de parámetros y FLOPS estaban disponibles para YOLOv8n y DETR, pero no para GPT-4o, lo que impide una comparación completa de la eficiencia computacional.

Complejidad del modelo:

• DETR: 41.52M parámetros, 59.56 GFLOPS
• YOLOv8n: 3.15M parámetros, 6.83 GFLOPS

Esto muestra la eficiencia de YOLOv8n para aplicaciones en tiempo real, mientras que DETR sacrifica velocidad por una mayor precisión y una mayor demanda computacional. La falta de detalles arquitectónicos para GPT-4o limita un análisis de eficiencia más profundo.

Consulte nuestra metodología de prueba de referencia.

Posibles razones detrás de las diferencias de rendimiento

Los tres modelos mostraron diferentes niveles de precisión y velocidad porque están construidos para diferentes propósitos y procesan la información visual de maneras distintas. GPT-4o es un LLM multimodal que acepta texto e imágenes, mientras que YOLOv8n y DETR son sistemas de detección de objetos que operan solo sobre imágenes.

GPT-4o interpreta las entradas visuales a través de un pipeline de razonamiento impulsado por el lenguaje. Puede describir escenas e identificar objetos, pero no está diseñado para dibujar cuadros delimitadores ni realizar localización espacial de alta precisión.

Sus salidas dependen del razonamiento multimodal en lugar de mecanismos específicos de detección. Esto lo hace más lento y menos preciso para tareas de detección.

YOLOv8n y DETR utilizan arquitecturas creadas explícitamente para la detección de objetos. Generan cuadros delimitadores directamente en lugar de razonar sobre ellos.

YOLOv8n está optimizado para velocidad con una estructura ligera, mientras que DETR es un detector basado en transformadores que procesa las imágenes de manera diferente a YOLO y apunta a predicciones más precisas.

Ambos modelos se centran únicamente en las entradas visuales y siguen objetivos de entrenamiento que mapean patrones de imagen a ubicaciones de objetos.

Las diferencias clave incluyen:

• Tipo de entrada
  • GPT-4o: imagen y texto
  • YOLOv8n y DETR: solo imagen
• Función principal
  • GPT-4o: comprensión y razonamiento multimodal
  • YOLOv8n y DETR: detección de objetos
• Mecanismo de salida
  • GPT-4o: no dibuja inherentemente cuadros delimitadores
  • YOLOv8n y DETR: predicen directamente cuadros delimitadores

Debido a que YOLOv8n y DETR fueron desarrollados únicamente para la detección de objetos, naturalmente funcionan mejor en pruebas de referencia centradas en la precisión y la latencia.

El diseño multimodal amplio y no centrado en la detección de GPT-4o resulta en un mAP más bajo y tiempos de inferencia más altos cuando se evalúa en el mismo entorno.

Evaluación detallada de modelos de visión grandes

OpenAI GPT-4o (Vision)

GPT-4o (Vision) es una extensión multimodal de OpenAI GPT-4, diseñada para procesar y generar respuestas a partir de texto e imágenes.

Esta capacidad permite a GPT-4o interpretar contenido visual junto con información textual, habilitando una gama de aplicaciones que requieren comprender y analizar imágenes.

• Interpretación de imágenes: GPT-4o puede analizar y describir el contenido de imágenes, incluyendo la identificación de objetos, la interpretación de escenas y la extracción de información textual de elementos visuales. Esto lo hace útil para tareas como la descripción de imágenes y el resumen de contenido.
• Análisis de datos visuales: El modelo puede interpretar gráficos, diagramas y esquemas, proporcionando ideas y explicaciones basadas en datos visuales. Esta característica es beneficiosa para aplicaciones de análisis de datos y educación.
• Comprensión de contenido multimodal: GPT-4o puede proporcionar respuestas más completas combinando entradas de texto e imagen. También puede mejorar aplicaciones en análisis de redes sociales y moderación de contenido. Por ejemplo, puede evaluar el sentimiento o detectar desinformación en publicaciones que incluyen texto e imágenes.

A pesar de sus capacidades avanzadas, GPT-4o a veces puede producir salidas inexactas o poco fiables. Puede malinterpretar elementos visuales, pasar por alto detalles o generar información incorrecta, requiriendo verificación humana para tareas críticas.

El modelo también puede reflejar los sesgos presentes en sus datos de entrenamiento, lo que lleva a interpretaciones sesgadas o al refuerzo de estereotipos. Esto es una preocupación en aplicaciones sensibles donde la imparcialidad es crucial, incluida la inferencia demográfica o la moderación de contenido.

OpenAI Sora

Sora es un modelo de texto a video creado por OpenAI. Genera clips de video cortos a partir de indicaciones de usuario y también puede extender videos existentes. Su tecnología subyacente es una adaptación del modelo DALL-E 3.

Sora es un transformador de difusión, un modelo de difusión latente de eliminación de ruido que utiliza un Transformador. Los videos se generan inicialmente en un espacio latente mediante la eliminación de ruido de "parches" 3D, y luego se convierten al espacio estándar utilizando un descompresor de video.

La re-etiquetación se utiliza para mejorar el proceso de entrenamiento, en el cual un modelo de video a texto genera descripciones detalladas para los videos.

Con los últimos desarrollos, los usuarios ahora pueden generar videos con una resolución de hasta 1080p, con una duración máxima de 20 segundos y en formatos de aspecto panorámico, vertical o cuadrado. También pueden incorporar sus activos para extender, remezclar y mezclar contenido existente o crear nuevos videos a partir de indicaciones de texto.

Figura 1: Ejemplo de generación de video de Sora usando la indicación: "Una toma amplia y serena de una familia de mamuts lanudos en un desierto abierto".¹

Landing AI LandingLens

LandingLens simplifica el desarrollo y la implementación de modelos de visión por computadora. Se adapta a diversas industrias sin requerir experiencia profunda en IA o programación compleja.

La plataforma estandariza soluciones de aprendizaje profundo, reduciendo el tiempo de desarrollo y permitiendo una fácil escalabilidad global de proyectos. Sin afectar la velocidad de producción, los usuarios pueden construir sus propios modelos de aprendizaje profundo y optimizar la precisión de la inspección.

Ofrece una interfaz de usuario paso a paso que simplifica el proceso de desarrollo.

Figura 2: El diagrama ilustra el flujo de trabajo de IA de LandingLens, donde las imágenes de entrada se procesan en datos, se utilizan para entrenar modelos, se implementan a través de la nube, el borde o Docker, y se mejoran continuamente a través de la retroalimentación.²

Stable Diffusion

Stable Diffusion es un modelo de aprendizaje profundo diseñado para crear imágenes de alta calidad a partir de descripciones textuales:

• Stable Diffusion se basa en la difusión. El proceso comienza agregando ruido aleatorio a una imagen, y el modelo luego aprende a reconstruir la original invirtiendo este ruido.
• Este proceso permite al modelo generar imágenes completamente nuevas refinando la entrada ruidosa en múltiples pasos hasta que emerge una imagen clara y coherente.

Stable Diffusion utiliza un modelo de difusión latente para mejorar la eficiencia. En lugar de trabajar directamente con imágenes de alta resolución, primero las comprime en un espacio latente de menor dimensión utilizando un autoencoder variacional (VAE).

Este enfoque reduce significativamente las demandas computacionales, permitiendo su ejecución en hardware de consumo con GPUs.

Aplicaciones:

Además de generar imágenes a partir de texto, Stable Diffusion se puede utilizar para diversas tareas creativas, como:

• Inpainting: Restaurar o rellenar partes faltantes de una imagen.
• Outpainting: Expandir los bordes de una imagen para agregar más contenido.
• Traducción de imagen a imagen: Convertir una imagen existente en un estilo diferente o modificar su apariencia basándose en la entrada de texto.

Midjourney

Midjourney es un generador de arte que convierte descripciones de texto en imágenes de alta calidad.

Capacidades

La Versión 7 de Midjourney presenta una arquitectura completamente reconstruida con mejoras significativas en calidad y funcionalidad.

Generación de imágenes: V7 produce imágenes escaladas a 2048 x 2048 píxeles con una precisión de indicación excepcional y calidad casi fotográfica. Las mejoras clave incluyen texturas más ricas, renderizado preciso de elementos complejos como manos y rostros, y una comprensión sofisticada de la iluminación y la composición.

Generación de video: Crea clips de video de 5 a 21 segundos con alta consistencia entre cuadros. El sistema genera aproximadamente 60 segundos de video a partir de seis imágenes en aproximadamente tres horas, apuntando a aplicaciones profesionales en marketing, cine y creación de contenido.

Capacidades 3D: La generación de texto a 3D utilizando modelado similar a NeRF crea objetos volumétricos y escenas inmersivas. Estas características apoyan el desarrollo de juegos, la visualización de productos y las aplicaciones arquitectónicas.

Figura 3: Función de edición de imágenes de Midjourney.³

DeepMind Flamingo

Flamingo de DeepMind es un modelo de visión y lenguaje diseñado para comprender y razonar sobre imágenes y videos utilizando ejemplos mínimos de entrenamiento (aprendizaje con pocos ejemplos). Aquí hay algunas de las características clave:

• Aprendizaje con pocos ejemplos multimodal: Flamingo puede realizar nuevas tareas de manera eficiente con solo unos pocos ejemplos, a diferencia de los modelos de IA tradicionales que requieren grandes conjuntos de datos etiquetados.
• Mecanismo Perceiver Resampler: Flamingo utiliza un "Perceiver Resampler" para procesar entradas visuales de manera eficiente. Comprime datos de imagen y video en un formato que puede integrarse en un LLM preentrenado.
• Alineación de visión y lenguaje con capas de atención cruzada con puerta: Capas especiales de atención cruzada con puerta ayudan a Flamingo a alinear e integrar datos visuales con razonamiento textual. Esta aplicación puede ser importante para comprender conversaciones basadas en imágenes.

Flamingo utiliza procesamiento por cuadros, dividiendo los videos en cuadros clave y extrayendo información para analizar eficientemente los elementos visuales.

Sus respuestas conscientes del contexto ayudan a generar subtítulos, descripciones y respuestas basadas en la progresión de eventos dentro de un video para garantizar una comprensión coherente del contenido.

Además, Flamingo exhibe razonamiento temporal para comprender secuencias, relaciones de causa y efecto e interacciones complejas a lo largo del tiempo. Esto lo hace altamente efectivo para tareas de análisis de video y razonamiento multimodal.

OpenAI CLIP (Contrastive Language–Image Pretraining)

CLIP es una red neuronal entrenada en una variedad de imágenes y subtítulos de texto.

Este modelo puede realizar diversas tareas de visión, incluida la clasificación de cero disparos, al comprender las imágenes en el contexto del lenguaje natural.

CLIP se entrena con 400 millones de pares (imagen, texto) para cerrar efectivamente la brecha entre las tareas de visión por computadora y el procesamiento del lenguaje natural. Esto ayuda a CLIP a hacer predicciones de subtítulos o resúmenes de imágenes sin haber sido entrenado explícitamente para estas tareas específicas.

Figura 4: Identificación de imágenes por CLIP de varios conjuntos de datos.⁴

Google Vision Transformer (ViT)

Vision Transformer aplica la arquitectura de transformador originalmente utilizada en el procesamiento del lenguaje natural a tareas de reconocimiento de imágenes.

Procesa imágenes de manera similar a como los transformadores procesan secuencias de palabras, y ha demostrado ser efectivo en el aprendizaje de características relevantes de datos de imagen para tareas de clasificación y análisis.

En Vision Transformer, las imágenes se tratan como una secuencia de parches. Cada parche se aplana en un solo vector, similar a cómo se utilizan las incrustaciones de palabras en los transformadores para el texto.

Este enfoque permite a ViT aprender la estructura de la imagen y predecir independientemente las etiquetas de clase.

Modelos base nativos de video

Los modelos base nativos de video representan un cambio fundamental en los enfoques tradicionales de visión por computadora. A diferencia de los sistemas anteriores que procesaban videos como secuencias de cuadros independientes, estos modelos tratan el tiempo como una dimensión integral de los datos visuales.

Innovaciones arquitectónicas clave

El Sora de OpenAI ejemplifica esta evolución a través de su arquitectura de transformador de difusión:

• Parches espaciotemporales 3D: Procesa datos de video de manera holística en lugar de cuadro por cuadro
• Consistencia temporal: Mantiene la calidad visual y la coherencia narrativa a través de secuencias
• Dependencias de largo alcance: Captura relaciones de causa y efecto y patrones de movimiento
• Generación consciente de la física: Comprende el movimiento realista y las interacciones de objetos

Aplicaciones actuales

Creación de contenido:

• Edición de video automatizada y síntesis de escenas
• Transferencia de estilo con consistencia temporal
• Generación de video narrativo a partir de indicaciones de texto

Imagen médica:

• Análisis de movimiento cardíaco en ecocardiogramas
• Visualización del flujo sanguíneo en angiografía
• Evaluación del comportamiento dinámico de los tejidos

Seguridad y vigilancia:

• Reconocimiento y seguimiento de actividades
• Detección de Anomalías a lo largo del tiempo
• Análisis de comportamiento consciente del contexto

Desafíos pendientes

A pesar de los avances, persisten varias limitaciones:

• Costo computacional: La generación de video de larga duración sigue siendo intensiva en recursos
• Plausibilidad física: Los escenarios complejos pueden producir físicas poco realistas
• Consistencia del personaje: Mantener la identidad a través de secuencias extendidas es difícil
• Requisitos de entrenamiento: Los conjuntos de datos de video a gran escala con anotaciones son escasos y costosos

Inferencia en el dispositivo y optimización de borde

La implementación en el borde permite que los modelos de visión se ejecuten localmente en teléfonos inteligentes, dispositivos IoT y sistemas embebidos, eliminando la dependencia de la infraestructura en la nube.

Por qué importa la implementación en el borde

Beneficios de privacidad:

• Los datos visuales sensibles nunca salen del dispositivo
• Crítico para aplicaciones de salud, vigilancia y personales
• Cumplimiento con las regulaciones de protección de datos

Ventajas de rendimiento:

• Latencia cercana a cero sin viajes de ida y vuelta por la red
• Procesamiento en tiempo real para sistemas AR y autónomos
• Operación confiable en entornos sin conexión

Eficiencia de costos:

• Reducción del consumo de ancho de banda
• Menores gastos de computación en la nube
• Costos operativos mínimos continuos

Técnicas de compresión de modelos

Hacer que los modelos de visión grandes sean viables en dispositivos de borde requiere una optimización sofisticada:

• Cuantización: Reduce la precisión de enteros de 32 bits a 8 bits o 4 bits
  • Tamaño de modelo más pequeño
  • Pérdida mínima de precisión
• Poda: Elimina parámetros y conexiones redundantes
  • Crea redes dispersas
  • Mantiene el rendimiento con menos cálculos
• Destilación de conocimiento: Transfiere conocimiento de modelos grandes a pequeños

¿Qué es un modelo de visión grande (LVM)?

Los modelos de visión grandes (LVMs) están diseñados para procesar, analizar e interpretar datos visuales, como imágenes o videos. Se caracterizan por su extenso número de parámetros, a menudo en millones o miles de millones. Esto les permite aprender patrones intrincados, características y relaciones en el contenido visual.

Al igual que los modelos de lenguaje grandes (LLMs) para texto, los LVMs se entrenan en vastos conjuntos de datos, lo que los equipa con capacidades de reconocimiento de objetos, generación de imágenes, comprensión de escenas y razonamiento multimodal (integrando información visual y textual).

Estos modelos pueden apoyar aplicaciones en áreas como conducción autónoma, imagen médica, creación de contenido y realidad aumentada.

Estructura y diseño

Los modelos de visión grandes se construyen utilizando arquitecturas avanzadas de redes neuronales. Originalmente, las Redes Neuronales Convolucionales (CNN) eran predominantes en el procesamiento de imágenes debido a su capacidad para manejar eficientemente datos de píxeles y detectar patrones jerárquicos.

Recientemente, los modelos de transformadores, que fueron diseñados inicialmente para procesamiento del lenguaje natural, también se han adaptado para muchas tareas de visión diferentes, ofreciendo un mejor rendimiento en algunos escenarios.

Entrenamiento

El entrenamiento de modelos de visión grandes implica alimentarlos con datos visuales, como imágenes o videos de internet, junto con etiquetas relevantes o anotaciones en el nuevo enfoque de modelado secuencial. Los entrenadores etiquetan bibliotecas de imágenes para alimentar los modelos.

Por ejemplo, en tareas de clasificación de imágenes, cada imagen se etiqueta con la clase a la que pertenece. El modelo aprende ajustando sus parámetros para minimizar la diferencia entre sus predicciones y las etiquetas reales.

Este proceso requiere una potencia computacional significativa y un conjunto de datos grande y diverso para garantizar que el modelo pueda generalizar bien a datos nuevos y no vistos.

Figura 3: Diagrama de entrenamiento de modelos de visión grandes en OpenAI.⁵

Consulte los servicios de recopilación de datos de imágenes para obtener más información sobre los datos de entrenamiento para la clasificación de imágenes.

Descubre más de nuestros análisis comparativos e insights basados en datos en la Búsqueda de Google.

Añadir como fuente preferida

Características clave de los modelos de visión grandes

Tipo de modelo se refiere a la arquitectura y los principios de diseño de un modelo de visión. Define cómo el modelo procesa e interpreta los datos visuales, si integra múltiples modalidades (por ejemplo, texto e imágenes) y qué mecanismos subyacentes (por ejemplo, transformadores, aprendizaje contrastivo, difusión) emplea para extraer representaciones significativas:

• LLM Multimodal basado en Transformador LLM: Una arquitectura de modelo que combina transformadores con capacidades multimodales. Permite el proceso de comprender simultáneamente entradas visuales y textuales. Se entrena utilizando conjuntos de datos a gran escala para realizar razonamiento complejo a través de múltiples tipos de datos.
• Aprendizaje contrastivo: Una técnica utilizada en el entrenamiento de modelos para diferenciar entre puntos de datos similares y disímiles. Este proceso implica maximizar la similitud de entradas relacionadas mientras se minimiza la similitud de las no relacionadas. Esto se usa a menudo en aprendizaje auto-supervisado para mejorar la representación de características.
• Plataforma de visión de IA: Este sistema proporciona infraestructura, herramientas y modelos preentrenados para diversas tareas de visión por computadora, como reconocimiento de imágenes, detección de objetos y segmentación. Típicamente incluye capacidades de entrenamiento, implementación e inferencia de modelos.
• Transformador: Una arquitectura de aprendizaje profundo que utiliza mecanismos de atención automática para procesar datos de entrada. Permite a los modelos capturar dependencias de largo alcance, haciéndolo efectivo para tareas relacionadas con el lenguaje natural y la visión.
• Modelo de difusión: Un modelo generativo que elimina gradualmente el ruido de una entrada ruidosa inicial y lo refina paso a paso para producir una salida clara y estructurada. Se usa comúnmente para generación de imágenes y mejora.

Objetivo de entrenamiento: El objetivo o función de optimización que guía cómo un modelo aprende de los datos. Determina cómo el modelo ajusta sus parámetros internos durante el entrenamiento para mejorar el rendimiento en tareas específicas. Estos son predecir el siguiente punto de datos (autoregresivo), distinguir entradas similares/disímiles (aprendizaje contrastivo) o clasificar imágenes en categorías:

• Autoregresivo: Un enfoque de entrenamiento donde un modelo predice el siguiente punto de datos en una secuencia basándose en entradas observadas previamente. Esto se usa a menudo en modelado de lenguaje y modelos de visión generativos.
• Aprendizaje contrastivo: Un objetivo de aprendizaje auto-supervisado donde el modelo aprende distinguiendo entre pares de datos similares y disímiles. Ayuda a mejorar la capacidad de capturar representaciones significativas sin etiquetas explícitas.
• Aprendizaje supervisado: Un paradigma de aprendizaje donde el modelo se entrena utilizando datos etiquetados, lo que significa que cada entrada está asociada con una salida correcta correspondiente. Este enfoque se usa ampliamente en tareas como clasificación y segmentación.
• Clasificación de imágenes: Un objetivo de entrenamiento específico donde un modelo aprende a categorizar imágenes en clases predefinidas basadas en características visuales. El proceso de entrenamiento implica optimizar una función de pérdida para maximizar la precisión de clasificación.
• Difusión de eliminación de ruido: Un enfoque de aprendizaje generativo donde un modelo se entrena para recuperar imágenes limpias de entradas ruidosas. Este proceso implica invertir un proceso progresivo de adición de ruido para mejorar la reconstrucción y generación de imágenes.

Soporte de ajuste fino: La capacidad de un modelo para adaptarse a tareas específicas entrenando en conjuntos de datos más pequeños y específicos del dominio mientras retiene el conocimiento de su fase de pre-entrenamiento.

El ajuste fino ayuda a mejorar el rendimiento en aplicaciones especializadas.

Aprendizaje de cero disparos/pocos disparos: La capacidad de un modelo para realizar tareas con pocos o ningún dato de entrenamiento específico de la tarea.

El aprendizaje de cero disparos permite la inferencia en categorías no vistas, mientras que el aprendizaje de pocos disparos permite la adaptación con ejemplos etiquetados mínimos.

Soporte multimodal: La capacidad de un modelo para procesar e integrar información de múltiples modalidades (por ejemplo, texto, imágenes, audio).

Código abierto vs. Propietario: Los modelos de código abierto tienen código y pesos disponibles públicamente, permitiendo la modificación y implementación por parte de la comunidad,

Los modelos propietarios son propiedad y están controlados por entidades privadas, pueden limitar el acceso y la personalización.

Implementación en el borde: La capacidad de un modelo para ejecutarse en dispositivos de borde (por ejemplo, teléfonos móviles, dispositivos IoT) en lugar de depender de servidores basados en la nube.

La implementación en el borde ayuda a reducir la latencia, mejora la privacidad y permite el procesamiento en tiempo real en entornos con recursos limitados.

¿Cuáles son los casos de uso de los modelos de visión grandes?

Salud e imagen médica

• Diagnóstico de enfermedades: Detección de enfermedades a partir de imágenes médicas como rayos X, resonancias magnéticas o tomografías computarizadas para identificar tumores, fracturas o anomalías.
• Patología: Análisis de muestras de tejido en patología en busca de signos de cáncer.
• Oftalmología: Diagnóstico de enfermedades a partir de imágenes de la retina.

Vehículos autónomos y robótica

• Navegación y detección de obstáculos: Ayudar a vehículos autónomos y drones a navegar y evitar obstáculos interpretando datos visuales en tiempo real.
• Robótica en la fabricación: Ayudar a los robots en tareas de clasificación, ensamblaje e inspección de calidad.

Seguridad y vigilancia

• Monitoreo de actividades: Análisis de feeds de video para detectar comportamientos inusuales o sospechosos.
• Reconocimiento facial: Utilizado en sistemas de seguridad para verificación de identidad y seguimiento. Por ejemplo, Amazon Rekognition es un servicio basado en la nube ofrecido por Amazon Web Services (AWS) que proporciona funciones de análisis de imágenes y videos como detección y reconocimiento facial, identificación de objetos y escenas, y extracción de texto. Puede analizar emociones, rangos de edad y actividades, lo que sería útil para la personalización y la seguridad.

Consulte el siguiente video para ver Amazon Rekognition en acción.⁶

Retail y comercio electrónico

• Búsqueda visual: Permitir a los clientes buscar productos usando imágenes en lugar de texto.
• Gestión de inventario: Automatizar el monitoreo y la gestión del inventario a través del reconocimiento visual.

Agricultura

• Monitoreo y análisis de cultivos: Monitorear la salud y el crecimiento de los cultivos usando imágenes de drones o satélites.
• Detección de plagas: Identificar plagas y enfermedades que afectan los cultivos.

Monitoreo ambiental

• Rastreo de vida silvestre: Identificar y rastrear la vida silvestre para apoyar los esfuerzos de conservación.
• Análisis de uso y cobertura del suelo: Monitorear los cambios en el uso del suelo y la cobertura vegetal a lo largo del tiempo.

Creación de contenido y entretenimiento

• Edición de películas y video: Automatizar la edición de video y los procesos de postproducción.
• Desarrollo de juegos: Mejorar la creación de entornos y personajes realistas.
• Mejora de fotos y video: Mejorar la calidad de imágenes y videos.
• Moderación de contenido: Detectar y marcar automáticamente contenido visual inapropiado o dañino.

¿Cuáles son los desafíos de los modelos de visión grandes?

Recursos computacionales

El entrenamiento y la implementación de estos modelos requieren una potencia computacional y memoria significativas, lo que puede hacerlos intensivos en recursos.

Requisitos de datos

Necesitan conjuntos de datos vastos y diversos para el entrenamiento. Recopilar, etiquetar y procesar tales grandes conjuntos de datos puede ser desafiante y costoso. Sin embargo, las empresas de crowdsourcing pueden ayudar a manejar esto.

Sesgo y equidad

Los modelos pueden heredar sesgos presentes en sus datos de entrenamiento, lo que lleva a resultados injustos o poco éticos, particularmente en aplicaciones sensibles como el reconocimiento facial.

Interpretabilidad y explicabilidad

Entender cómo estos modelos toman decisiones puede ser difícil, lo que preocupa a las aplicaciones donde la transparencia es crítica. Consulte IA explicable para aprender cómo funciona este proceso y cómo sirve a la ética de la IA.

Generalización

Aunque funcionan bien con datos similares a su conjunto de entrenamiento, pueden tener dificultades con tipos de datos completamente nuevos o diferentes.

Preocupaciones de privacidad

El uso de modelos visuales grandes, especialmente en vigilancia y reconocimiento facial, plantea importantes preocupaciones de privacidad.

Desafíos regulatorios y éticos

Garantizar que estos modelos cumplan con estándares legales y éticos es cada vez más importante, especialmente a medida que se integran más en la sociedad.

Metodología de prueba de referencia de detección de objetos

En esta prueba de referencia, se compararon el rendimiento de los modelos de detección de objetos YOLOv8n, DETR (DEtection TRansformer) y GPT-4o Vision en el conjunto de datos de validación COCO 2017. Se utilizaron 1000 imágenes por modelo para la comparación. Todas las imágenes se redimensionaron a 800×800 píxeles para garantizar dimensiones de entrada consistentes entre los modelos.

El modelo YOLOv8n se cargó con pesos preentrenados (yolov8n.pt) del repositorio de Ultralytics y la inferencia se realizó utilizando el método predict() a través de la API de Ultralytics YOLO. El modelo DETR se cargó con la arquitectura detr_resnet50 de la biblioteca de Facebook Research, y sus salidas, originalmente normalizadas en formato [center_x, center_y, width, height], se reescalaron y convirtieron al formato de coordenadas [x1, y1, x2, y2]. Se aplicó un umbral de confianza de 0.5 a los resultados de ambos modelos.

El modelo GPT-4o Vision se evaluó utilizando la OpenAI API para capacidades de detección de objetos. Para este modelo, se descargaron imágenes del conjunto de datos de validación COCO, se cargaron anotaciones y cada imagen se convirtió al formato adecuado (redimensionada a 800×800 píxeles) antes de enviarse a la API. Solo se solicitaron detecciones que pertenecían a clases COCO en formato JSON, y las predicciones devueltas por la API se evaluaron utilizando el mismo umbral de confianza (0.5) y formato de coordenadas.

En la evaluación, los cuadros delimitadores predichos por los modelos se compararon con los cuadros de verdad fundamental calculando la Intersección sobre Unión (IoU), con IoU ≥ 0.5 considerado un acierto de verdadero positivo. Se calculó la Precisión Promedio (AP) para cada clase, y la media de todas las clases se reportó como la métrica mAP@0.5. Además de la precisión, se midieron y compararon los tiempos de inferencia. Además, la complejidad del modelo se analizó en función de FLOPs y las cantidades totales de parámetros.

Para garantizar una comparación justa, todas las inferencias de modelos se realizaron en el mismo hardware (GPU/CPU idénticos). Se aplicaron los mismos pasos de preprocesamiento, redimensionando todas las imágenes a 800×800 píxeles y aplicando la normalización necesaria, en todos los modelos. Para el postprocesamiento, las predicciones se convirtieron al mismo formato de coordenadas, se aplicó consistentemente un umbral de confianza de 0.5 y se adoptaron criterios uniformes de cálculo de IoU durante la evaluación.

Dentro de este marco, se compararon YOLOv8n, DETR y el modelo GPT-4o Vision en términos de rendimiento y velocidad de detección de objetos; se emplearon ajustes y métodos adicionales para evaluar las capacidades de GPT-4o Vision frente a los modelos actuales de detección de objetos.

Cita este benchmark

Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Ermut, Sıla},
  title  = {{Comparar Modelos de Visión Grandes: GPT-4o vs YOLOv8n}},
  year   = {2026},
  month  = apr,
  howpublished    = {\url{https://aimultiple.com/large-vision-models}},
  note   = {AIMultiple. Recuperado el 24 de Abril de 2026}
}

Enlaces de referencia

1.

Sora is here | OpenAI

2.

LandingLens: Deep-Learning Computer Vision Software Platform - LandingAI

LandingAI

3.

How to use Midjourney | Zapier

Zapier

4.

CLIP: Connecting text and images | OpenAI

5.

CLIP: Connecting text and images | OpenAI

6.

Image recognition software, ML image analysis, and video analysis – Amazon Rekognition – AWS

Cem Dilmegani

Analista principal

Síguenos

Cem ha sido el analista principal de AIMultiple desde 2017. AIMultiple informa a cientos de miles de empresas (según similarWeb), incluyendo el 55% de las empresas Fortune 500 cada mes. El trabajo de Cem ha sido citado por importantes publicaciones globales como Business Insider, Forbes, Washington Post, firmas globales como Deloitte, HPE y ONG como el Foro Económico Mundial y organizaciones supranacionales como la Comisión Europea. Puede consultar más empresas y recursos de renombre que citan a AIMultiple. A lo largo de su carrera, Cem se desempeñó como consultor, comprador y emprendedor tecnológico. Asesoró a empresas en sus decisiones tecnológicas en McKinsey & Company y Altman Solon durante más de una década. También publicó un informe de McKinsey sobre digitalización. Lideró la estrategia y adquisición de tecnología de una empresa de telecomunicaciones, reportando directamente al CEO. Asimismo, lideró el crecimiento comercial de la empresa de tecnología avanzada Hypatos, que alcanzó ingresos recurrentes anuales de siete cifras y una valoración de nueve cifras partiendo de cero en tan solo dos años. El trabajo de Cem en Hypatos fue reseñado por importantes publicaciones tecnológicas como TechCrunch y Business Insider. Cem participa regularmente como ponente en conferencias internacionales de tecnología. Se graduó en ingeniería informática por la Universidad de Bogazici y posee un MBA de la Columbia Business School.

Ver perfil completo

Investigado por

Sıla Ermut

Analista de la industria

Síguenos

Sıla Ermut es analista de la industria en AIMultiple, especializada en marketing por correo electrónico y vídeos de ventas. Anteriormente trabajó como reclutadora en empresas de gestión de proyectos y consultoría. Sıla es licenciada en Psicología Social y en Relaciones Internacionales.

Ver perfil completo

Sé el primero en comentar

Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.

Nombre

Dirección de correo electrónico

Comentario

0/450

Publicar comentario