Confronta i Large Vision Models: GPT-4o vs YOLOv8n

I large vision models (LVM) possono automatizzare e migliorare i compiti visivi come il rilevamento dei difetti, la diagnosi medica e il monitoraggio ambientale.

Abbiamo effettuato il benchmark di tre model di object detection: YOLOv8n, DETR e GPT-4o Vision, su 1.000 immagini ciascuno, misurando metriche come mAP@0.5, velocità di inference, FLOPs e numero di parametri. Per garantire un confronto equo, tutte le immagini sono state ridimensionate a 800×800 pixel e valutate utilizzando un pre-processing identico, soglie di confidenza e criteri di matching basati su IoU.

Benchmark di object detection: GPT-4o (Vision), YOLOv8n, DETR

mAP@0.5: Mean Average Precision a una soglia di Intersection over Union (IoU) di 0,5, che misura l'accuratezza dell'object detection bilanciando i veri positivi e i falsi positivi.

Latenza (ms): Il tempo medio di elaborazione per immagine, misurato in millisecondi, indica la velocità del model.

Risultati del Benchmark

Le capacità di object detection di GPT-4o rimangono limitate rispetto a model specializzati come YOLOv8n e DETR.

Accuratezza:

• DETR: mAP@0.5 = 0,55
• YOLOv8n: 0,20
• GPT-4o: 0,02

Questi risultati indicano che GPT-4o non è ancora adatto per compiti pratici di object detection.

Latenza:

• YOLOv8n: 365 ms
• DETR: 3145 ms
• GPT-4o: 5150 ms

YOLOv8n offre l'inference più veloce ma un'accuratezza inferiore, mentre DETR raggiunge un'accuratezza migliore a scapito di un'elaborazione più lenta.

Tutti i model sono stati valutati utilizzando immagini di input 800×800 per coerenza. Il numero di parametri e i FLOPS erano disponibili per YOLOv8n e DETR ma non per GPT-4o, impedendo un confronto completo dell'efficienza computazionale.

Complessità del Model:

• DETR: 41,52M parametri, 59,56 GFLOPS
• YOLOv8n: 3,15M parametri, 6,83 GFLOPS

Ciò dimostra l'efficienza di YOLOv8n per applicazioni in tempo reale, mentre DETR scambia la velocità per una maggiore accuratezza e una maggiore richiesta computazionale. La mancanza di dettagli architettonici per GPT-4o limita un'analisi più approfondita dell'efficienza.

Consulta la nostra metodologia di benchmark.

Possibili ragioni dietro le differenze di prestazioni

I tre model hanno mostrato diversi livelli di accuratezza e velocità perché sono costruiti per scopi diversi e processano le informazioni visive in modi distinti. GPT-4o è un multimodal large language model che accetta sia testo che immagini, mentre YOLOv8n e DETR sono sistemi di object detection che operano solo su immagini.

GPT-4o interpreta gli input visivi attraverso una pipeline di ragionamento guidata dal linguaggio. Può descrivere scene e identificare oggetti, ma non è progettato per disegnare bounding box o eseguire una localizzazione spaziale ad alta precisione.

I suoi output dipendono dal ragionamento multimodal piuttosto che da meccanismi specifici per la detection. Questo lo rende più lento e meno accurato per i compiti di detection.

YOLOv8n e DETR utilizzano architetture create esplicitamente per l'object detection. Generano bounding box direttamente invece di ragionarvi sopra.

YOLOv8n è ottimizzato per la velocità con una struttura leggera, mentre DETR è un detector basato su transformer che processa le immagini in modo diverso da YOLO e mira a previsioni più accurate.

Entrambi i model si concentrano esclusivamente sugli input visivi e seguono obiettivi di training che mappano i pattern delle immagini alle posizioni degli oggetti.

Le differenze chiave includono:

• Tipo di input
  • GPT-4o: immagine e testo
  • YOLOv8n e DETR: solo immagine
• Funzione primaria
  • GPT-4o: comprensione e ragionamento multimodal
  • YOLOv8n e DETR: object detection
• Meccanismo di output
  • GPT-4o: non disegna intrinsecamente bounding box
  • YOLOv8n e DETR: prevedono direttamente bounding box

Poiché YOLOv8n e DETR sono stati sviluppati esclusivamente per l'object detection, naturalmente performano meglio nei benchmark focalizzati su accuratezza e latenza.

Il design multimodal ampio e non centrato sulla detection di GPT-4o risulta in un mAP inferiore e tempi di inference più alti quando valutato nello stesso contesto.

Valutazione dettagliata dei large vision models

OpenAI GPT-4o (Vision)

GPT-4o (Vision) è un'estensione multimodal di OpenAI GPT-4, progettata per processare e generare risposte sia da testo che da immagini.

Questa capacità consente a GPT-4o di interpretare contenuti visivi insieme a informazioni testuali, abilitando una gamma di applicazioni che richiedono la comprensione e l'analisi di immagini.

• Interpretazione delle immagini: GPT-4o può analizzare e descrivere il contenuto di immagini, inclusa l'identificazione di oggetti, l'interpretazione di scene e l'estrazione di informazioni testuali dai contenuti visivi. Questo lo rende utile per compiti come l'image captioning e la sintesi dei contenuti.
• Analisi dei dati visivi: Il model può interpretare grafici, diagrammi e schemi, fornendo intuizioni e spiegazioni basate sui dati visivi. Questa funzione è vantaggiosa per l'analisi dei dati e le applicazioni educative.
• Comprensione di contenuti multimodal: GPT-4o può fornire risposte più complete combinando input di testo e immagini. Può anche potenziare le applicazioni nell'analisi dei social media e nella moderazione dei contenuti. Ad esempio, può valutare il sentiment o rilevare la disinformazione in post che includono sia testo che immagini.

Nonostante le sue capacità avanzate, GPT-4o può a volte produrre output inaccurati o inaffidabili. Può interpretare erroneamente elementi visivi, trascurare dettagli o generare informazioni errate, richiedendo una verifica umana per i compiti critici.

Il model potrebbe anche riflettere i bias presenti nei suoi dati di training, portando a interpretazioni distorte o rinforzando stereotipi. Questa è una preoccupazione nelle applicazioni sensibili dove l'imparzialità è cruciale, inclusa l'inference demografica o la moderazione dei contenuti.

OpenAI Sora

Sora è un model text-to-video creato da OpenAI. Genera brevi clip video da prompt dell'utente e può anche estendere video esistenti. La sua tecnologia sottostante è un adattamento del model DALL-E 3.

Sora è un diffusion transformer, un denoising latent diffusion model che utilizza un Transformer. I video sono inizialmente generati in uno spazio latente tramite il denoising di "patch" 3D, poi convertiti in spazio standard utilizzando un decompressore video.

Il re-captioning viene utilizzato per migliorare il processo di training, in cui un model video-to-text genera didascalie dettagliate per i video.

Con gli ultimi sviluppi, gli utenti possono ora generare video fino a una risoluzione di 1080p, con una durata massima di 20 secondi, e in rapporti d'aspetto widescreen, verticale o quadrato. Possono anche incorporare i propri asset per estendere, remixare e fondere contenuti esistenti o creare nuovi video da prompt di testo.

Figura 1: Esempio di generazione video di Sora utilizzando il prompt: “A wide, serene shot of a family of woolly mammoths in an open desert”.¹

Landing AI LandingLens

LandingLens semplifica lo sviluppo e l'implementazione di model di computer vision. Si rivolge a vari settori senza richiedere una profonda esperienza in AI o programmazione complessa.

La piattaforma standardizza le soluzioni di deep learning, riducendo i tempi di sviluppo e consentendo un'agevole scalabilità globale dei progetti. Senza influire sulla velocità di produzione, gli utenti possono costruire i propri model di deep learning e ottimizzare l'accuratezza dell'ispezione.

Offre un'interfaccia utente passo-passo che semplifica il processo di sviluppo.

Figura 2: Il diagramma illustra il workflow AI di LandingLens, dove le immagini di input vengono elaborate in dati, utilizzate per addestrare i model, implementate via cloud, edge o Docker, e continuamente migliorate attraverso il feedback.²

Stable Diffusion

Stable Diffusion è un model di deep learning progettato per creare immagini di alta qualità da descrizioni testuali:

• Stable Diffusion si basa sulla diffusione. Il processo inizia aggiungendo rumore casuale a un'immagine, e il model impara quindi a ricostruire l'originale invertendo questo rumore.
• Questo processo consente al model di generare immagini completamente nuove raffinando l'input rumoroso attraverso più passaggi finché non emerge un'immagine chiara e coerente.

Stable Diffusion utilizza un latent diffusion model per migliorare l'efficienza. Invece di lavorare direttamente con immagini ad alta risoluzione, le comprime prima in uno spazio latente a dimensione inferiore utilizzando un variational autoencoder (VAE).

Questo approccio riduce significativamente le richieste computazionali, consentendo l'esecuzione su hardware consumer con GPU.

Applicazioni:

Oltre a generare immagini dal testo, Stable Diffusion può essere utilizzato per vari compiti creativi, come:

• Inpainting: Ripristino o riempimento di parti mancanti di un'immagine.
• Outpainting: Espansione dei bordi di un'immagine per aggiungere più contenuti.
• Image-to-Image Translation: Conversione di un'immagine esistente in uno stile diverso o modifica del suo aspetto in base a un input di testo.

Midjourney

Midjourney è un generatore d'arte che converte descrizioni testuali in immagini di alta qualità.

Capacità

Midjourney Versione 7 presenta un'architettura completamente ricostruita con miglioramenti significativi in qualità e funzionalità.

Generazione di immagini: V7 produce immagini upscaled a 2048 x 2048 pixel con un'eccezionale precisione del prompt e una qualità quasi fotografica. I miglioramenti chiave includono texture più ricche, rendering accurato di elementi complessi come mani e volti, e una comprensione sofisticata di illuminazione e composizione.

Generazione di video: Crea clip video da 5 a 21 secondi con un'elevata coerenza tra i frame. Il sistema genera circa 60 secondi di video da sei immagini in circa tre ore, rivolgendosi ad applicazioni professionali nel marketing, nella cinematografia e nella creazione di contenuti.

Capacità 3D: La generazione text-to-3D utilizzando una modellazione simile a NeRF crea oggetti volumetrici e scene immersive. Queste funzionalità supportano lo sviluppo di giochi, la visualizzazione di prodotti e le applicazioni architettoniche.

Figura 3: Funzione di editing delle immagini di Midjourney.³

DeepMind Flamingo

Flamingo di DeepMind è un model vision-language progettato per comprendere e ragionare su immagini e video utilizzando un numero minimo di esempi di training (few-shot learning). Ecco alcune delle caratteristiche principali:

• Multimodal few-shot learning: Flamingo può eseguire nuovi compiti in modo efficiente con solo pochi esempi, a differenza dei model AI tradizionali che richiedono vasti dataset etichettati.
• Meccanismo Perceiver Resampler: Flamingo utilizza un “Perceiver Resampler” per processare gli input visivi in modo efficiente. Comprime i dati di immagini e video in un formato che può essere integrato in un large language model pre-addestrato.
• Allineamento Vision-Language con Gated Cross-Attention Layers: Speciali layer di Gated Cross-Attention aiutano Flamingo ad allineare e integrare i dati visivi con il ragionamento testuale. Questa applicazione può essere importante per comprendere conversazioni basate su immagini.

Flamingo utilizza l'elaborazione frame-per-frame, scomponendo i video in frame chiave ed estraendo informazioni per analizzare efficientemente gli elementi visivi.

Le sue risposte consapevoli del contesto aiutano a generare didascalie, descrizioni e risposte basate sulla progressione degli eventi all'interno di un video per garantire una comprensione coerente del contenuto.

Inoltre, Flamingo esibisce un ragionamento temporale per comprendere sequenze, relazioni causa-effetto e interazioni complesse nel tempo. Questo lo rende altamente efficace per l'analisi video e i compiti di ragionamento multimodal.

OpenAI CLIP (Contrastive Language–Image Pretraining)

CLIP è una rete neurale addestrata su una varietà di immagini e didascalie testuali.

Questo model può eseguire vari compiti di visione, inclusa la classificazione zero-shot, comprendendo le immagini nel contesto del linguaggio naturale.

CLIP è addestrato su 400 milioni di coppie (immagine, testo) per colmare efficacemente il divario tra i compiti di computer vision e l'elaborazione del linguaggio naturale. Ciò aiuta CLIP a fare previsioni di didascalie o riassunti di immagini senza essere esplicitamente addestrato per questi compiti specifici.

Figura 4: Identificazione di immagini da parte di CLIP da vari dataset.⁴

Google Vision Transformer (ViT)

Vision Transformer applica l'architettura transformer originariamente utilizzata nell'elaborazione del linguaggio naturale ai compiti di riconoscimento delle immagini.

Processa le immagini in modo simile a come i transformer processano sequenze di parole, e ha mostrato efficacia nell'apprendere caratteristiche rilevanti dai dati delle immagini per compiti di classificazione e analisi.

In Vision Transformer, le immagini sono trattate come una sequenza di patch. Ogni patch è appiattita in un singolo vettore, in modo simile a come gli embedding di parole sono usati nei transformer per il testo.

Questo approccio consente a ViT di apprendere la struttura dell'immagine e prevedere indipendentemente le etichette di classe.

Video-native foundation models

I video-native foundation models rappresentano un cambiamento fondamentale rispetto agli approcci tradizionali di computer vision. A differenza dei sistemi precedenti che processavano i video come sequenze di frame indipendenti, questi model trattano il tempo come una dimensione integrale dei dati visivi.

Innovazioni architettoniche chiave

Sora di OpenAI esemplifica questa evoluzione attraverso la sua architettura diffusion transformer:

• Patch spatiotemporali 3D: Processa i dati video in modo olistico piuttosto che frame-per-frame
• Coerenza temporale: Mantiene la qualità visiva e la coerenza narrativa tra le sequenze
• Dipendenze a lungo raggio: Cattura relazioni causa-effetto e pattern di movimento
• Generazione consapevole della fisica: Comprende il movimento realistico e le interazioni tra oggetti

Applicazioni attuali

Creazione di contenuti:

• Editing video automatizzato e sintesi di scene
• Style transfer con coerenza temporale
• Generazione di video narrativi da prompt di testo

Imaging medico:

• Analisi del movimento cardiaco negli ecocardiogrammi
• Visualizzazione del flusso sanguigno nell'angiografia
• Valutazione del comportamento dinamico dei tessuti

Sicurezza e sorveglianza:

• Riconoscimento e tracciamento delle attività
• Rilevamento di Anomaly nel tempo
• Analisi del comportamento consapevole del contesto

Sfide rimanenti

Nonostante i progressi, persistono diverse limitazioni:

• Costo computazionale: La generazione di video di lunga durata rimane intensiva in termini di risorse
• Plausibilità fisica: Scenari complessi possono produrre una fisica irrealistica
• Coerenza dei personaggi: Mantenere l'identità in sequenze estese è difficile
• Requisiti di training: I dataset video su larga scala con annotazioni sono scarsi e costosi

Inference on-device e ottimizzazione edge

L'implementazione edge consente ai model di visione di girare localmente su smartphone, dispositivi IoT e sistemi embedded, eliminando la dipendenza dall'infrastruttura cloud.

Perché l'implementazione edge è importante

Vantaggi per la privacy:

• I dati visivi sensibili non lasciano mai il dispositivo
• Critico per sanità, sorveglianza e applicazioni personali
• Conformità con le normative sulla protezione dei dati

Vantaggi prestazionali:

• Latenza quasi zero senza round trip di rete
• Elaborazione in tempo reale per AR e sistemi autonomi
• Funzionamento affidabile in ambienti offline

Efficienza dei costi:

• Riduzione del consumo di banda
• Minori spese di cloud computing
• Costi operativi continui minimi

Tecniche di compressione del model

Rendere i large vision models utilizzabili su dispositivi edge richiede un'ottimizzazione sofisticata:

• Quantizzazione: Riduce la precisione da interi a 32 bit a 8 bit o 4 bit
  • Dimensioni del model ridotte
  • Perdita di accuratezza minima
• Pruning: Rimuove parametri e connessioni ridondanti
  • Crea reti sparse
  • Mantiene le prestazioni con meno computazioni
• Knowledge distillation: Trasferisce la conoscenza da model grandi a model piccoli

Cos'è un large vision model (LVM)?

I large vision models (LVM) sono progettati per processare, analizzare e interpretare dati visivi, come immagini o video. Sono caratterizzati dal loro esteso numero di parametri, spesso nell'ordine di milioni o miliardi. Ciò consente loro di apprendere pattern, caratteristiche e relazioni intricate nei contenuti visivi.

Come i large language models (LLMs) per il testo, gli LVM sono addestrati su vasti dataset, che li dotano di capacità di riconoscimento degli oggetti, generazione di immagini, comprensione delle scene e ragionamento multimodal (integrando informazioni visive e testuali).

Questi model possono supportare applicazioni in aree come la guida autonoma, l'imaging medico, la creazione di contenuti e la realtà aumentata.

Struttura e design

I large vision models sono costruiti utilizzando architetture di reti neurali avanzate. Originariamente, le Convolutional Neural Networks (CNN) erano predominanti nell'elaborazione delle immagini per la loro capacità di gestire efficientemente i dati dei pixel e rilevare pattern gerarchici.

Recentemente, i model transformer, inizialmente progettati per l'elaborazione del linguaggio naturale, sono stati adattati anche per molti diversi compiti di visione, offrendo prestazioni migliorate in alcuni scenari.

Training

L'addestramento dei large vision models comporta l'alimentazione di dati visivi, come immagini o video da internet, insieme a etichette rilevanti o annotazioni nel nuovo approccio di modellazione sequenziale. Gli addestratori etichettano librerie di immagini per alimentare i model.

Per esempio, nei compiti di classificazione delle immagini, ogni immagine è etichettata con la classe a cui appartiene. Il model impara regolando i suoi parametri per minimizzare la differenza tra le sue previsioni e le etichette reali.

Questo processo richiede una potenza computazionale significativa e un dataset ampio e diversificato per garantire che il model possa generalizzare bene su dati nuovi e non visti.

Figura 3: Diagramma di training dei large vision models su OpenAI.⁵

Scopri i servizi di raccolta dati di immagini per saperne di più sui dati di training per la classificazione delle immagini.

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.

Aggiungi come fonte preferita

Caratteristiche chiave dei large vision models

Tipo di Model si riferisce all'architettura e ai principi di design di un model di visione. Definisce come il model processa e interpreta i dati visivi, se integra più modalità (ad es. testo e immagini) e quali meccanismi sottostanti (ad es. transformer, contrastive learning, diffusione) impiega per estrarre rappresentazioni significative:

• Multimodal LLM basato su Transformer: Un'architettura di model che combina i transformer con capacità multimodal. Consente il processo di comprensione simultanea di input visivi e testuali. È addestrato utilizzando dataset su larga scala per eseguire ragionamenti complessi su più tipi di dati.
• Contrastive Learning: Una tecnica utilizzata nel training dei model per differenziare tra punti dati simili e non simili. Questo processo comporta la massimizzazione della somiglianza di input correlati riducendo al minimo la somiglianza di quelli non correlati. Viene spesso utilizzato nel self-supervised learning per migliorare la rappresentazione delle caratteristiche.
• Piattaforma AI Vision: Questo sistema fornisce infrastruttura, strumenti e model pre-addestrati per vari compiti di computer vision, come il riconoscimento delle immagini, l'object detection e la segmentazione. In genere include capacità di training, implementazione e inference del model.
• Transformer: Un'architettura di deep learning che utilizza meccanismi di self-attention per processare i dati di input. Consente ai model di catturare dipendenze a lungo raggio, rendendolo efficace per i compiti legati al linguaggio naturale e alla visione.
• Diffusion Model: Un model generativo che rimuove gradualmente il rumore da un input iniziale rumoroso e lo raffina passo dopo passo per produrre un output chiaro e strutturato. È comunemente usato per la generazione di immagini e il loro potenziamento.

Obiettivo di training: L'obiettivo o la funzione di ottimizzazione che guida il modo in cui un model impara dai dati. Determina come il model regola i suoi parametri interni durante il training per migliorare le prestazioni in compiti specifici. Questi includono la previsione del prossimo punto dati (autoregressivo), la distinzione tra input simili/non simili (contrastive learning) o la classificazione di immagini in categorie:

• Autoregressivo: Un approccio di training in cui un model prevede il prossimo punto dati in una sequenza basandosi sugli input osservati in precedenza. Questo è spesso usato nella modellazione del linguaggio e nei model di visione generativi.
• Contrastive Learning: Un obiettivo di self-supervised learning in cui il model impara distinguendo tra coppie di dati simili e non simili. Aiuta a migliorare la capacità di catturare rappresentazioni significative senza etichette esplicite.
• Supervised Learning: Un paradigma di apprendimento in cui il model è addestrato utilizzando dati etichettati, il che significa che ogni input è associato a un corrispondente output corretto. Questo approccio è ampiamente utilizzato in compiti come la classificazione e la segmentazione.
• Classificazione delle immagini: Un obiettivo di training specifico in cui un model impara a categorizzare le immagini in classi predefinite in base a caratteristiche visive. Il processo di training comporta l'ottimizzazione di una funzione di perdita per massimizzare l'accuratezza della classificazione.
• Denoising Diffusion: Un approccio di apprendimento generativo in cui un model è addestrato a recuperare immagini pulite da input rumorosi. Questo processo comporta l'inversione di un processo progressivo di aggiunta di rumore per migliorare la ricostruzione e la generazione di immagini.

Supporto al Fine-tuning: La capacità di un model di essere adattato a compiti specifici tramite il training su dataset più piccoli e specifici per il dominio, mantenendo la conoscenza della fase di pre-training.

Il fine-tuning aiuta a migliorare le prestazioni in applicazioni specializzate.

Zero-shot/Few-shot Learning: La capacità di un model di eseguire compiti con pochi o nessun dato di training specifici per il compito.

Lo zero-shot learning consente l'inference su categorie non viste, mentre il few-shot learning consente l'adattamento con un numero minimo di esempi etichettati.

Supporto Multimodal: La capacità di un model di processare e integrare informazioni da più modalità (ad es. testo, immagini, audio).

Open-source vs Proprietario: I model open-source hanno codice e pesi pubblicamente disponibili, consentendo la modifica e l'implementazione da parte della community,

i model proprietari sono di proprietà e controllati da entità private, che possono limitare l'accesso e la personalizzazione.

Implementazione Edge: La capacità di un model di girare su dispositivi edge (ad es. telefoni cellulari, dispositivi IoT) invece di fare affidamento su server basati su cloud.

L'implementazione edge aiuta a ridurre la latenza, migliora la privacy e consente l'elaborazione in tempo reale in ambienti con risorse limitate.

Quali sono i casi d'uso dei large vision models?

Sanità e imaging medico

• Diagnosi delle malattie: Rilevamento di malattie da immagini mediche come raggi X, risonanze magnetiche o scansioni TC per identificare tumori, fratture o anomalie.
• Patologia: Analisi di campioni di tessuto in patologia per segni di cancro.
• Oftalmologia: Diagnosi di malattie da immagini retiniche.

Veicoli autonomi e robotica

• Navigazione e rilevamento ostacoli: Aiutare i veicoli autonomi e i droni a navigare ed evitare ostacoli interpretando dati visivi in tempo reale.
• Robotica nella produzione: Aiutare i robot in compiti di smistamento, assemblaggio e ispezione della qualità.

Sicurezza e sorveglianza

• Monitoraggio delle attività: Analisi di feed video per rilevare comportamenti insoliti o sospetti.
• Riconoscimento facciale: Utilizzato nei sistemi di sicurezza per la verifica dell'identità e il tracciamento. Per esempio, Amazon Rekognition è un servizio basato su cloud offerto da Amazon Web Services (AWS) che fornisce funzionalità di analisi di immagini e video come il rilevamento e il riconoscimento dei volti, l'identificazione di oggetti e scene e l'estrazione di testo. Può analizzare emozioni, fasce d'età e attività, il che sarebbe utile per la personalizzazione e la sicurezza.

Guarda il video qui sotto per vedere Amazon Rekognition in azione.⁶

Retail ed eCommerce

• Ricerca visiva: Consentire ai clienti di cercare prodotti utilizzando immagini invece del testo.
• Gestione dell'inventario: Automatizzare il monitoraggio e la gestione dell'inventario attraverso il riconoscimento visivo.

Agricoltura

• Monitoraggio e analisi delle colture: Monitoraggio della salute e della crescita delle colture utilizzando immagini da droni o satelliti.
• Rilevamento dei parassiti: Identificazione di parassiti e malattie che colpiscono le colture.

Monitoraggio ambientale

• Tracciamento della fauna selvatica: Identificazione e tracciamento della fauna selvatica per supportare gli sforzi di conservazione.
• Analisi dell'uso e della copertura del suolo: Monitoraggio dei cambiamenti nell'uso del suolo e nella copertura vegetale nel tempo.

Creazione di contenuti e intrattenimento

• Montaggio di film e video: Automatizzazione dei processi di editing video e post-produzione.
• Sviluppo di giochi: Miglioramento della creazione di ambienti e personaggi realistici.
• Potenziamento di foto e video: Miglioramento della qualità di immagini e video.
• Moderazione dei contenuti: Rilevamento e segnalazione automatica di contenuti visivi inappropriati o dannosi.

Quali sono le sfide dei large vision models?

Risorse computazionali

Il training e l'implementazione di questi model richiedono una potenza computazionale e una memoria significative, il che può renderli intensivi in termini di risorse.

Requisiti dei dati

Hanno bisogno di dataset vasti e diversificati per il training. Raccogliere, etichettare e processare dataset così grandi può essere impegnativo e costoso. Tuttavia, le aziende di crowdsourcing possono aiutare a gestire questo aspetto.

Bias ed equità

I model possono ereditare i bias presenti nei loro dati di training, portando a risultati ingiusti o non etici, in particolare in applicazioni sensibili come il riconoscimento facciale.

Interpretabilità e spiegabilità

Comprendere come questi model prendono decisioni può essere difficile, il che preoccupa le applicazioni in cui la trasparenza è critica. Scopri l'AI spiegabile per capire come funziona questo processo e come serva l'etica dell'AI.

Generalizzazione

Sebbene performino bene su dati simili al loro set di training, potrebbero avere difficoltà con tipi di dati completamente nuovi o diversi.

Preoccupazioni per la privacy

L'uso di large visual models, specialmente nella sorveglianza e nel riconoscimento facciale, solleva significative preoccupazioni per la privacy.

Sfide normative ed etiche

Garantire che questi model siano conformi agli standard legali ed etici è sempre più importante, specialmente man mano che diventano più integrati nella società.

Metodologia del benchmark di object detection

In questo benchmark, le prestazioni dei model di object detection YOLOv8n, DETR (DEtection TRansformer) e GPT-4o Vision sono state confrontate sul dataset di validazione COCO 2017. Sono state utilizzate 1000 immagini per model per il confronto. Tutte le immagini sono state ridimensionate a 800×800 pixel per garantire dimensioni di input coerenti tra i model.

Il model YOLOv8n è stato caricato con pesi pre-addestrati (yolov8n.pt) dal repository Ultralytics e l'inference è stata eseguita utilizzando il metodo predict() tramite l'API Ultralytics YOLO. Il model DETR è stato caricato con l'architettura detr_resnet50 dalla libreria Facebook Research, e i suoi output, originariamente normalizzati nel formato [center_x, center_y, width, height], sono stati riscalati e convertiti nel formato di coordinate [x1, y1, x2, y2]. Una soglia di confidenza di 0,5 è stata applicata ai risultati di entrambi i model.

Il model GPT-4o Vision è stato valutato utilizzando l'API di OpenAI per le capacità di object detection. Per questo model, le immagini del dataset di validazione COCO sono state scaricate, le annotazioni sono state caricate e ogni immagine è stata convertita nel formato appropriato (ridimensionata a 800×800 pixel) prima di essere inviata all'API. Sono state richieste solo le detection appartenenti alle classi COCO in formato JSON, e le previsioni restituite dall'API sono state valutate utilizzando la stessa soglia di confidenza (0,5) e lo stesso formato di coordinate.

Nella valutazione, le bounding box previste dai model sono state confrontate con le bounding box ground truth calcolando l'Intersection over Union (IoU), con IoU ≥ 0,5 considerato come un match vero positivo. L'Average Precision (AP) è stata calcolata per ogni classe e la media di tutte le classi è stata riportata come metrica mAP@0.5. Oltre all'accuratezza, i tempi di inference sono stati misurati e confrontati. Inoltre, la complessità del model è stata analizzata in base ai FLOPs e al numero totale di parametri.

Per garantire un confronto equo, tutte le inference dei model sono state eseguite sullo stesso hardware (identica GPU/CPU). Gli stessi passaggi di pre-processing, ridimensionando tutte le immagini a 800×800 pixel e applicando la normalizzazione necessaria, sono stati applicati a tutti i model. Per il post-processing, le previsioni sono state convertite nello stesso formato di coordinate, è stata applicata costantemente una soglia di confidenza di 0,5 e sono stati adottati criteri uniformi di calcolo dell'IoU durante la valutazione.

All'interno di questo framework, i model YOLOv8n, DETR e GPT-4o Vision sono stati confrontati in termini di prestazioni di object detection e velocità; sono stati impiegati ulteriori aggiustamenti e metodi per benchmarkare le capacità di GPT-4o Vision rispetto agli attuali model di object detection.

Cita questo benchmark

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Ermut, Sıla},
  title  = {{Confronta i Large Vision Models: GPT-4o vs YOLOv8n}},
  year   = {2026},
  month  = apr,
  howpublished    = {\url{https://aimultiple.com/large-vision-models}},
  note   = {AIMultiple. Consultato il 24 Aprile 2026}
}

Collegamenti di riferimento

1.

Sora is here | OpenAI

2.

LandingLens: Deep-Learning Computer Vision Software Platform - LandingAI

LandingAI

3.

How to use Midjourney | Zapier

Zapier

4.

CLIP: Connecting text and images | OpenAI

5.

CLIP: Connecting text and images | OpenAI

6.

Image recognition software, ML image analysis, and video analysis – Amazon Rekognition – AWS

Cem Dilmegani

Analista principale

Segui

Cem è analista principale presso AIMultiple dal 2017. AIMultiple fornisce informazioni a centinaia di migliaia di aziende (secondo SimilarWeb), tra cui il 55% delle aziende Fortune 500, ogni mese. Il lavoro di Cem è stato citato da importanti pubblicazioni globali come Business Insider, Forbes, Washington Post, società globali come Deloitte e HPE, ONG come il World Economic Forum e organizzazioni sovranazionali come la Commissione Europea. È possibile consultare l'elenco di altre aziende e risorse autorevoli che hanno citato AIMultiple. Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, responsabile acquisti tecnologici e imprenditore nel settore tecnologico. Ha fornito consulenza alle aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per oltre un decennio. Ha anche pubblicato un report di McKinsey sulla digitalizzazione. Ha guidato la strategia tecnologica e gli acquisti di un'azienda di telecomunicazioni, riportando direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto un fatturato annuo ricorrente a 7 cifre e una valutazione a 9 cifre partendo da zero in soli 2 anni. Il lavoro di Cem in Hypatos è stato oggetto di articoli su importanti pubblicazioni tecnologiche come TechCrunch e Business Insider. Cem partecipa regolarmente come relatore a conferenze internazionali di settore. Si è laureato in ingegneria informatica presso l'Università di Bogazici e ha conseguito un MBA presso la Columbia Business School.

Visualizza il profilo completo

Ricercato da

Sıla Ermut

Analista di settore

Segui

Sıla Ermut è un'analista di settore presso AIMultiple, specializzata in email marketing e video di vendita. In precedenza, ha lavorato come reclutatrice in società di project management e consulenza. Sıla ha conseguito un Master in Psicologia Sociale e una laurea in Relazioni Internazionali.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento