Modelli Vision Language confrontati con il riconoscimento delle immagini

I modelli avanzati Vision Language (VLM) possono sostituire i tradizionali modelli di riconoscimento delle immagini? Per scoprirlo, abbiamo eseguito benchmark su 16 modelli leader in tre paradigmi: tradizionali CNN (ResNet, EfficientNet), VLM (come GPT-4.1, Gemini 2.5) e API Cloud (AWS, Google, Azure).

La Precisione Media Media (mAP) è stata la nostra metrica di accuratezza primaria, integrata da latenza, costi e analisi delle prestazioni specifiche per classe.

Puoi vedere la metodologia del benchmark da qui.

Benchmark accuratezza vs latenza

Nel nostro benchmark, abbiamo valutato i modelli lungo quattro dimensioni: latenza, precisione media media (mAP), prezzo e tasso di successo. La latenza misura il tempo che un modello impiega per elaborare una singola immagine, mentre la mAP riflette l'accuratezza complessiva della classificazione. Il tasso di successo traccia se un modello ha restituito un output JSON valido, particolarmente rilevante per i modelli linguistici visivi, che interpretano le immagini in linguaggio naturale piuttosto che in dati strutturati.

I tradizionali modelli di riconoscimento delle immagini, come EfficientNet, ResNet18, ResNet50, ResNet101 e DenseNet121, mostrano costantemente sia bassa latenza (0,03–0,2 secondi) che accuratezza competitiva (mAP 0,75–0,81). Tra questi, DenseNet121 e ResNet18 raggiungono i punteggi mAP più alti (rispettivamente 0,81 e 0,80), mentre EfficientNet segue da vicino (0,78). ResNet50 e ResNet101 mostrano prestazioni moderate all'interno di questo gruppo (0,75 e 0,77), ma tutti i modelli tradizionali superano significativamente gli strumenti di riconoscimento delle immagini basati sul cloud come AWS Rekognition, Google Cloud Vision e Azure Vision, che raggiungono un'accuratezza moderata (mAP 0,61–0,64) con latenze comprese tra 2–3,5 secondi. Ciò dimostra che i modelli tradizionali dominano sia nella velocità che nella precisione.

Per i modelli linguistici visivi, inclusi OpenAI GPT-4.1, Claude Opus 4.1, X-AI Grok 2 Vision, Meta-Llama/LLama-3.2-11B Vision Instruct e Google Gemini 2.5 Flash, le latenze sono significativamente più elevate, variando da 1 a 12 secondi, con valori mAP compresi tra 0,60 e 0,75. Google Gemini 2.5 Flash raggiunge 0,75 mAP, rendendolo il VLM più accurato nel nostro test. Tra gli altri VLM, GPT-4.1 si comporta bene con un mAP di 0,73, seguito da Claude Opus 4.1 (0,71) e X-AI Grok 2 Vision (0,70). GPT-4o-mini mostra prestazioni moderate (0,66 mAP), mentre Meta-Llama Vision Instruct è significativamente indietro (0,60 mAP).

La maggior parte dei modelli linguistici visivi restituisce in modo affidabile output JSON con un successo vicino al 100%, tranne che per Meta-Llama Vision Instruct, che ha avuto successo solo il 36% delle volte e Gemini 2.5 Pro, che ha fallito costantemente (0% di successo), limitando severamente la loro applicabilità pratica nelle pipeline automatizzate.

Sebbene i modelli linguistici visivi generalmente rimangano indietro rispetto ai tradizionali modelli di riconoscimento delle immagini in termini di velocità grezza, i VLM ad alte prestazioni come Google Gemini 2.5 Flash (0,75 mAP) e GPT-4.1 (0,73 mAP) raggiungono un'accuratezza di classificazione che si avvicina alle prestazioni delle CNN tradizionali e supera significativamente le API cloud come AWS Rekognition e Azure Vision. In termini di latenza, la maggior parte dei modelli linguistici visivi si concentra intorno a 3-4 secondi, tranne Meta-Llama, che è notevolmente più lento a 12 secondi, evidenziando l'impatto dell'architettura del modello e dell'ottimizzazione.

Complessivamente, i tradizionali modelli di riconoscimento delle immagini eccellono ancora sia nella velocità che nell'accuratezza. I VLM, tuttavia, mostrano promesse per il ragionamento multimodale e gli output strutturati, con latenza costantemente più alta, ma i migliori modelli raggiungono un'accuratezza che si avvicina alle CNN tradizionali e supera i servizi di riconoscimento delle immagini basati sul cloud.

Prestazioni specifiche per classe: dove i modelli eccellono e faticano

La nostra valutazione ha utilizzato sette classi sovrapposte che testano diversi aspetti del rilevamento degli oggetti:

• face: Rappresenta solo la regione del viso. Il modello deve rilevare il viso di una persona, il che può essere difficile a causa delle sue piccole dimensioni e dei dettagli fini.
• head: Copre l'intera testa escludendo il viso. Si concentra sul rilevamento della forma e della struttura della testa.
• head_with_helmet: Rappresenta la testa che indossa un casco. Il modello deve rilevare sia la testa che il casco insieme, testando la sua capacità di riconoscere la loro relazione.
• helmet: Rappresenta solo il casco, indipendentemente dalla presenza di una persona o di una testa. Importante per il rilevamento delle attrezzature.
• person: Rileva la presenza di una persona, con o senza casco. Funge da classe generale di rilevamento umano.
• person_no_helmet: Rappresenta una persona che non indossa un casco. Il modello deve identificare sia la presenza umana che l'assenza di casco.
• person_with_helmet: Rappresenta una persona che indossa un casco. Richiede di distinguere sia la presenza umana che l'uso del casco, strettamente correlato a person_no_helmet.

Queste classi sovrapposte e strettamente correlate possono essere impegnative per i modelli linguistici visivi, poiché interpretano le informazioni visive attraverso il linguaggio naturale piuttosto che catturare direttamente le differenze a livello di pixel fini.

Prestazioni delle CNN tradizionali

1. Classe Face
   • Migliore prestazione: EfficientNet e DenseNet121 (100%)
   • Più bassa: ResNet101 (95%)Il rilevamento del viso è altamente accurato tra le CNN, superando la maggior parte dei VLM.
2. Classe Head
   • Migliore: ResNet18 e DenseNet121 (69%)
   • Più bassa: ResNet50 (50%)Prestazioni moderate; le CNN faticano di più con il rilevamento della testa rispetto alle classi viso e casco.
3. Head e Head_with_helmet
   • Migliore prestazione: EfficientNet e ResNet18 (Head_with_helmet 98%, Head 65–69%)
   • Più bassa: ResNet50 (Head 50%, Head_with_helmet 96%)Le CNN si comportano molto bene sulle teste con casco, raggiungendo un'accuratezza del 96–98% in tutti i modelli. Il rilevamento delle teste nude è più difficile, con un'accuratezza inferiore (50–69%), indicando che le CNN distinguono oggetti prominenti come i caschi meglio di regioni meno distinte come le teste senza casco.
4. Classe Person
   • Tutti i modelli: 0% di accuratezza
5. Person_no_helmet
   • Migliore: DenseNet121 (72%)
   • Più bassa: ResNet50 (53%)Le CNN gestiscono questa classe impegnativa meglio dei VLM, evidenziando la loro capacità di catturare dettagli fini.
6. Person_with_helmet
   • Migliore: EfficientNet (98%)
   • Più bassa: DenseNet121 (96%)Alta accuratezza in tutti i modelli; le persone con casco sono riconosciute costantemente.

Prestazioni dei modelli linguistici visivi

1. Classe Face (rilevamento del viso)
   • Migliore prestazione: Claude Opus 4.1 (83%)
   • La più debole: Meta-Llama Vision Instruct (4%) e GPT-4o-mini (12%)I VLM generalmente si comportano peggio su oggetti piccoli e dettagliati come i volti; Meta-Llama e GPT-4o-mini faticano con i dettagli fini.
2. Head e Head_with_helmet
   • Head: Claude Opus 4.1 (96%) più alto, Meta-Llama (30%) più basso
   • Head_with_helmet: GPT-4.1 (99%) e Gemini 2.5 Flash (98%) più alti, Meta-Llama (50%) più bassoI modelli si comportano bene nel rilevamento della testa con o senza caschi; la maggior parte raggiunge un'accuratezza del 90%+ tranne Meta-Llama.
3. Classe Helmet
   • Più alto: Grok 2 Vision (100%), GPT-4.1 (99%), Gemini 2.5 Flash (98%)
   • Più basso: Meta-Llama (52%)Distinguere oggetti con casco da quelli senza casco è generalmente più facile, ma Meta-Llama ha prestazioni inferiori.
4. Classe Person
   • Tutti i modelli raggiungono il 100%, probabilmente a causa di oggetti grandi e chiari.
5. Person_no_helmet
   • Migliore: GPT-4.1 e Gemini 2.5 Flash (58%)
   • Più basso: Meta-Llama (18%) e GPT-4o-mini (29%)Rilevare dettagli fini come l'assenza di casco è difficile; alcuni modelli eccellono su oggetti prominenti ma rimangono indietro su classi sfumate.
6. Person_with_helmet
   • Più alto: GPT-4.1 (98%) e Gemini 2.5 Flash (98%)
   • Più basso: Meta-Llama (55%)La maggior parte dei modelli si comporta molto bene qui.

Prestazioni delle API Cloud

• Classe Face
  • Migliore: AWS Rekognition (22%)
  • Più bassa: Google Cloud Vision (0%)Il rilevamento del viso è generalmente scarso tra le API Cloud; le distinzioni fini come i volti sono impegnative.
• Head e Head_with_helmet
  • Head: AWS Rekognition (24%) migliore, Azure Vision più basso (0%)
  • Head_with_helmet: AWS Rekognition (10%) migliore, Azure Vision (1%) più basso Il rilevamento delle teste, specialmente con o senza casco, è limitato; le API Cloud si concentrano su oggetti più ampi piuttosto che sui dettagli fini.
• Classe Helmet
  • Migliore: AWS Rekognition (94%)
  • Più bassa: Azure Vision (37%)Il rilevamento del casco ha un successo moderato per alcune API (AWS), ma è incoerente tra i provider.
• Classe Person
  • Tutti i modelli: 100% Oggetti grandi e chiari come persone intere sono rilevati in modo affidabile da tutte le API Cloud.
• Person_no_helmet
  • Migliore: Azure Vision (78%)
  • Più bassa: Google Cloud Vision (26%)Le prestazioni variano ampiamente; alcune API possono gestire classi impegnative in modo moderatamente buono.
• Person_with_helmet
  • Migliore: AWS Rekognition (94%)
  • Più bassa: Azure Vision (37%) Le persone con casco sono rilevate in modo affidabile da AWS ma in modo incoerente da altri provider.

Per i visi, le CNN raggiungono la massima accuratezza, seguite dai VLM, mentre le API Cloud si comportano male. Nelle classi head e head_with_helmet, le CNN rimangono forti, i VLM si comportano bene sulle teste con casco ma meno coerentemente sulle teste nude, e le API Cloud faticano con entrambe. Per i caschi, le CNN e i VLM generalmente si comportano molto bene, mentre le API Cloud mostrano un successo variabile. Nella classe person, tutti i paradigmi rilevano persone intere in modo affidabile. Per person_no_helmet, le CNN superano sia i VLM che le API Cloud, dimostrando una gestione superiore dei dettagli fini. Infine, per person_with_helmet, le CNN e i VLM mantengono un'alta accuratezza, mentre le API Cloud mostrano prestazioni incoerenti a seconda del provider.

Precisione, recall e F1-score

La Precisione misura quanti dei predittivi positivi di un modello sono effettivamente corretti. In altre parole, risponde alla domanda: "Dei predittivi che il modello ha etichettato come positivi, quanti sono davvero corretti?"

Il Recall misura quanti degli istanze positive effettive il modello identifica con successo. Risponde alla domanda: "Di tutti i casi veri positivi, quanti ha rilevato il modello?"

Lo F1-Score è un riepilogo equilibrato di precisione e recall. Fornisce una singola metrica che riflette sia l'accuratezza che la copertura, particolarmente utile quando si vuole bilanciare precisione e recall.

I modelli basati su CNN (ResNet50, ResNet101, DenseNet121) mostrano alte prestazioni sia nella precisione (0,93–0,95) che nel recall (0,91–0,94), risultando in alti F1-score (0,92–0,93). Ciò indica che sono sia altamente accurati nelle loro previsioni che capaci di catturare la maggior parte delle istanze vere positive. EfficientNet mostra anche un alto F1-score (0,92), offrendo prestazioni coerenti e affidabili.

Le API Cloud (AWS Rekognition, Google Cloud Vision, Azure Vision) hanno precisione e recall più basse, con F1-score che variano da 0,32 a 0,58. Ciò suggerisce che, sebbene i servizi cloud siano ottimizzati per compiti di uso generale, la loro accuratezza nelle distinzioni di classe fini è limitata.

I modelli linguistici visivi mostrano prestazioni più variabili. GPT-4.1, X-AI Grok 2 Vision e Claude Opus 4.1 raggiungono esattamente F1-score di 0,76, mentre Google Gemini 2.5 Flash si comporta leggermente meglio con un F1-score di 0,80. Sebbene questi modelli dimostrino prestazioni forti in alcune classi, generalmente rimangono indietro rispetto alle CNN nell'accuratezza complessiva. Meta-Llama Vision Instruct ha un F1-score di 0,47, con sia bassa precisione che recall, il che significa che il modello fatica sia nel fare previsioni corrette che nel catturare veri positivi.

Possibili ragioni dietro le differenze di prestazioni

Vantaggio dell'architettura CNN

Le CNN tradizionali sono specializzate nell'estrazione di caratteristiche a livello di pixel, consentendo un rilevamento rapido e accurato di oggetti fini. I loro livelli convoluzionali ottimizzati e le mappe di caratteristiche gerarchiche consentono bassa latenza e alto mAP su compiti standard di riconoscimento delle immagini.

Sovraccarico multimodale nei VLM

I modelli linguistici visivi elaborano sia immagini che testo, aggiungendo passaggi di allineamento dell'attenzione incrociata e delle embedding. Ciò abilita il ragionamento e gli output contestuali ma aumenta il tempo di inferenza, portando a una latenza più alta rispetto alle CNN.

Rilevamento di classe fine

Classi sovrapposte o sottili (ad esempio, person_no_helmet vs person_with_helmet) evidenziano le differenze tra i modelli. Le CNN catturano costantemente questi dettagli, i VLM si comportano bene su oggetti prominenti ma faticano con distinzioni sottili, e le API Cloud si concentrano su classi ampie, limitando l'accuratezza.

Affidabilità dell'output strutturato

La generazione incoerente di JSON influisce sulle prestazioni dei VLM. I modelli con bassi tassi di successo appaiono meno efficaci nelle pipeline, mentre le CNN e le API Cloud producono output prevedibili e deterministici.

Quale dovresti scegliere?

Le CNN tradizionali sono ideali per applicazioni critiche per la velocità in cui i tempi di risposta in millisecondi contano, come l'elaborazione video in tempo reale, i veicoli autonomi o i sistemi di sicurezza industriale. Con la loro superiore accuratezza (mAP 0,75–0,81) e un'inferenza fulminea (0,03–0,2s), questi modelli AI tradizionali eccellono quando hai bisogno di prestazioni affidabili e coerenti senza il sovraccarico dell'elaborazione del linguaggio naturale o della complessità del modello. Le CNN si concentrano su compiti di dati e classificazione delle immagini come il rilevamento degli oggetti, offrendo sia accuratezza visiva che efficienza senza bisogno di fine tuning su modelli multimodali.

I Modelli Linguistici Visivi (VLM) brillano quando hai bisogno di comprensione contestuale e output flessibili. Questi modelli linguistici visivi funzionano sia su modalità visive che testuali, consentendo ai large language models di elaborare input di immagini insieme a descrizioni testuali. Perfetti per applicazioni che richiedono spiegazioni in linguaggio naturale, didascalie delle immagini, compiti di ragionamento visivo o persino risposte a domande visive, sfruttano encoder visivi e livelli di attenzione incrociata per allineare coppie di testo e immagini nello stesso spazio dimensionale. Mentre accetti una latenza più alta (3–12s), le capacità di ragionamento che portano alla comprensione delle immagini, agli elementi visivi e alle istruzioni visive li rendono ideali per compiti a valle più specifici come la moderazione intelligente dei contenuti, la generazione di immagini, il ragionamento matematico visivo o assistenti visivi interattivi. Utilizzando un fine tuning efficiente dei parametri con dati di addestramento di alta qualità, i modelli linguistici visivi (VLM) diventano potenti modelli di machine learning che unificano informazioni visive e testuali sotto uno spazio di embedding condiviso.

Le API Cloud forniscono risposte dettagliate e complete con metadati ricchi e punteggi di confidenza, rendendole ideali quando hai bisogno di informazioni estese oltre la semplice classificazione. Queste API spesso si affidano a componenti di encoder visivi pre-addestrati e encoder visivi addestrati su grandi dataset pubblici di modelli di didascalie concettuali e foto pertinenti. Ideali per applicazioni che richiedono output JSON strutturati, bounding box, localizzazione degli oggetti o comprensione di video lunghi, sono soluzioni pronte all'uso senza la necessità di un robusto addestramento del modello o gestione dell'infrastruttura. Sebbene la loro accuratezza sia moderata (mAP 0,61–0,66), riducono i dettagli tecnici e i costi dell'infrastruttura, abilitando compiti come la generazione automatizzata di rapporti, l'estrazione del significato semantico e l'integrazione di framework unificati con modelli generativi esistenti.

Calcolatore dei prezzi

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.

Aggiungi come fonte preferita

Modelli linguistici visivi (VLM) – Caratteristiche chiave e vantaggi

Ragionamento multimodale

I modelli linguistici visivi (VLM) sono potenti modelli multimodali che possono elaborare simultaneamente modalità visive e testuali, consentendo loro di interpretare informazioni visive e testuali in modo più ricco e consapevole del contesto. Allineando l'input dell'immagine con prompt in linguaggio naturale, abilitano compiti avanzati come la didascalia automatica delle immagini, il rilevamento dei caschi nelle registrazioni di sicurezza, i compiti di ragionamento visivo, le risposte a domande visive e persino la spiegazione dei contenuti visivi in linguaggio naturale. A differenza dei modelli AI tradizionali che si concentrano solo sui dati visivi, i VLM combinano le capacità visive con il ragionamento dei large language models, rendendoli ideali per compiti a valle complessi.

Output strutturato e generazione di JSON

Molti modelli linguistici visivi possono generare output strutturati come JSON, che è prezioso per le pipeline automatizzate e le applicazioni che richiedono descrizioni testuali insieme alle caratteristiche delle immagini. Nel nostro benchmark, ChatGPT-5 e Gemini 2.5 Pro hanno fallito costantemente, mentre Meta-Llama Vision Instruct ha avuto successo solo circa il 36% delle volte. Gli output strutturati sono particolarmente utili per gli assistenti visivi, abilitando compiti come il rilevamento degli oggetti, la localizzazione degli oggetti e la produzione di dati affidabili per i modelli di machine learning senza un esteso fine tuning.

Capacità di fine tuning

I VLM supportano un fine tuning efficiente dei parametri con dati di addestramento relativamente piccoli, consentendo un adattamento rapido a compiti di ragionamento visivo specifici del dominio. Ad esempio, possono essere fine-tuned per distinguere individui con o senza casco o attrezzature di sicurezza specializzate in scenari di input di immagini. Sfruttando architetture di encoder visivi pre-addestrati e tecniche di addestramento del modello robuste, possono generalizzare meglio con meno didascalie concettuali o coppie di testo e immagini.

Limiti dei modelli linguistici visivi

Latenza e velocità

Confrontati con le CNN tradizionali o modelli visivi più semplici, i modelli linguistici visivi hanno tipicamente una latenza più alta, che può limitare le applicazioni in tempo reale come la comprensione di video lunghi. Alcuni modelli multimodali, come X-AI Grok 2 Vision e Google Gemini 2.5 Flash, sono più vicini alle API cloud in termini di velocità, ma Meta-Llama è notevolmente più lento. Il compromesso deriva dal loro design end to end del modello e dai livelli di attenzione incrociata, che migliorano le capacità di ragionamento ma aumentano il tempo di inferenza.

Sfide per classe

I modelli linguistici visivi a volte faticano con classi sovrapposte e riconoscimento di oggetti fini, come differenziare tra una "head" e una "head_with_helmet" o tra "person_no_helmet" e "person_with_helmet". Sebbene alcuni modelli si comportino bene su classi con casco, hanno prestazioni inferiori in altri compiti di ragionamento visivo come il rilevamento dei volti o elementi visivi sottili. Ciò evidenzia l'importanza di dati di addestramento di alta qualità e un attento fine tuning quando si mirano a compiti a valle più specifici.

Affidabilità dell'output strutturato

La coerenza degli output strutturati come JSON varia ampiamente. Sebbene alcuni VLM generino in modo affidabile output validi, altri falliscono in casi d'uso particolari, limitando la loro utilità in pipeline completamente automatizzate. Anche con backbones di encoder visivi pre-addestrati e approcci di spazio di embedding condiviso, alcuni modelli non riescono ancora a mantenere il significato semantico nell'output strutturato. Questa incoerenza sottolinea la necessità di un robusto addestramento del modello, foto pertinenti nel dataset e continui miglioramenti nei modelli generativi per le modalità visive e linguistiche.

Metodologia del benchmark

Hanno condotto la nostra valutazione completa utilizzando il dataset di rilevamento dei caschi di sicurezza SHEL5K, utilizzando specificamente le prime 500 immagini per garantire un confronto coerente tra tutte le architetture dei modelli. Il dataset contiene sette classi sovrapposte progettate per testare le capacità di rilevamento di oggetti fini: face, head, head_with_helmet, helmet, person, person_no_helmet e person_with_helmet.

Preprocessing dei dati

Le annotazioni originali del dataset SHEL5K erano fornite in formato XML. Abbiamo sviluppato una pipeline di preprocessing per convertire queste annotazioni in un formato CSV multi-etichetta adatto per una valutazione sistematica:

Ogni immagine è stata mappata alle sue etichette ground truth corrispondenti, creando un framework di valutazione standardizzato. Per le CNN tradizionali, le immagini sono state pre-elaborate a una risoluzione di 224×224 con normalizzazione standard. I modelli linguistici visivi e le API cloud hanno ricevuto le immagini nel loro formato originale per preservare le informazioni contestuali.

Protocollo di valutazione delle CNN tradizionali

Le tradizionali reti neurali convoluzionali (EfficientNet, varianti ResNet, DenseNet121) hanno subito un fine tuning supervisionato utilizzando le migliori pratiche consolidate:

Configurazione dell'addestramento:

• Architettura: Modelli pre-addestrati con testine di classificazione modificate
• Funzione di perdita: BCEWithLogitsLoss per la classificazione multi-etichetta
• Ottimizzatore: Adam con learning rate 1e-4
• Epoch di addestramento: 5
• Divisione dei dati: 80% addestramento, 20% validazione
• Dimensione del batch: 16

Framework di test dei modelli linguistici visivi

I VLM sono stati valutati attraverso prompt attentamente strutturati progettati per elicita risposte coerenti e leggibili dalle macchine. Il nostro approccio di ingegneria dei prompt ha richiesto punteggi di confidenza in formato JSON per ogni classe.

Configurazione della API:

• Temperatura: 0,1 (bassa temperatura per coerenza)
• Max tokens: 800
• Modelli testati tramite integrazione OpenRouter API
• Parsing JSON con gestione degli errori e convalida del formato

Monitoraggio del tasso di successo: Abbiamo monitorato la percentuale di risposte JSON valide, poiché i VLM a volte generano spiegazioni in linguaggio naturale invece di output strutturati. Questa metrica si è rivelata cruciale per valutare la fattibilità del deployment pratico.

Integrazione delle API Cloud e mappatura delle etichette

Le API Cloud presentavano sfide uniche a causa della loro natura di uso generale e delle diverse tassonomie. Abbiamo sviluppato strategie di mappatura complete per ogni servizio:

Strategia di mappatura delle etichette:

Le API Cloud presentano una sfida fondamentale: non sono state progettate per la nostra tassonomia specifica di sette classi. Questi servizi restituiscono etichette di uso generale come "persona", "casco", "operaio edile" o "attrezzatura di sicurezza" piuttosto che le combinazioni precise di cui abbiamo bisogno per valutare (come "person_with_helmet" o "head_with_helmet").

Per affrontare questa limitazione, abbiamo sviluppato dizionari di mappatura completi per ogni servizio cloud basati sui loro output. La mappatura di Azure Computer Vision includeva 50+ varianti di etichette che coprono i diversi modi in cui la API potrebbe descrivere le persone (persona, uomo, donna, operaio, individuo), i caschi (casco, elmetto, casco di sicurezza, cappello) e le caratteristiche facciali (viso, viso umano, ritratto). Mappature estese simili sono state create per AWS Rekognition e Google Cloud Vision, ciascuna adattata al vocabolario specifico e ai modelli di etichettatura di quel servizio.

Logica di inferenza della classe combinata:

Aspetto più sofisticato della nostra valutazione delle API Cloud ha coinvolto l'inferenza di classi combinate che le API non riconoscono esplicitamente. Abbiamo implementato una logica basata su regole per rilevare quando più elementi di base appaiono insieme:

Quando vengono rilevati sia "persona" che "casco" nella stessa immagine con sufficiente confidenza, il sistema inferisce "person_with_helmet" utilizzando il punteggio di confidenza minimo tra le due rilevazioni (approccio conservativo). Allo stesso modo, rilevare "head" e "casco" simultaneamente attiva la classificazione "head_with_helmet".

Per le classificazioni negative, quando viene rilevata una persona ma non viene trovato un casco, il sistema inferisce "person_no_helmet" con una confidenza leggermente ridotta (90% della confidenza originale della persona) per tenere conto dell'incertezza intrinseca nell'inferenza negativa.

Questo approccio riconosce che le API Cloud eccellono nel rilevare oggetti individuali ma faticano con il ragionamento relazionale sulle combinazioni di oggetti – una limitazione chiave quando si valutano compiti di classificazione fini e dipendenti dal contesto.

Metriche di valutazione e analisi statistica

Metriche principali:

• Precisione Media Media (mAP): Misura di accuratezza primaria utilizzando la media macro tra le classi
• Precisione, Recall, F1-Score: Micro-medie per la valutazione delle prestazioni complessive
• Accuratezza per classe: Prestazioni individuali per classe per un'analisi dettagliata
• Latenza: Tempo di elaborazione end-to-end per immagine
• Tasso di successo: Percentuale di output validi (particolarmente rilevante per i VLM)

Selezione della soglia: Una soglia di classificazione di 0,5 è stata applicata coerentemente su tutti i modelli, con i VLM che utilizzano punteggi di confidenza e i modelli tradizionali che utilizzano logit attivati da sigmoide.

Robustezza statistica: Ogni modello è stato valutato su set di immagini identici con preprocessing coerente per garantire un confronto equo. Le misurazioni della latenza sono state mediate su più esecuzioni per tenere conto della varianza del sistema.

Controlli sperimentali e limitazioni

Controlli implementati:

• Set di test identico di 500 immagini su tutti i modelli
• Metriche e soglie di valutazione coerenti
• Gestione standardizzata degli errori e procedure di timeout
• Molteplici rotazioni delle chiavi API per gestire i limiti di velocità

Cita questo benchmark

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Şipi, Nazlı},
  title  = {{Modelli Vision Language confrontati con il riconoscimento delle immagini}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/vision-language-models}},
  note   = {AIMultiple. Consultato il 30 Giugno 2026}
}

Cem Dilmegani

Analista principale

Segui

Cem è analista principale presso AIMultiple dal 2017. AIMultiple fornisce informazioni a centinaia di migliaia di aziende (secondo SimilarWeb), tra cui il 55% delle aziende Fortune 500, ogni mese. Il lavoro di Cem è stato citato da importanti pubblicazioni globali come Business Insider, Forbes, Washington Post, società globali come Deloitte e HPE, ONG come il World Economic Forum e organizzazioni sovranazionali come la Commissione Europea. È possibile consultare l'elenco di altre aziende e risorse autorevoli che hanno citato AIMultiple. Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, responsabile acquisti tecnologici e imprenditore nel settore tecnologico. Ha fornito consulenza alle aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per oltre un decennio. Ha anche pubblicato un report di McKinsey sulla digitalizzazione. Ha guidato la strategia tecnologica e gli acquisti di un'azienda di telecomunicazioni, riportando direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto un fatturato annuo ricorrente a 7 cifre e una valutazione a 9 cifre partendo da zero in soli 2 anni. Il lavoro di Cem in Hypatos è stato oggetto di articoli su importanti pubblicazioni tecnologiche come TechCrunch e Business Insider. Cem partecipa regolarmente come relatore a conferenze internazionali di settore. Si è laureato in ingegneria informatica presso l'Università di Bogazici e ha conseguito un MBA presso la Columbia Business School.

Visualizza il profilo completo

Ricercato da

Nazlı Şipi

Ricercatore di intelligenza artificiale

Segui

Nazlı è un'analista di dati presso AIMultiple. Ha maturato esperienza nell'analisi dei dati in diversi settori, dove si è occupata di trasformare set di dati complessi in informazioni utili.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento