Analisi comparativa dei 16 migliori modelli di embedding open source per RAG

La maggior parte dei benchmark di embedding misura la similarità semantica. Noi abbiamo misurato la correttezza. Abbiamo testato 16 modelli open-source, da embedding con 23 milioni di parametri a embedding con 8 miliardi di parametri, su 490.000 recensioni di prodotti Amazon, assegnando un punteggio a ciascuno in base alla capacità di recuperare la recensione del prodotto corretta tramite una corrispondenza esatta dell'ASIN, e non solo documenti tematicamente simili.

Panoramica di riferimento sui modelli di integrazione open source

Abbiamo valutato l'accuratezza e la velocità di recupero su 100 query curate manualmente, che comprendono sia modelli leggeri ottimizzati per la velocità, sia embedding su larga scala basati su LLM progettati per la massima comprensione semantica.

Precisione: prestazioni di recupero Top-K

Che cos'è l'accuratezza top-K?

La precisione Top-K misura la frequenza con cui il documento corretto compare tra i primi K risultati recuperati:

• Top-1: La risposta corretta è classificata al primo posto (la più precisa).
• Top-3: La risposta corretta compare tra i primi 3 risultati
• Top-5: La risposta corretta compare tra i primi 5 risultati (particolarmente rilevante per RAG, che in genere utilizza da 3 a 5 documenti di contesto).
• Media: Precisione media tra Top-1, Top-3 e Top-5

Una maggiore precisione significa che il modello riesce a individuare la recensione del prodotto corretta con maggiore frequenza.

Principali spunti emersi dai risultati sull'accuratezza:

Prestazioni perfette nella Top 5: Tre modelli della famiglia e5 (e5-small, e5-base-instruct, e5-large-instruct) hanno raggiunto il 100% di precisione nella Top 5. Non hanno mai sbagliato la risposta corretta quando sono stati concessi 5 tentativi.

Vincitore assoluto: llama-embed-nemotron-8b ha raggiunto una precisione Top-1 del 62%, la più alta tra tutti i modelli testati, compresi quelli 70 volte più piccoli.

I modelli di grandi dimensioni deludono nella Top-5: nonostante abbiano 7-8 miliardi di parametri e vettori a 4096 dimensioni, i modelli più grandi (e5-mistral-7b, gte-qwen2-7b, sfr-mistral, gritlm-7b, llama-embed-nemotron-8b) hanno raggiunto solo l'82-90% di accuratezza nella Top-5. Il modello e5-small da 118 milioni di parametri li ha superati tutti con il 100% nella Top-5.

Il paradosso dell'efficienza: e5-small elabora le query 14 volte più velocemente di llama-embed-nemotron-8b (16 ms contro 195 ms) ottenendo al contempo una maggiore accuratezza Top-5 (100% contro 88%).

Il miglior modello di grandi dimensioni: gritlm-7b ha raggiunto la più alta accuratezza Top-5 (90%) tra i modelli 7B+, ma mostra un'anomalia di classificazione. La sua accuratezza Top-1 (38%) è la più bassa della sua categoria, il che indica che il modello trova i documenti corretti ma ha difficoltà a classificarli al primo posto.

Il cluster del 56%: Cinque modelli (jina-v3, qwen3-0.6b, snowflake-arctic, all-MiniLM-L6-v2 e altri) si sono stabilizzati al 56% di accuratezza Top-5, mostrando un chiaro divario prestazionale rispetto ai leader.

Le dimensioni non sono sinonimo di precisione: il modello più piccolo (e5-small, 118 milioni di parametri) ha superato modelli 70 volte più grandi nel recupero dei primi 5 risultati per la ricerca di prodotti.

Il modello all-MiniLM-L6-v2 (oltre 200 milioni di download su HuggingFace) ha raggiunto solo il 56% di accuratezza Top-5 e il 28% Top-1, posizionandosi tra i punteggi più bassi. La sua architettura del 2019 non è in grado di competere con i moderni modelli ottimizzati per il recupero delle informazioni.

Latenza

Che cos'è la latenza?

• Latenza (ms): tempo necessario solo per la generazione dell'embedding (conversione del testo in vettore). Un valore inferiore è migliore. Il tempo di ricerca del vettore non è incluso in queste misurazioni.

Queste metriche misurano la velocità con cui un modello è in grado di servire gli utenti in ambiente di produzione.

Principali spunti emersi dai risultati delle prestazioni:

Campione di velocità: e5-small ha registrato una latenza di embedding di 16 ms, risultando il modello più veloce tra quelli testati. È 14 volte più veloce del gruppo di modelli più grandi (187-221 ms).

Il problema della latenza: tutti i modelli con più di 7 miliardi di parametri presentano una latenza compresa tra 187 e 221 ms, circa 10 volte più lenta rispetto ai modelli con meno di 1 miliardo di parametri. Questo li rende inadatti alla ricerca in tempo reale per l'utente finale senza accelerazione GPU.

Il divario prestazionale di 14 volte: e5-small elabora 14 query nello stesso tempo in cui llama-embed-nemotron-8b ne elabora 1, ottenendo inoltre un'accuratezza Top-5 superiore del 12%.

Cluster con latenza inferiore a 30 ms: cinque modelli (e5-small, all-MiniLM-L6-v2, mpnet-base-v2, e5-base-instruct e bge-m3) hanno raggiunto una latenza inferiore a 30 ms, risultando quindi adatti per applicazioni in tempo reale.

La soluzione ideale per la produzione: e5-small e e5-base-instruct combinano elevata precisione (100% Top-5) e bassa latenza (inferiore a 30 ms), risultando perfetti per i sistemi RAG di produzione.

Compromesso importante tra i modelli: se hai bisogno della massima precisione Top-1 e puoi tollerare una latenza di circa 200 ms, llama-embed-nemotron-8b offre la migliore precisione di classificazione (62% Top-1) tra tutti i modelli testati.

Nota: questi sono i tempi di inferenza del modello puro senza operazioni sul database vettoriale. Tutti i modelli sono stati testati su GPU H100 con precisione BF16.

Caratteristiche tecniche dei modelli di embedding open source

Comprensione delle specifiche tecniche:

• Parametri: la dimensione del modello in milioni di pesi addestrabili. I modelli più grandi (oltre 500 milioni) hanno una maggiore capacità di apprendere schemi complessi, ma richiedono più memoria e potenza di calcolo.
• Dimensione: la lunghezza del vettore in cui viene convertito ciascun testo (ad esempio, 384 significa che ogni documento diventa un vettore di 384 numeri). Dimensioni più elevate (1024) possono catturare maggiori sfumature semantiche, ma richiedono più spazio di archiviazione e calcoli di similarità più lenti.
• Lunghezza massima: il numero massimo di token (approssimativamente parole) che il modello può elaborare in un singolo input. I modelli con una lunghezza massima di 8192 possono gestire documenti molto lunghi senza suddivisione in blocchi, mentre i modelli con 512 token richiedono la suddivisione dei testi più lunghi.

Punto chiave: specifiche più elevate non significano automaticamente prestazioni migliori. Il modello e5-small (118 milioni di parametri, 384 dimensioni, 512 token) ha ottenuto i risultati migliori nonostante avesse le specifiche più basse nella fascia alta.

Metodologia di benchmarking

Corpus e query

Set di dati: 490.000 recensioni di clienti Amazon (categoria Salute e cura della persona)

• Ogni recensione = singolo vettore di documenti
• Indicizzato in Qdrant con similarità coseno

Set di test: 100 query selezionate manualmente

• Domande reali degli utenti (ad esempio, "Questo probiotico fa bene alla digestione?")
• Ciascuno è associato a un prodotto corretto tramite verifica ASIN.

Corrispondenza con i dati di terra

La nostra valutazione utilizza il codice ASIN (Amazon Standard Identification Number) del prodotto per una corrispondenza esatta:

1. La query specifica l'ASIN del prodotto di destinazione
2. Il modello recupera i 5 documenti migliori (classificati in base alla similarità del coseno).
3. Il sistema verifica se uno qualsiasi dei documenti recuperati corrisponde all'ASIN reale
4. Esito binario: Corrispondenza = Successo ✓, Nessuna corrispondenza = Mancato ✗

Esempio:

Ciò garantisce la correttezza fattuale a livello di prodotto , non solo la somiglianza semantica.

Il ruolo della similarità del coseno

Nei casi in cui si utilizza la similarità del coseno:

• Qdrant classifica internamente tutti i 490.000 documenti in base alla somiglianza con la query
• Vengono restituiti i 5 documenti con il punteggio più alto

Dove NON viene utilizzato:

• La verifica della verità di base utilizza la corrispondenza esatta dell'ASIN (uguaglianza di stringa).
• Punteggio di similarità elevato ≠ risposta corretta

Perché è importante:

Un modello potrebbe recuperare documenti molto simili ma fattualmente errati:

Ciò dimostra perché la correttezza fattuale sia più importante della rilevanza semantica per i sistemi RAG.

Configurazione di valutazione

Hardware: NVIDIA GPU H100 da 80 GB tramite RunPod con precisione BF16 (bfloat16)

Database vettoriale: Qdrant (istanza locale)

Modalità: Zero-shot (nessuna regolazione fine)

Garanzie di equità:

• Stesso corpus di 490.000 parole per tutti i modelli
• Stesse 100 query
• Stesso hardware (H100 su RunPod) e stessa pipeline di preelaborazione
• Collezioni isolate (nessuna dispersione del vettore)
• Dimensioni di incorporamento native per modello
• Precisione BF16 per tutti i modelli

Metrica

Precisione Top-K:

Misurato a K=1, 3 e 5. Il valore Top-5 è il più rilevante poiché i sistemi RAG utilizzano in genere da 3 a 5 documenti di contesto.

Prestazione:

• Latenza media: tempo medio impiegato per la sola generazione dell'embedding (conversione da testo a vettore).

Limitazioni

Specificità del dominio: i risultati riflettono il recupero di prodotti per la salute e la cura della persona. Le prestazioni potrebbero variare nei domini di ricerca legale, finanziaria o di codice.

Dipendenza hardware: tutti i modelli sono stati testati su NVIDIA H100 80GB con precisione BF16. Le prestazioni saranno diverse su:

• GPU consumer (RTX 3090/4090): 2-3 volte più lente, potrebbero richiedere la quantizzazione INT8 per i modelli 7B+
• GPU cloud (A100, L40S): prestazioni simili a quelle dell'H100
• Inferenza solo CPU: da 10 a 50 volte più lenta a seconda delle dimensioni del modello

Requisiti di memoria della GPU: i modelli più grandi (7B+) richiedono circa 16-20 GB di VRAM con precisione BF16. Le GPU consumer con meno VRAM potrebbero richiedere la quantizzazione INT8, che può influire sulla precisione del 5-10%.

Corrispondenza basata su ASIN: il nostro approccio misura l'accuratezza a livello di prodotto. Set di dati alternativi privi di identificatori univoci richiederebbero metodi di verifica differenti.

Solo zero-shot: modelli testati senza ottimizzazione specifica del dominio. I modelli ottimizzati potrebbero ottenere classifiche diverse.

modelli di integrazione open source

llama-embed-nemotron-8b

Il modello di embedding di punta di NVIDIA, basato su Llama-3.1-8B con attenzione bidirezionale, è progettato per sistemi RAG aziendali che richiedono la massima comprensione semantica.

Nella nostra valutazione:

• Il modello con la più alta accuratezza Top-1 (62%) tra tutti i 16 modelli. Classifica la risposta corretta al primo posto più spesso di qualsiasi altro modello.
• Ottima precisione tra i primi 5 risultati (88%), ma comunque inferiore al punteggio perfetto della famiglia e5.

Ideale per: implementazioni aziendali in cui la precisione di prim'ordine è fondamentale e l'infrastruttura GPU è disponibile.

e5-piccolo

Un codificatore di recupero multilingue compatto, ottimizzato per la ricerca semantica ad alta velocità, comunemente utilizzato in RAG in tempo reale, sistemi di raccomandazione e recupero di prodotti. Addestrato per un recupero contrastivo efficiente, è progettato per massimizzare la velocità di inferenza senza compromettere la qualità del ranking.

Nella nostra valutazione, ha offerto il miglior equilibrio complessivo:

• Precisione del 100% nel recupero dei primi 5 risultati
• La latenza più bassa

e5-base-instruct

Le istruzioni sono ottimizzate per l'allineamento tra query e documenti, il che lo rende particolarmente adatto alla ricerca consapevole del compito, agli assistenti IA e ai processi di recupero guidato. Il suo obiettivo di addestramento migliora la comprensione immediata in fase di integrazione, aumentando la precisione per le query strutturate.

e5-large-instruct

Una variante ad alta capacità progettata per il recupero di informazioni con priorità all'accuratezza in ambienti di ricerca aziendale, acquisizione di prove legali e query complesse. Beneficia di un apprendimento più approfondito delle rappresentazioni, ma comporta costi di inferenza maggiori.

Abbiamo osservato un'accuratezza Top-K competitiva, ma compromessi significativi in termini di latenza e QPS, a conferma del fatto che la sola dimensione del modello non garantisce un recupero migliore in produzione.

gte-multilingue

Un modello di recupero denso per oltre 70 lingue, creato per la ricerca multilingue e la scoperta di contenuti globali, spesso utilizzato per l'assistenza clienti multilingue e le basi di conoscenza internazionali.

Ha fornito un'accuratezza di recupero affidabile ma una latenza maggiore rispetto ai modelli che privilegiano l'ottimizzazione, suggerendo che la generalizzazione linguistica ampia introduce un sovraccarico computazionale anche in condizioni di test monolingue.

bge-m3

Un codificatore multi-rappresentazione che supporta il recupero vettoriale denso, sparso e ibrido, progettato per documenti lunghi e pipeline di ricerca multi-vettore. Spesso utilizzato in sistemi di ricerca lessico-semantica ibridi che richiedono flessibilità.

Nonostante la versatilità architettonica, ha ottenuto risultati inferiori rispetto a modelli ottimizzati più piccoli in termini di accuratezza Top-K e ha presentato una latenza maggiore, evidenziando come la progettazione di embedding multi-obiettivo non si traduca sempre in una maggiore precisione di recupero.

nomic-embed-v1.5

Un modello di embedding Mixture-of-Experts con riduzione dimensionale Matryoshka, progettato per l'archiviazione vettoriale adattiva e l'inferenza efficiente. Spesso impiegato in sistemi di ricerca vettoriale sensibili ai costi che scalano dinamicamente le dimensioni dell'embedding.

In pratica, l'accuratezza è rimasta solida, ma non ha superato, in termini di velocità o correttezza, le versioni di riferimento più piccole basate esclusivamente su dati densi, dimostrando che i guadagni teorici in termini di efficienza non si traducono sempre in un miglioramento delle prestazioni di recupero dati.

jina-v3

Un modello di recupero multilingue progettato per la ricerca di documenti eterogenei, API di ricerca e recupero di conoscenze aziendali in formati misti. Concepito per la generalizzazione tra domini e tipologie di contenuto.

Ha garantito accuratezza e latenza stabili, ma non ha raggiunto le massime prestazioni di corrispondenza esatta nelle attività di recupero a livello di entità, come la ricerca di prodotti.

qwen3-0.6b

Un modello di recupero multilingue ottimizzato per la ricerca semantica guidata da istruzioni e per il clustering, utilizzato nella ricerca conversazionale, nel recupero di informazioni per il controllo qualità e nei corpus multilingue.

Ha mostrato un'accuratezza competitiva ma una latenza di inferenza più elevata rispetto alla dimensione dei suoi parametri, limitandone l'efficienza in implementazioni ad alto QPS.

fiocco di neve artico

Un codificatore di recupero dati pensato per la ricerca semantica su scala aziendale e i sistemi di conoscenza interni, progettato per garantire stabilità anche con indici vettoriali di grandi dimensioni.

Pur essendo coerente, è stato superato in termini di accuratezza e latenza da modelli più piccoli ottimizzati per il recupero dei dati, a conferma del fatto che le dimensioni aziendali non equivalgono intrinsecamente a una maggiore precisione nel recupero delle informazioni.

tutto-MiniLM-L6-v2

Un codificatore denso leggero e ottimizzato per la CPU, ampiamente utilizzato per la ricerca locale, la prototipazione e l'implementazione edge in contesti in cui le risorse di calcolo sono limitate.

Ha ottenuto latenza e QPS eccellenti, ma una minore accuratezza Top-K per la ricerca esatta di entità, dimostrando che i modelli semantici compatti non sono sempre sufficienti per il recupero fattuale dei prodotti.

mpnet-base-v2

Un trasformatore addestrato per la similarità semantica e il clustering, frequentemente utilizzato in analisi, sistemi di raccomandazione e deduplicazione semantica.

Sebbene fosse efficace nel catturare il significato semantico, ha ottenuto risultati inferiori nel recupero di prodotti con corrispondenza esatta e ha mostrato un'inferenza più lenta rispetto ai modelli compatti specializzati nel recupero.

Considerazioni chiave per l'implementazione di modelli di embedding

Quando si implementa un modello di embedding (che sia un modello proprietario o open source), diversi fattori determinano il raggiungimento di prestazioni ed efficienza ottimali:

Prestazioni e precisione

È necessario scegliere il modello di embedding più adatto alle specifiche esigenze di recupero o classificazione. L'obiettivo è generare embedding che garantiscano un'elevata qualità di recupero per il proprio dominio.

• Suggerimenti: consultate sempre benchmark consolidati per valutare le prestazioni di un modello su attività rilevanti per la vostra applicazione (somiglianza semantica, clustering, ecc.).
• Nota sulle dimensioni del modello: i modelli più grandi offrono una maggiore accuratezza (comprensione semantica superiore) perché dispongono di più parametri per apprendere relazioni complesse, ma questo deve essere bilanciato con i vincoli di implementazione.

Latenza e scalabilità

Una bassa latenza nella velocità di incorporamento è fondamentale per le applicazioni in tempo reale (ad esempio, la ricerca durante la digitazione o i consigli in tempo reale). Questo punto si concentra sui requisiti tecnici per eseguire il modello in modo rapido e affidabile.

• Suggerimenti: scegli una piattaforma di distribuzione che offra un'efficiente scalabilità automatica e hardware ottimizzato (GPU/TPU) per garantire una latenza costantemente bassa e la capacità di gestire il traffico variabile.
• Nota sulle dimensioni del modello: i modelli più piccoli ed efficienti (come i modelli distillati) sono spesso più adatti quando la bassa latenza è fondamentale. Un'elevata latenza nella fase di recupero di un sistema RAG degrada direttamente l'esperienza dell'utente finale rallentando la generazione della risposta.

3. Integrazione con sistemi di intelligenza artificiale complessi

I modelli di embedding sono spesso componenti di soluzioni di intelligenza artificiale più ampie e complesse. Ad esempio, un sistema RAG combina un modello di embedding del testo con un LLM.

• Suggerimenti: scegli piattaforme che supportino nativamente la gestione di modelli multipli, funzionalità come l'orchestrazione distribuita (gestione del flusso di dati tra i modelli) e l'osservabilità (monitoraggio delle prestazioni lungo l'intera catena). Ricorda che la tua strategia di implementazione deve semplificare la creazione e la scalabilità di queste catene multi-modello.

Licenza e utilizzo commerciale

Sebbene tutti e 16 i modelli abbiano pesi disponibili pubblicamente, 3 modelli sono soggetti a restrizioni per l'impiego commerciale. Prima di selezionare un modello per la produzione, consultare la tabella delle licenze riportata di seguito:

Punti chiave e utilizzo commerciale:

• MIT / Apache 2.0: Si tratta di licenze permissive standard che consentono l'uso commerciale gratuito.
• CC-BY-NC-4.0 (Non commerciale): È severamente vietato l'uso commerciale senza un accordo separato.
• NVIDIA Nemotron: dichiara esplicitamente "Questo modello è destinato esclusivamente all'uso non commerciale/di ricerca".
• Jina V3: Dichiara esplicitamente "Per richieste di utilizzo commerciale, non esitate a contattarci" (a meno che non venga utilizzato tramite la loro API a pagamento).

Perché i modelli di grandi dimensioni potrebbero avere prestazioni inferiori alla media nella Top 5?

Sebbene il nostro benchmark mostri chiaramente che i modelli più piccoli superano quelli più grandi nel recupero dei primi 5 risultati, le cause esatte richiedono ulteriori indagini. Ipotizziamo diversi fattori potenziali:

Possibili effetti di hubness: la ricerca suggerisce che gli spazi vettoriali ad alta dimensionalità (4096 dimensioni contro 384 dimensioni) possono presentare un effetto hubness, in cui alcuni vettori diventano i vicini più prossimi a molte query. Questo potrebbe spiegare perché i modelli più grandi con dimensioni maggiori mostrano un recall Top-5 inferiore, sebbene non abbiamo misurato direttamente l'effetto hubness nei nostri risultati.

Obiettivi di addestramento differenti: i modelli di recupero più piccoli possono essere ottimizzati specificamente per compiti orientati al richiamo, mentre gli embedding basati su LLM possono dare priorità alla precisione. I risultati GritLM (38% Top-1 contro 90% Top-5) suggeriscono potenziali differenze nella calibrazione del ranking, sebbene questa interpretazione richieda convalida.

Adattamento al dominio: le differenze di prestazioni possono riflettere in parte la composizione dei dati di addestramento, con alcuni modelli più adatti alla ricerca di prodotti rispetto ad altri.

Che cos'è un modello di integrazione open source?

Un modello di embedding open source è un modello di intelligenza artificiale disponibile pubblicamente che converte il testo in vettori numerici che persone e sistemi possono confrontare, raggruppare ed eseguire ricerche semanticamente. A differenza delle API proprietarie, è possibile eseguirlo sulla propria infrastruttura, ispezionarlo, ottimizzarlo e adattarlo al proprio dominio.

Sono importanti perché ti danno:

• Piena proprietà dei dati , ovvero nessuna divulgazione di query verso API di terze parti
• Costi a lungo termine nulli o inferiori su larga scala
• Ottimizzazione personalizzata per la massima precisione nel settore (medicina, finanza, ricerca prodotti, ecc.).
• Implementazione offline o in locale per ambienti sensibili alla sicurezza
• Libertà di ottimizzare in base ai compromessi tra latenza, dimensioni o precisione.

Casi d'uso dei modelli di integrazione

I modelli di embedding consentono la creazione di embedding di testo o di altri dati, che vengono poi posizionati in uno spazio vettoriale. La prossimità di queste singole rappresentazioni vettoriali in questo spazio denota significato semantico e similarità, rendendo la generazione di embedding cruciale per numerose applicazioni di intelligenza artificiale, come ad esempio:

Ricerca semantica

La ricerca semantica sfrutta i modelli di embedding (inclusi modelli di embedding testuale specializzati) per trovare contenuti o risultati pertinenti in base al significato concettuale piuttosto che alla corrispondenza di parole chiave.

La codifica dei contenuti nell'archivio vettoriale potenzia i motori di ricerca, poiché offre una precisione di ricerca significativamente superiore rispetto ai metodi tradizionali, in cui la similarità viene spesso misurata tramite la similarità del coseno.

Esempi concreti di modelli di embedding open-source nella ricerca semantica

Ricerca di conoscenze aziendali

Le imprese globali che utilizzano i modelli di embedding open-source di Jina AI (ad esempio, jina-embeddings-v2) implementano la ricerca semantica per potenziare l'abbinamento delle competenze delle risorse umane, la riconciliazione finanziaria e il recupero della conoscenza interna.

Il supporto per 8.000 token e il design multilingue del modello consentono una ricerca aziendale ad alta copertura senza dipendenza da API, migliorando la profondità di recupero e mantenendo l'inferenza a livello locale. ¹

Esempi concreti di modelli di embedding proprietari nella ricerca semantica

Domande dei clienti tradotte

Zendesk utilizza modelli di embedding (bi-encoder) per tradurre le query dei clienti e gli articoli di aiuto in vettori. La classificazione finale è un sistema ibrido che combina la corrispondenza delle parole chiave (BM25) e la prossimità vettoriale (similarità del coseno) per la pertinenza.

Secondo Zendesk, l'implementazione della ricerca semantica ha portato a un aumento medio del 7% del ranking reciproco medio (MRR) per i centri di assistenza in lingua inglese. Si tratta di un indicatore diretto che dimostra come i clienti abbiano trovato la risposta corretta in tempi significativamente più brevi, con conseguente aumento del successo del self-service. ²

Consigli personalizzati

Netflix utilizza il deep learning per generare degli embedding per i contenuti e gli utenti. Questi vettori catturano le preferenze di visione più sottili e le caratteristiche dei contenuti per una classificazione e una raccomandazione personalizzate.

Si ritiene che l'intero sistema abbia permesso all'azienda di risparmiare oltre 1 miliardo di dollari all'anno, favorendo un'elevata fidelizzazione dei clienti. ³

Recupero delle informazioni (IR)

La generazione di embedding è fondamentale per il recupero delle informazioni (IR) in grandi database. Un'applicazione degna di nota è la generazione aumentata per il recupero (RAG), in cui i dati recuperati dal vector store utilizzando il modello di embedding aiutano i Large Language Models (LLM) a generare contenuti in tempo reale più accurati e aggiornati. Ciò migliora la precisione del recupero e la qualità complessiva dei contenuti.

Esempio concreto di integrazione di modelli open source nella IR

Chiamare l'intelligence

AT&T gestisce 40 milioni di chiamate di assistenza clienti all'anno, utilizzando l'intelligenza artificiale per classificare ciascuna chiamata in una delle 80 categorie di servizio, al fine di individuare i segnali di abbandono e consentire una fidelizzazione proattiva.

Dopo aver inizialmente utilizzato GPT-4 per la classificazione delle chiamate, AT&T lo ha sostituito con una pipeline di modelli open-source ibrida che combina modelli GPT-4 distillati, Danube di H2O.ai e Meta Llama 70B per i casi complessi, riducendo drasticamente i costi pur mantenendo l'accuratezza della produzione. Il sistema open-source ha ottenuto:

• Il 35% del precedente costo operativo GPT-4
• Precisione relativa del 91% rispetto a GPT-4
• Tempo di elaborazione giornaliero: da 15 ore a 5 ore
• Circa 50.000 clienti fidelizzati ogni anno grazie a un miglioramento del rilevamento dell'abbandono. ⁴

Esempio concreto di modelli di embedding proprietari in IR

Chatbot RAG

DoorDash ha implementato un chatbot basato su RAG per automatizzare l'assistenza ai suoi autisti addetti alle consegne. Il sistema utilizza un modello di embedding ottimale all'interno del suo archivio vettoriale per ottenere un'elevata correttezza nel recupero degli articoli della knowledge base, elemento fondamentale per la validità dei consigli automatizzati del modello LLM.

L'implementazione del sistema RAG, unita al rigoroso monitoraggio della qualità, ha permesso di ridurre del 90% le allucinazioni da LLM e del 99% i gravi problemi di aderenza alla terapia. ⁵

Raggruppamento e classificazione

I modelli di embedding possono semplificare la classificazione e l'organizzazione dei contenuti raggruppando gli embedding di testo o altre rappresentazioni di dati nello spazio vettoriale. Ciò è essenziale per diverse attività successive, come il raggruppamento del feedback dei clienti in base al sentimento o la categorizzazione dei documenti per argomento.

Esempio concreto di modelli di embedding open-source nel clustering e nella classificazione

Raggruppamento e classificazione dei ticket tramite intelligenza artificiale

Volcano Engine di ByteDance ha implementato in produzione un sistema di escalation e instradamento basato sull'IA che raggruppa, elimina i duplicati e classifica i ticket di supporto su larga scala utilizzando la similarità semantica e modelli LLM interni (DouBao). Il sistema analizza le conversazioni di supporto per raggruppare automaticamente i problemi ricorrenti, assegnare categorie e instradare le escalation ai responsabili della risoluzione appropriati senza necessità di etichettatura manuale.

L'implementazione è stata convalidata su oltre 20.000 ticket di supporto reali che hanno permesso di:

• Elaborare centinaia di nuovi ticket al giorno
• Riduzione del carico di lavoro operativo di circa 10 giornate-uomo risparmiate ogni giorno
• Applicare soglie di similarità semantica comprese tra 0,86 e 0,95 per la deduplicazione e il clustering dei ticket. ⁶

Esempio concreto di modelli di embedding closed-source nel clustering e nella classificazione

Classificazione dei biglietti basata sull'intelligenza artificiale

Gelato, una piattaforma di e-commerce, ha utilizzato modelli di embedding basati su Vertex AI di Google per automatizzare la valutazione e l'assegnazione dei ticket di assistenza tecnica e degli errori dei clienti in entrata.

Il modello di embedding converte la descrizione testuale del problema in un vettore. Questo vettore viene quindi classificato da un modello di apprendimento automatico nella corretta categoria tecnica (ad esempio, "Errore di accesso", "Pagamento non riuscito", "Bug dell'API"). In questo modo, Gelato ha aumentato la precisione nell'assegnazione dei ticket dal 60% al 90%. ⁷

Sistemi di raccomandazione

I modelli di embedding aiutano questi sistemi a comprendere le preferenze dell'utente in base al significato semantico dei suoi interessi e ai contenuti disponibili. Misurando la somiglianza tra gli embedding dell'utente e dell'elemento, i sistemi di raccomandazione possono fornire suggerimenti più personalizzati.

Esempio concreto di integrazione di modelli nei sistemi di raccomandazione

Raccomandazioni dinamiche tramite CoSeRNN

Spotify sfrutta i modelli di embedding per creare rappresentazioni vettoriali di brani, artisti e utenti. Un progresso fondamentale nel suo motore di raccomandazione è l'implementazione dell'architettura CoSeRNN (Contextual and Sequential Recurrent Neural Network). Questo sistema va oltre i profili utente statici per affrontare la natura dinamica dell'ascolto musicale.

Il sistema CoSeRNN modella le preferenze dell'utente come una sequenza di embedding dipendenti dal contesto. Questi embedding sono influenzati da fattori quali l'ora del giorno, il dispositivo utilizzato e i brani riprodotti di recente. Ciò aiuta il modello ad apprendere a prevedere un vettore di preferenze che massimizza la somiglianza con gli altri brani riprodotti nella sessione di ascolto corrente, consentendo una personalizzazione estremamente accurata e in tempo reale.

L'approccio CoSeRNN, che si basa sulla generazione di embedding utente sequenziali di alta qualità, ha ottenuto risultati significativamente migliori rispetto agli approcci concorrenti, mostrando miglioramenti superiori al 10% su tutte le metriche di ranking considerate sia per le attività di raccomandazione di sessioni che di brani. Questo miglioramento è direttamente correlato alla soddisfazione dell'utente e riduce il "tasso di salto", in quanto conferma che gli utenti ascoltano più contenuti di loro interesse in quel contesto specifico. ⁸

Riepilogo dei casi di studio relativi al modello di embedding:

FAQ

Collegamenti di riferimento

1.

Building AI With MongoDB: Putting Jina AI’s Breakthrough Open Source Embedding Model To Work | MongoDB

MongoDB

2.

About semantic search and how it works – Zendesk help

Zendesk

3.

[CASE STUDY] Netflix's AI Personalization Strategy Saves $1 Billion Yearly in Customer Retention

Head of AI

4.

Inside AT&T's Open-Source AI Approach to Customer Service Calls - Business Insider

Business Insider

5.

Doordash: Building a High-Quality RAG-based Support System with LLM Guardrails and Quality Monitoring - ZenML LLMOps Database

6.

\name: Leveraging Large Language Models for Automated Ticket Escalation

7.

Real-world gen AI use cases from the world's leading organizations | Google Cloud Blog

Google Cloud

8.

http://rishabhmehrotra.com/papers/recsys2020-context.pdf

Ekrem Sarı

Ricercatore di intelligenza artificiale

Segui

Ekrem è un ricercatore di intelligenza artificiale presso AIMultiple, specializzato in automazione intelligente, GPU, agenti di intelligenza artificiale e framework RAG.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento