RAG Benchmarks: modelli di embedding, database vettoriali e reranker
RAG migliora l'affidabilità di LLM ancorando le risposte a dati esterni. Valutiamo lo stack RAG attraverso modelli di embedding, reranker, database vettoriali, framework e strumenti di valutazione in termini di accuratezza di recupero, latenza e qualità.
Esplora RAG Benchmarks: modelli di embedding, database vettoriali e reranker
Reranker benchmark: confronto tra i migliori 8 modelli
RAGBenchmark15 ottAbbiamo testato 8 modelli di reranking su ~145k recensioni Amazon in inglese per misurare quanto una fase di reranking migliori il recupero denso. Abbiamo recuperato i primi 100 candidati con multilingual-e5-base, li abbiamo riordinati con ciascun modello e abbiamo valutato i primi 10 risultati rispetto a 300 query, ognuna delle quali fa riferimento a dettagli…
- RAGBenchmark14 ott
RAG Strumenti di valutazione: W&B Weave vs Ragas vs TruLens
Abbiamo confrontato cinque strumenti di valutazione della generazione aumentata dal recupero (RAG) su più di 1.000 domande avversarie, ciascuna abbinata a cinque passaggi. Il confronto misura la pertinenza del contesto usando GPT-4o e i prompt di valutazione predefiniti degli strumenti. W&B Weave ha registrato la più alta accuratezza Top-1, pari al 94,5%. TruLens ha guidato…
- RAGBenchmark14 ott
Benchmark AIM-Agentic RAG: instradamento tra 11 SQL database
L'accuratezza dell'instradamento è la percentuale di domande valutate per le quali il modello indica esplicitamente il database corretto nella risposta finale. Il valore principale usa le 184 domande contrassegnate come difficili sia dal nostro test di similarità sia da una giuria di tre LLM. Le dichiarazioni esplicite mancanti non ricevono alcun credito. gemini-4-argon ha selezionato…
- EmbeddingsBenchmark1 ott
Modelli di embedding: 25 modelli valutati in benchmark per il retrieval
Abbiamo sottoposto a benchmark 25 modelli di embedding su 200 domande di retrieval in ambito finanziario, contratti legali, supporto tecnico e letteratura medica. I quattro corpora contenevano in totale 341.040 brani di testo. Ogni query ha effettuato la ricerca nel proprio dominio. nDCG@10 misura quanto in alto appaiono i brani pertinenti registrati nei primi dieci…
- EmbeddingsBenchmark27 set
Open Source Embedding Models: 11 Models sottoposti a benchmark per il retrieval
nDCG@10 misura la posizione dei passaggi pertinenti registrati tra i primi dieci risultati di ricerca. Un punteggio pari a 1 rappresenta il ranking ideale per i positivi registrati. I passaggi più vicini alla cima ricevono più peso. PPLX Embed v1 4B ha guidato il confronto con 0.741 nDCG@10, seguito da PPLX Embed v1 0.6B con…
- Vector DBBenchmark4 set
Benchmark di database vettoriali: 7 motori open-source per RAG
Abbiamo confrontato sette database vettoriali open-source e self-hosted come livello di recupero di una pipeline RAG, eseguiti uno alla volta su embedding bge-m3 identici e query reali mediche e tecniche, così che l'indice del database fosse l'unica variabile. Il carico di lavoro ha coperto MedRAG-50k, TechQA-28k e un corpus di 2.25M vettori attraverso otto dimensioni,…
- RAGBenchmark31 ago
RAG Framework: LangChain vs LangGraph vs LlamaIndex
Abbiamo confrontato 5 RAG framework: LangChain, LangGraph, LlamaIndex, Haystack e DSPy, costruendo lo stesso flusso di lavoro RAG agentico con componenti standardizzati: modelli identici (GPT-4.1-mini), embedding (BGE-small), retriever (Qdrant) e strumenti (ricerca web Tavily). Questo isola il vero overhead e l'efficienza dei token di ciascun framework. Il benchmark era composto da 100 query, e ciascun…
- RAGBenchmark31 ago
Migliori strumenti, framework e librerie RAG
RAG migliora le risposte degli LLM fondandole su dati esterni invece che solo su ciò che il modello ha memorizzato durante l'addestramento. Abbiamo confrontato i componenti da cui è costruito un sistema RAG e raccolto i risultati in un unico posto, con una guida pratica alla scelta di ogni parte dello stack. Consulta i nostri…