Comparaison des performances graphiques et vectorielles

Vector RAG récupère les documents par similarité sémantique. Graph RAG y ajoute un graphe de connaissances, extrait les entités et les relations des documents, les stocke dans une base de données de graphes et utilise le parcours de graphes conjointement à la recherche vectorielle lors de l'exécution des requêtes.

Nous avons comparé si cette couche supplémentaire améliore la précision de la recherche et des réponses sur 3 904 avis sur des produits électroniques Amazon avec près de 900 requêtes.

Résultats de précision de la récupération par type de requête

Exemples de questions :

• Recherche spécifique : « Trouvez-moi un avis concernant les problèmes de batterie de ce casque Bluetooth. »
• Agrégation d'entités : « Quelles sont les plaintes les plus fréquentes concernant les produits Sony ? »
• Raisonnement inter-documents : « Quel est le problème le plus fréquemment rencontré dans tous les appareils électroniques ? »

Vector RAG trouve mieux les documents spécifiques (54 % contre 35 %). Graph RAG récupère des résultats pertinents pour les requêtes d'agrégation 3 fois plus souvent (23 % contre 8 %) et pour le raisonnement inter-documents 4 fois plus souvent (33 % contre 8 %).

La différence réside dans la manière dont chaque pipeline traite la requête : « Quelles marques ont le plus de plaintes concernant la facturation ? »

• Vector RAG encode la question sous forme d'embedding et trouve les 10 avis les plus similaires. Les résultats sont sémantiquement liés à « recharge », mais proviennent de marques aléatoires.
• Graph RAG extrait les termes « facturation » et « plainte » de la question, parcourt le graphe de connaissances (Marque → Produit → Avis → Point négatif) et renvoie les avis regroupés par marque. Une seule requête, moins d'une milliseconde.

Qu'est-ce que Graph RAG ?

Graph RAG ajoute un graphe de connaissances à la recherche vectorielle. La recherche vectorielle reste active. Le graphe apporte des capacités de calcul structuré que la recherche vectorielle ne peut pas réaliser.

Lors de l'indexation, chaque document suit deux parcours. Un modèle linéaire (LLM) extrait les entités (marques, caractéristiques, sentiment) et les stocke sous forme de nœuds et d'arêtes dans une base de données graphe. Ces mêmes documents sont ensuite intégrés et stockés dans un index vectoriel.

Lors de l'exécution d'une requête, le système effectue une récupération des données par deux méthodes : l'analyse de similarité des plongements et le parcours du graphe. Les résultats sont ensuite fusionnés en une liste unique et classée. Pour les requêtes d'agrégation, le graphe précalcule également les comptages et les regroupements à partir de l'ensemble des données. Cette agrégation précalculée est ce qui distingue Graph RAG de Vector RAG.

Comment le graphe de connaissances est construit

Un LLM analyse chaque avis et en extrait les entités et les relations. Par exemple, à partir d'un seul avis :

« Le casque Sony WH-1000XM4 possède une réduction de bruit incroyable, mais sa batterie ne dure que 20 heures, et non 30 comme annoncé. »

Extraits du LLM :

• Marque : Sony
• Produit : WH-1000XM4
• Point positif : réduction du bruit
• Point négatif : autonomie de la batterie

3 904 avis génèrent 16 120 nœuds et 23 940 arêtes. Le schéma détermine quelles questions peuvent être résolues par un seul parcours du graphe.

La séparation des avis positifs et négatifs permet d'identifier les principales critiques adressées à Sony en une seule requête. Sans ces liens étiquetés selon le sentiment, le modèle LLM devrait lire et classer chaque avis lors de chaque requête.

Si « Sony » n'est pas extrait, aucun parcours de graphe ne le trouvera. Si « batteries » et « autonomie de la batterie » ne correspondent pas au même nœud, les comptages sont erronés. Différents domaines nécessitent différents schémas. Un schéma incorrect complexifie inutilement le graphe.

Comment Graph RAG récupère et génère des réponses

Exemple : « Quels sont les reproches les plus fréquents concernant les produits Sony ? »

1. Extraction d'entités : Gemini Flash extrait les marques : [« sony »], sentiment : négatif (~0,001 $, en cache)
2. Recherche vectorielle : similarité cosinus e5_base, 30 meilleurs résultats (sans extraction d’entités, correspondance d’embedding pure)
3. Recherche dans un graphe : parcours Cypher utilisant les entités extraites, 30 premiers résultats
4. Fusion RRF : 1/(k + rank_vector) + 1/(k + rank_graph) avec k=60, les 10 premiers résultats ont été retournés.
5. Agrégation par chiffrement : comptages précalculés à partir du graphe complet, transmis au LLM avec les avis récupérés

L'agrégation Cypher de l'étape 5 parcourt Marque → Produit → Avis → Caractéristique négative pour « sony », compte chaque caractéristique et renvoie « compatibilité : 7, durabilité : 4, prix : 3 » en moins d'une milliseconde. Ce résultat précalculé est celui que le LLM reçoit avec les avis récupérés.

• Vector RAG encode la question sous forme d'embedding et trouve des documents sémantiquement similaires. Aucune extraction d'entités n'est effectuée.
• Graph RAG extrait également les entités de la question via LLM, les intègre aux parcours Cypher, fusionne les résultats du graphe avec les résultats vectoriels via RRF et calcule les agrégations pour le LLM.

Coût d'extraction en fonction de la taille de l'ensemble de données

Le coût supplémentaire de Graph RAG par rapport à Vector RAG réside dans l'extraction des entités lors de l'indexation :

Le parcours du graphe lors de l'exécution de la requête est gratuit (hébergement sur place, < 1 ms). L'extraction d'entités à partir de la question coûte environ 0,001 $ par requête (mise en cache possible). Les nouveaux documents sont ajoutés de manière incrémentale.

L'écart de précision est dû au calcul

Nous avons mesuré la précision de la génération sur 238 requêtes d'agrégation avec et sans l'agrégation Cypher du graphe :

Par défaut : Graph RAG reçoit l’agrégation Cypher calculée à partir du graphe de connaissances complet (3 904 avis). Vector RAG reçoit le texte brut des avis.

Aucun contexte graphique : les deux pipelines reçoivent uniquement le texte brut des avis. Aucune agrégation.

Sans agrégation Cypher, le score Graph RAG chute de 73,5 % à 23,1 %, se rapprochant du score Vector RAG à 18,5 %. L'écart de 50 pp n'était pas dû à la récupération, mais au calcul : le graphe parcourt, regroupe et compte l'ensemble des données avant que le modèle linéaire à longue portée (LLM) ne génère une réponse.

Toutes les différences entre les générations sont significatives à p < 0

Méthodologie d'analyse comparative de Graph Rag

Ensemble de données : 3 904 avis en anglais sur des produits électroniques provenant d’Amazon Reviews Multi (Kaggle), minimum 100 caractères.

Modèle d'intégration : multilingual-e5-base (768 dimensions). Intégrations denses dans Qdrant (en mémoire).

Graphe de connaissances : 16 120 nœuds, 23 940 arêtes. Extraction d’entités via Gemini 2.0 Flash (google/gemini-2.0-flash-001 sur OpenRouter, coût total : 2,29 $). Base de données du graphe : Neo4j.

Ensembles de requêtes (905 au total) :

• Structure de graphe (503) : Généré à partir de modèles de graphes. Teste le parcours de graphes.
• Agnostique du graphe (150) : LLM généré à partir du texte de l’avis. Teste les requêtes en langage naturel.
• Externes (252) : générées par LLM indépendamment du graphe. Cinq types : recherche de documents (65), agrégation de marques (24), agrégation de fonctionnalités (50), comparaison de marques (50), agrégation globale (60), plus 3 requêtes d’évaluation par étoiles. Valide que les avantages du graphe ne sont pas un artefact des questions dérivées du graphe.

Pipelines :

Génération : Les 10 meilleures critiques sont transmises à Gemini Flash. Graph RAG effectue également une agrégation Cypher. Appariement flou (seuil de 0,80). Le mode strict (0,90) préserve l’ordre : Graph RAG 68,9 %, Vector RAG 13,5 %.

Validation statistique : test de McNemar, p < 0,001 (correction de Bonferroni). Intervalle de confiance à 95 % (bootstrap) pour la précision de génération du graphe RAG : 68,1 %–79,0 %.

Limitation

Un seul domaine, un petit ensemble de données : 3 904 critiques de produits électroniques. Un domaine différent, un schéma différent, des résultats différents.

Pour en savoir plus

Explorez d'autres indicateurs RAG, tels que :

• Modèles d'intégration : OpenAI vs Gemini vs Cohere
• Les 16 meilleurs modèles d'embeddings open source pour RAG
• Meilleure base de données vectorielles pour RAG : Qdrant vs Weaviate vs Pinecone
• Analyse comparative des modèles de reclassement : Comparaison des 8 meilleurs modèles
• Modèles d'intégration multimodaux : Apple vs Meta vs OpenAI
• Hybrid RAG : Amélioration de la précision RAG
• Les 10 meilleurs modèles d'intégration multilingues pour RAG

Ekrem Sarı

Chercheur en IA

Suivre

Ekrem est chercheur en IA chez AIMultiple, spécialisé dans l'automatisation intelligente, les GPU, les agents IA et les frameworks RAG.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire