Top 10 Modèles d'embedding multilingues pour RAG
Nous avons évalué 10 modèles d'embedding multilingues sur ~606k avis Amazon dans 6 langues (allemand, anglais, espagnol, français, japonais, chinois). Nous avons généré 1 800 requêtes (300 par langue), chacune faisant référence à des détails concrets de l'avis source correspondant.
Les modèles entraînés pour la recherche (séparation requête/document) surpassent les modèles plus grands entraînés pour la similarité de texte générale : e5_base (110M de paramètres) surpasse des modèles ayant 5 à 70 fois plus de paramètres, tandis que LaBSE (471M de paramètres), un modèle multilingue largement cité, se classe avant-dernier.
Précision de la récupération multilingue
Top-1 mesure si l'avis correct est le premier résultat renvoyé ; Top-10 mesure s'il apparaît dans les dix premiers.
Précision Top-1
Précision Top-3
Précision Top-5
Précision Top-10
Explication des métriques
- Précision Top-K : Si le document correct (par correspondance exacte product_id) apparaît dans les K premiers résultats. « Le modèle peut-il trouver le bon avis allemand lorsqu'on pose une question en allemand parmi ~130k avis allemands ? »
- Top-1/3/5/10 : Valeurs de K testées. Top-1 est le plus strict (le document correct doit être le premier résultat), Top-10 est le plus tolérant.
Pour comprendre notre évaluation et nos métriques en détail, consultez notre configuration d'évaluation et la méthodologie de benchmark pour les modèles d'embedding multilingues.
Corpus : ~606k avis (min_review_length≥100 caractères ; ZH : ~17,7k, DE/EN/ES/FR/JA : ~120–145k chacun), pas de repli sur la similarité cosinus, correspondance exacte product_id uniquement. Évalué sur NVIDIA H100 PCIe 80GB.
Latence et débit
La latence détermine si un modèle est viable pour la production. Les modèles avec une latence inférieure à 15 ms peuvent prendre en charge la recherche en temps réel ; au-dessus de 25 ms, le regroupement ou la mise en cache est nécessaire.
Principales conclusions
1. e5_base mène dans toutes les langues
e5_base atteint une moyenne de 16,5 % en Top-1 sur 6 langues, surpassant le modèle suivant (e5_small) de 3,8 points de pourcentage. Son entraînement asymétrique avec préfixes requête/passage produit des embeddings précis qui discriminent bien les avis sémantiquement similaires dans la même langue.
2. Les modèles basés sur LLM sont compétitifs malgré leur taille
qwen3_emb_06b (600M de paramètres) et llama_embed_nemotron_8b (8B de paramètres) atteignent tous deux plus de 10 % de précision monolingue. Leur pré-entraînement multilingue massif semble construire des représentations que le fine-tuning de récupération ne peut pas complètement effacer, restant compétitifs avec des modèles à une fraction de leur nombre de paramètres. nemotron atteint 25,8 % en Top-10, le troisième meilleur résultat global.
3. nomic_embed_v1_5 échoue sur les langues CJK
nomic atteint 0 % de précision en chinois et seulement 4 % en japonais, le seul modèle à échouer complètement sur des langues entières. Son entraînement centré sur l'anglais combiné à une asymétrie de préfixe search_query/search_document crée de graves lacunes de couverture pour les langues non européennes, malgré de bonnes performances en anglais (17 % Top-1) et en allemand (9 %).
4. LaBSE échoue en récupération malgré sa réputation
LaBSE a été explicitement conçu pour la similarité sémantique multilingue et est largement cité dans la littérature. Dans ce benchmark, il se classe avant-dernier (4,8 % Top-1). Son entraînement sur des paires de traduction et l'inférence en langage naturel n'a pas construit la précision discriminative requise pour la récupération : distinguer l'avis source exact de centaines de produits sémantiquement similaires dans la même langue.
5. La mise à l'échelle Top-10 bénéficie à tous les modèles, mais surtout aux plus forts
Passer de Top-1 à Top-10 double le rappel partout. nemotron montre le meilleur rappel monolingue Top-10 (25,8 %) malgré un classement 3e en Top-1 (12,0 %), suggérant que son espace à 4096 dimensions a une bonne structure de plus proches voisins à plus grand K.
6. L'espagnol et le français sous-performent systématiquement
Pour tous les modèles, ES et FR se classent systématiquement plus bas que DE, EN, JA et ZH. Ce schéma persiste même pour les modèles avec un entraînement multilingue explicite, suggérant une représentation plus faible dans les corpus de pré-entraînement ou un décalage de domaine pour les avis produits.
Fonctionnement des embeddings multilingues
Un modèle d'embedding convertit le texte en un vecteur de haute dimension (par exemple, 384 ou 768 nombres) qui capture le signification du texte plutôt que les mots spécifiques. Deux textes sémantiquement similaires devraient avoir des vecteurs proches dans cet espace, quelle que soit la langue.
Un modèle d'embedding multilingue gère plusieurs langues dans le même espace vectoriel. Lorsqu'il est utilisé pour la récupération, le modèle doit trouver le bon document parmi des dizaines de milliers d'avis dans la même langue qui discutent souvent de produits et de sujets similaires. Le défi est la précision discriminative : distinguer l'avis source exact de centaines d'avis sémantiquement similaires dans la même catégorie.
Configuration d'évaluation multilingue
~606k avis produits sont indexés dans Qdrant (seuls les avis avec un corps ≥100 caractères ; ZH : ~17,7k, autres langues : ~120–145k chacun). 1 800 requêtes (300 par langue) sont générées nativement par LLM à partir d'avis répondant au même seuil de longueur. Chaque requête doit faire référence à des détails concrets de son avis source (mesures, quantités, noms de marques, calendriers) ; les questions génériques sont filtrées via un score de spécificité. Étant donné une requête en langue X, la tâche consiste à trouver l'avis source parmi les avis de la même langue. Qdrant filtre les résultats par langue. La précision est mesurée par correspondance exacte product_id en Top-1/3/5/10 sans repli sur la similarité cosinus.
Exemples de requêtes du benchmark :
Allemand (électronique, OPINION) :
Français (parapharmacie, USAGE) :
Espagnol (fournitures industrielles, FACTUEL) :
Le modèle doit associer chaque requête à son avis source exact par product_id. Une requête sur la perte de signal WiFi d'un câble d'antenne pourrait sémantiquement correspondre à des milliers d'avis électroniques discutant de problèmes de connectivité ; un seul décrit la chute de signal de 60 % à 20 % après l'installation de ce câble spécifique.
Analyse technique et recommandations
Modèles symétriques vs asymétriques
L'objectif d'entraînement prédit largement les performances de récupération :
Pourquoi les modèles asymétriques performent le mieux : Le préfixe requête/passage entraîne le modèle à intégrer les requêtes et les documents dans des régions systématiquement différentes de l'espace, créant une géométrie spécifique à la récupération. Cela produit des embeddings plus discriminatifs qui séparent les documents sémantiquement similaires mais distincts. e5_base atteint cela avec 110M de paramètres car l'objectif d'entraînement, et non la capacité du modèle, conduit la précision de récupération.
Pourquoi les modèles basés sur LLM sont compétitifs : Le pré-entraînement multilingue massif construit une riche structure sémantique dans les poids du modèle. Le fine-tuning de récupération ajoute un alignement spécifique à la tâche par-dessus cette compréhension linguistique profonde, résultant en des performances compétitives. Le compromis est la latence : les vecteurs à 4096 dimensions de nemotron coûtent 25 ms par requête contre 11 ms pour e5_base.
Pourquoi LaBSE échoue malgré sa réputation : LaBSE a été entraîné sur des paires de traduction pour rapprocher le sens au niveau phrase entre les langues, une tâche de similarité. La récupération est fondamentalement différente : elle nécessite de distinguer l'avis source exact de centaines de produits sémantiquement similaires dans la même langue. L'entraînement à la similarité optimise pour la proximité sémantique grossière ; la récupération exige une discrimination fine entre des quasi-doublons.
Quel modèle utiliser ?
Meilleure précision : e5_base (16,5 % Top-1, 11 ms de latence). À utiliser avec un filtre de langue.
Meilleur compromis latence/précision : e5_small (12,7 % Top-1, 9,7 ms), presque aussi rapide que minilm avec une meilleure précision.
Meilleur rappel Top-10 : nemotron (25,8 % Top-10) si vous pouvez vous permettre la latence de 25 ms et la mémoire GPU pour les vecteurs 4096-dim.
Pour les systèmes de production sensibles à la latence : e5_small ou minilm à ~10 ms. e5_small est fortement préféré (12,7 % vs 3,8 %).
Toujours utiliser un filtre de langue lorsque vous savez que les langues de la requête et du document correspondent. Tous les modèles montrent des gains de précision significatifs avec la recherche filtrée par langue.
Ajouter comme source préféréeMéthodologie des modèles d'embedding multilingues
- GPU : NVIDIA H100 PCIe 80GB via Runpod
- Base de données vectorielle : Qdrant 1.12.0 (binaire local)
- Bibliothèque d'embedding : sentence-transformers 5.2.2
- Génération de requêtes : Claude Sonnet 4.6 via OpenRouter. Chaque question doit faire référence à des détails spécifiques de son avis source ; les questions génériques (score de spécificité < 4/5) sont filtrées.
- Dataset : Amazon Reviews Multi (Kaggle)1 , train.csv. ~606k avis indexés (min 100 caractères ; ZH : ~17,7k, autres : ~120-145k chacun). 6 langues : DE, EN, ES, FR, JA, ZH.
- Requêtes : 1 800 au total (300 par langue, 5 types de questions, générées nativement dans chaque langue).
- Format du document :
"Review Title: {title}\nReview: {body}" - Vérité terrain : correspondance exacte product_id uniquement. Pas de repli sur la similarité cosinus.
- Recherche : recherche vectorielle Qdrant avec distance cosinus. Top-K = 10. Filtre de langue appliqué pour l'évaluation monolingue.
- Embedding : normalisation L2. Préfixes asymétriques le cas échéant :
"query: "/"passage: "(e5),"search_query: "/"search_document: "(nomic). - Pas de fine-tuning : Tous les modèles évalués en zero-shot avec les poids par défaut.
- Latence : Inférence d'embedding uniquement (requête unique). Ne comprend pas le temps de recherche vectorielle.
Modèles évalués
Pourquoi les scores sont-ils inférieurs à BEIR/MTEB
Les chiffres de précision absolue dans ce benchmark ne doivent pas être comparés directement aux scores rapportés sur BEIR ou MTEB. Les deux benchmarks diffèrent sur plusieurs aspects structurels :
La métrique de correspondance exacte est la plus grande différence structurelle. Chaque requête fait référence à des détails concrets de son avis source (par exemple, « Combien d'heures a pris l'imprimante 3D pour imprimer le fichier chat depuis la carte SD ? »), donc chaque requête a une cible unique claire, mais la métrique attribue toujours zéro pour un avis sémantiquement pertinent d'un produit différent. Les métriques à crédit partiel comme nDCG donneraient des chiffres plus élevés sur les mêmes résultats de récupération. Ce qui compte dans ce benchmark est le classement relatif entre les modèles, et non les chiffres absolus.
Limitations
- Les types de questions peuvent ne pas représenter les requêtes réelles des utilisateurs. Les questions générées par LLM ont tendance à être bien formées et spécifiques. Les utilisateurs réels écrivent souvent des requêtes fragmentaires ou ambiguës.
- Seule la récupération dense est testée. Les méthodes éparses (BM25), la récupération hybride et les pipelines de ré-ranking ne sont pas évalués. Ceux-ci peuvent modifier considérablement le classement entre les modèles.
- 300 requêtes par langue est un échantillon modéré. Les résultats par langue ont des intervalles de confiance raisonnablement étroits, mais les classements au milieu du tableau doivent toujours être interprétés avec prudence.
- Pas d'évaluation de la qualité d'embedding au-delà de la récupération. La qualité du clustering, la précision de la similarité sémantique et d'autres tâches en aval ne sont pas mesurées.
Conclusion
Les modèles entraînés pour la recherche (avec des embeddings de requête et de document séparés) battent systématiquement les modèles entraînés pour la similarité de texte générale, quelle que soit la taille. e5_base (110M de paramètres) surpasse des modèles 5 à 70 fois plus grands. LaBSE (471M de paramètres), largement cité pour les tâches multilingues, se classe avant-dernier car son entraînement à la similarité ne construit pas la discrimination fine requise pour la récupération.
Les modèles basés sur LLM (qwen3 à 600M de paramètres, nemotron à 8B de paramètres) atteignent une précision compétitive grâce au pré-entraînement multilingue profond, mais ils paient pour cela en latence : nemotron coûte 25 ms par requête contre 11 ms pour e5_base, avec un rappel Top-10 seulement marginalement meilleur. Pour la plupart des systèmes de production, les modèles plus petits entraînés pour la recherche offrent un meilleur compromis.
Pour les praticiens construisant des systèmes RAG multilingues, e5_base avec un filtre de langue est le choix évident (16,5 % Top-1, 11 ms de latence, et un écart de 3,8 points de pourcentage sur la deuxième place).
Pour aller plus loin
Explorez d'autres benchmarks RAG, tels que :
- Modèles d'embedding : OpenAI vs Gemini vs Cohere
- Top 16 Modèles d'embedding open source pour RAG
- Top Base de données vectorielle pour RAG : Qdrant vs Weaviate vs Pinecone
- Benchmark Agentic RAG : Routage multi-bases de données et génération de requêtes
- Modèles d'embedding multimodaux : Apple vs Meta vs OpenAI
- Hybrid RAG : Amélioration de la précision RAG
Citer cette recherche
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{sar2026,
author = {Sarı, Ekrem},
title = {{Top 10 Modèles d'embedding multilingues pour RAG}},
year = {2026},
month = feb,
howpublished = {\url{https://aimultiple.com/multilingual-embedding-models}},
note = {AIMultiple. Consulté le 20 Février 2026}
}Liens de référence
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.