Les 7 meilleures bases de données vectorielles open source : Faiss contre Chroma

À mesure que les agents et modèles d'IA s'appuient de plus en plus sur la récupération de données multidimensionnelles, le choix d'une base de données vectorielles open source devient crucial pour le déploiement en entreprise.

Nous avons identifié les 7 principales bases de données vectorielles open source et les avons comparées en termes d'évolutivité, de performance et de déploiement d'IA dans le monde réel :

Critères de sélection

Afin de garantir un processus de sélection ciblé tout en s'alignant sur les principaux cas d'utilisation des bases de données vectorielles, nous avons appliqué les critères publiquement vérifiables suivants :

• Plus de 10 000 étoiles sur GitHub
• Plus de 100 contributeurs

Remarque : Toutes les bases de données vectorielles doivent indiquer leur licence.

Les 7 principales bases de données vectorielles open source analysées

Redis (Redis-Search et Redis-VSS)

La large adoption de Redis et son architecture en mémoire le rendent parfaitement adapté aux recherches vectorielles rapides et à grande échelle, y compris les requêtes hybrides qui combinent vecteurs et filtres.

Il est conçu pour fournir des résultats immédiats à des volumes importants, ce qui en fait un choix approprié pour les applications d'IA à haut débit telles que les systèmes de recommandation en temps réel ou les chatbots qui nécessitent des recherches de similarité à faible latence.

Les principales caractéristiques sont les suivantes :

• Recherche vectorielle en mémoire : optimisée pour une recherche rapide des plongements lexicaux.
• Requêtes hybrides : combinent les recherches par paire clé-valeur avec la recherche vectorielle. Redis 8.4 a introduit une nouvelle commande FT.HYBRID qui fusionne les résultats des requêtes plein texte et vectorielles via des algorithmes de fusion de scores intégrés (notamment RRF et la combinaison linéaire). ¹

Points forts/points uniques :

• Idéal pour les systèmes de recommandation et les applications d'IA à faible latence.

Figure 1 : Diagramme VB de Redis. ²

Recherche de similarité Facebook AI (Faiss)

Faiss (par Facebook/Meta) est une bibliothèque optimisée pour la performance. Elle peut gérer des milliards de vecteurs et exploiter les GPU pour la recherche, permettant ainsi des vitesses de requête rapides.

Il est largement utilisé dans le milieu universitaire et industriel pour l'intégration de l'indexation et de la recherche de plus proches voisins à grande échelle. Faiss est optimal pour les projets nécessitant un moteur très performant intégré aux pipelines d'apprentissage automatique et d'intelligence artificielle (par exemple, les recherches de similarité d'images ou de textes à grande échelle).

Remarque : Faiss n’est pas une base de données autonome et ne propose pas de fonctionnalités telles que la persistance ou le clustering. Elle est particulièrement adaptée aux charges de travail privilégiant la vitesse de traitement brute et pour lesquelles des systèmes externes peuvent gérer le stockage et l’administration des données.

Les principales caractéristiques sont les suivantes :

• Recherche de similarité polyvalente : prend en charge plusieurs méthodes de recherche de similarité de grande dimension (Euclidienne L2, produit scalaire et cosinus pour les vecteurs normalisés).
• Index compressés : Fournit des techniques de vecteurs binaires et de quantification pour compresser les vecteurs, permettant un stockage efficace avec une perte de précision minimale.
• Structures d'index avancées : implémente diverses structures d'indexation (par exemple, HNSW, NSG) sur des vecteurs bruts pour accélérer les requêtes de plus proches voisins sur de grands ensembles de données.
• Accélération GPU : Fournit des implémentations GPU qui remplacent les index du CPU et gèrent automatiquement les transferts de mémoire.

Points forts/points uniques :

• Évolutivité : Capable de rechercher dans de très grandes collections de vecteurs grâce à la prise en charge des index sur disque, y compris des ensembles de données trop volumineux pour tenir dans la RAM.
• Utilisation en production : Développé par Meta AI Research, Faiss est utilisé en production pour des tâches de recherche de similarité et de clustering à grande échelle.
• Outils de réglage : Livré avec des outils d'évaluation et de réglage des paramètres prêts à l'emploi, il convient aussi bien à l'expérimentation en recherche qu'aux déploiements en production.

Milvus

Milvus est une plateforme open source proposant des applications d'IA industrielle et bénéficiant d'une communauté active. Elle est conçue pour les environnements de production (par exemple, les grands systèmes de recommandation, la recherche vidéo/image ou toute charge de travail d'IA traitant d'importants corpus vectoriels) où l'utilisateur a besoin d'indexation et de tolérance aux pannes.

Il offre des fonctionnalités d'entreprise (telles que la réplication et les sauvegardes), ce qui le rend parfaitement adapté aux cas d'utilisation du Big Data.

Les principales caractéristiques sont les suivantes :

• API pour les données non structurées : Fournit un ensemble d'API et de SDK pour gérer et interroger facilement les données non structurées (embeddings).
• Conçu pour le cloud et portable : offre une expérience cohérente dans tous les environnements, par exemple sur un ordinateur portable, un cluster local ou le cloud, grâce à son architecture native du cloud.
• Haute disponibilité : Inclut la réplication et le basculement/retour en arrière, garantissant la fiabilité pour les cas d'utilisation en production.

Dernières mises à jour :

• Prise en charge du filtrage clairsemé : la recherche peut inclure des conditions de filtrage clairsemées, permettant à Milvus d’appliquer des filtres lors de l’exécution de la recherche vectorielle.
• API Truncate : ajoute une API permettant d’effacer rapidement toutes les données d’une collection sans supprimer la collection elle-même.
• Comportement de sécurité KMS/WAL : lorsqu’une clé KMS est révoquée, Milvus cesse de consommer le WAL (journal de transactions) à l’aide de cette clé, renforçant ainsi la sécurité du traitement WAL chiffré et empêchant toute utilisation ultérieure des clés révoquées.
• Optimisation de la recherche en précision mixte : Milvus convertit automatiquement les vecteurs FP32 en FP16/BF16 pendant la recherche afin de réduire les coûts de calcul et de mémoire et d’améliorer le débit sans conversion manuelle par l’utilisateur.

Points forts/points uniques :

• Vitesse de référence : Milvus revendique des latences de recherche de l’ordre de la milliseconde, même pour des collections de mille milliards de vecteurs. ³
• Écosystème actif : Un projet de fin d'études mené sous l'égide de la LF AI & Data Foundation, témoignant d'une communauté active et d'une structure de gouvernance.

Figure 2 : Diagramme d'architecture Milvus ⁴

Qdrant

Qdrant est une base de données vectorielles open source écrite en Rust, conçue pour des performances élevées et des mises à jour de données en temps réel. Elle est parfaitement adaptée aux applications nécessitant une recherche de similarité immédiate sur des données en constante évolution, telles que les systèmes de recommandation en temps réel ou les services d'IA fréquemment mis à jour.

Qdrant prend également en charge le filtrage et la recherche géospatiale. Il peut stocker les métadonnées des données avec les vecteurs et appliquer des filtres conditionnels aux résultats de requête, ce qui est utile pour des applications telles que les recommandations personnalisées ou la recherche géolocalisée.

C'est un excellent choix lorsque vous avez besoin de performances à grande vitesse et à grande échelle, ainsi que de mises à jour de données en temps réel dans les applications d'apprentissage automatique.

Les principales caractéristiques sont les suivantes :

• Filtrage : Prend en charge l'ajout de métadonnées JSON (« charge utile ») aux vecteurs et le filtrage des résultats de recherche en fonction de ces champs (par exemple, correspondances de mots clés, plages numériques, filtres de géolocalisation).
• Recherche vectorielle hybride : combine la recherche vectorielle dense avec les méthodes vectorielles éparses, intégrant la notation des mots-clés ainsi que la similarité de l’intégration vectorielle.
• Quantification vectorielle : Offre des options de quantification intégrées pour compresser les vecteurs en mémoire, réduisant ainsi l’utilisation de la RAM jusqu’à 97 %.
• Distribué : Prend en charge le partitionnement et la réplication pour la mise à l’échelle horizontale, ainsi que des fonctionnalités telles que les mises à jour progressives sans interruption de service.
• Gestion du cluster : utilise des étiquettes Kubernetes personnalisées.

Dernières mises à jour :

• Retour d'information sur la pertinence : Ajoute la prise en charge des mécanismes de retour d'information sur la pertinence qui permettent aux systèmes de recherche d'ajuster le classement en fonction des commentaires des utilisateurs ou des modèles afin d'améliorer la pertinence des résultats.
• Journalisation des accès d'audit : introduit la journalisation d'audit pour enregistrer les opérations API nécessitant une authentification/autorisation, utile pour suivre les accès et les modifications à des fins de sécurité et de conformité.
• RRF pondéré (fusion de rangs réciproques) : améliore la méthode de fusion RRF en permettant aux utilisateurs d’attribuer des pondérations différentes aux listes de résultats de requêtes individuelles lors de leur combinaison, améliorant ainsi la qualité de la fusion.

Points forts/points uniques :

• Efficacité mémoire : La fonction de quantification réduit considérablement l'utilisation de la RAM, permettant ainsi de traiter des ensembles de données plus volumineux depuis la mémoire.
• Intégration : Fournit une API (REST et gRPC) pour la gestion et l'interrogation du magasin de vecteurs.
• Recherche neuronale : Adaptée aux applications de recherche sémantique où les métadonnées et la similarité vectorielle doivent être combinées.

Figure 3 : Vue d'ensemble de haut niveau de l'architecture de Qdrant. ⁵

PostgreSQL (extension pgvector)

L'extension pgvector intègre la recherche de similarités vectorielles à PostgreSQL, permettant ainsi aux équipes de travailler au sein de l'écosystème Postgres qu'elles connaissent bien. Elle s'avère particulièrement utile lorsqu'on souhaite éviter le déploiement d'une base de données vectorielle distincte, par exemple pour ajouter des fonctionnalités vectorielles à une base de données SQL existante d'une application, pour quelques millions d'embeddings.

PostgreSQL propose une recherche vectorielle de base ainsi que des requêtes SQL classiques au sein d'un même système. En pratique, pgvector est particulièrement efficace lorsque :

• Les volumes de données sont modérés.
• La simplicité d'intégration est plus importante que l'obtention des performances maximales possibles offertes par les bases de données vectorielles spécialisées.

Les principales caractéristiques sont les suivantes :

• Recherche vectorielle basée sur les extensions : utilise pgvector pour permettre la recherche de similarité vectorielle au sein de PostgreSQL.
• Indexation pour plus de rapidité : Prend en charge la recherche approximative du plus proche voisin basée sur la FIV.
• Requêtes : Permet des requêtes hybrides combinant la similarité vectorielle avec des filtres SQL.
• Métriques de distance courantes : Prend en charge la distance euclidienne, le produit scalaire et la distance cosinus.

Points forts/points uniques :

• Intégration : Permet le stockage de vecteurs parallèlement aux données relationnelles.
• Adoption : Compatible avec les installations PostgreSQL et les bibliothèques clientes existantes.
• Recherche exacte ou approximative : offre des options de recherche à la fois précises et performantes.

Chroma

Chroma est une base de données d'embeddings open source conçue pour être légère et facile à utiliser pour les développeurs. Elle est particulièrement adaptée à des cas d'usage tels que la mémoire pour l'IA conversationnelle, la recherche sémantique de documents et les systèmes de recommandation en phase de développement.

Son orientation vers les plongements lexicaux et l'intégration avec les frameworks d'apprentissage automatique, notamment des outils tels que LangChain et les pipelines PyTorch, permet aux équipes de mettre en place un magasin de plongements et d'exécuter des requêtes de similarité avec un minimum d'effort.

Chroma est surtout adapté au déploiement rapide d'un système de recherche ou de réponse aux questions basé sur l'IA et à son extension progressive, plutôt qu'à la prise en charge de charges de travail nécessitant des milliards de vecteurs dès le départ.

Les principales caractéristiques sont les suivantes :

• Stockage des vecteurs et métadonnées : Conçu pour stocker les vecteurs d'intégration ainsi que leurs métadonnées, permettant l'organisation et la récupération de données multidimensionnelles.
• Génération de vecteurs intégrée : prend en charge l’intégration de documents et de requêtes (avec intégration aux modèles), permettant des cas d’utilisation de génération augmentée par la recherche sémantique et la récupération.
• Recherche par similarité : Fournit une recherche optimisée sur les plongements lexicaux pour trouver les vecteurs pertinents et prend en charge un débit élevé avec une latence minimale.
• Intégration LLM : conception native IA axée sur les applications de modèles de langage étendus, permettant d’intégrer facilement les connaissances et les faits dans les flux de travail LLM.

Dernières mises à jour :

• GroupBy (récupération groupée de type analytique) : Permet de regrouper les résultats de recherche par champs de métadonnées (par exemple, document, catégorie) et de renvoyer les meilleurs résultats par groupe à l’aide de fonctions d’agrégation (comme MinK/MaxK) pour diversifier et dédupliquer les résultats.
• Réseau privé (déploiement d'entreprise/isolation du réseau) : fournit une connectivité réseau privée à Chroma Cloud (via AWS PrivateLink ou GCP Private Service Connect), en maintenant le trafic au sein de votre VPC et en évitant l'Internet public, améliorant ainsi la sécurité et réduisant la latence/les coûts.
• Metatableaux de données (modélisation de métadonnées plus riche) : Ajoute la prise en charge des tableaux de chaînes de caractères, de nombres ou de booléens dans les champs de métadonnées, permettant des attributs multivalués plus riches (comme des étiquettes ou des scores) et un filtrage de tableau natif avec contains()/not_contains().

Points forts/points uniques :

• Conception native pour l'IA : l'architecture de Chroma est conçue sur mesure pour les applications d'IA, simplifiant le développement d'applications basées sur LLM grâce à des API et des points d'intégration simples.
• Performances : Privilégie les opérations à faible latence sur de grands volumes d'intégrations, comme en témoigne son orientation « vitesse » dans la conception.
• Expérience développeur : L'expérience développeur est privilégiée grâce à une configuration et une utilisation simples, ce qui a contribué à son adoption.

Weaviate

Weaviate est une base de données vectorielles native du cloud qui intègre un graphe de connaissances et des modèles d'apprentissage automatique modulaires, permettant des requêtes sémantiques contextuelles sur des données vectorielles. Elle est parfaitement adaptée à la recherche d'entreprise, aux systèmes de réponse aux questions et autres applications nécessitant des analyses basées sur l'IA à partir d'ensembles de données complexes. Elle fonctionne de manière optimale lorsque du texte ou des images sont vectorisés et associés à des connaissances structurées.

Weaviate propose des API GraphQL, des requêtes en temps réel et la prise en charge des données multimodales, telles que le texte et les images . Cela en fait un outil efficace pour la création de systèmes de recherche sémantique ou de recommandation qui nécessitent la compréhension des relations et du sens.

Sa combinaison de recherche vectorielle, de capacités de filtrage et de fonctionnalités de graphe de connaissances le distingue des autres systèmes. Il est utilisé dans l'industrie pour des applications telles que la recherche génomique, l'automatisation des FAQ et la recommandation de contenu, où la précision contextuelle est aussi importante que la performance.

Les principales caractéristiques sont les suivantes :

• Recherche vectorielle : prétend exécuter des recherches k-NN sur des millions d’objets en quelques millisecondes. ⁶
• Architecture modulaire : Extensible via des modules qui s'intègrent aux services de modèles ML (par exemple, OpenAI, Cohere, HuggingFace).
• Fonctionnalités de recherche hybride : Permettent de combiner la recherche vectorielle avec le filtrage par mots-clés dans une même requête.
• Fonctionnalités prêtes pour la production : Inclut des fonctionnalités de clustering, de réplication, d’authentification et de sécurité pour une meilleure évolutivité.

Points forts/points uniques :

• Recherche double (sémantique + lexicale) : Prend en charge à la fois la similarité vectorielle et la recherche symbolique (lexicale) dans un seul moteur.
• Intégration ML plug-and-play : permet la vectorisation de texte à la volée ou l’utilisation de données pré-vectorisées.

Qu'est-ce qu'une base de données vectorielles ?

Une base de données vectorielle est conçue pour stocker, indexer et extraire efficacement des représentations vectorielles de grande dimension. Au lieu d'organiser l'information dans des tables et des lignes traditionnelles, elle gère les données sous forme de vecteurs numériques représentant différents points de données.

Les bases de données vectorielles jouent un rôle clé dans l'apprentissage automatique, les systèmes d'IA et la recherche de similarités. Grâce à une base de données vectorielles, vous pouvez :

• Trouver des images ou des vidéos similaires, également appelées recherche inversée (par exemple, Google Lens).
• Stocker les empreintes faciales et les comparer à une requête d'authentification ou de recherche (par exemple, Apple Face ID).
• Identifier les objets dans les images/vidéos et trouver les correspondances pertinentes

Caractéristiques clés des bases de données vectorielles open source

Indexation vectorielle de grande dimension

Stocke et indexe les représentations vectorielles (par exemple, à partir de texte, d'images ou d'audio) pour la recherche de similarités.

Assistance à la recherche de similarités

Permet d'effectuer des requêtes de similarité vectorielle en utilisant des métriques de distance telles que la distance euclidienne, le cosinus et le produit scalaire.

Évolutivité pour les grands ensembles de données

Conçu pour gérer des millions, voire des billions de vecteurs, souvent via des architectures distribuées ou partitionnées.

capacités de requête hybrides

Combine la recherche vectorielle avec des filtres structurés tels que les mots clés, les champs de métadonnées ou la géolocalisation.

API extensibles et intégrations

Fournit une prise en charge REST, gRPC ou SDK pour l'intégration dans les flux de travail ML et les pipelines de vectorisation.

Accélération GPU (dans certains outils)

Des bibliothèques telles que Faiss offrent une prise en charge GPU pour accélérer les recherches de similarité à grande échelle.

Metastockage de données

Permet d'associer des métadonnées structurées (par exemple, des charges utiles JSON) aux vecteurs pour une récupération filtrée ou contextuelle.

Quantification et compression vectorielles

Réduit l'utilisation de la mémoire grâce à des techniques telles que la quantification du produit ou le codage binaire.

options de déploiement natives du cloud

De nombreux outils prennent en charge les environnements conteneurisés et orchestrés (par exemple, Docker, Kubernetes) avec des fonctionnalités telles que la réplication et le basculement.

Licences ouvertes et contributions de la communauté

Distribué sous des licences open source (par exemple, Apache 2.0, MIT) avec un développement actif sur GitHub et un suivi transparent des problèmes.

Que sont les extensions de recherche vectorielle ?

Les extensions de recherche vectorielle ajoutent des fonctionnalités de recherche vectorielle aux bases de données existantes, telles que les bases de données relationnelles (SQL) ou les bases de données clé-valeur, sans nécessiter de base de données vectorielle dédiée. Ces extensions permettent aux utilisateurs d'effectuer des recherches de similarité parallèlement aux requêtes traditionnelles au sein du même environnement de base de données.

Principales caractéristiques des extensions de recherche vectorielle :

• Intégré aux bases de données existantes : inutile d'introduire une base de données vectorielles distincte.
• Prend en charge les requêtes structurées et vectorielles : permet de combiner la recherche de similarité vectorielle avec des filtres structurés, des jointures SQL et des recherches basées sur les métadonnées.
• Exploite les techniques d'indexation existantes : utilise l'indexation par plus proche voisin approximatif (ANN) au sein du stockage de la base de données relationnelle.
• Idéal pour les applications hybrides : parfait pour ajouter une recherche basée sur l’IA aux bases de données d’entreprise existantes.

FAQ

Liens de référence

1.

Revamping context-oriented retrieval with hybrid search in Redis 8.4 | Redis

2.

With Redis Enterprise’s Vector Database, Superlinked is Revolutionizing Personalization

3.

Scalable and Blazing Fast Similarity Search with Milvus Vector Database - Milvus Blog

4.

Milvus vector database documentation

5.

What is Qdrant? - Qdrant

6.

Vector Search Explained | Weaviate

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017. AIMultiple informe chaque mois des centaines de milliers d'entreprises (selon similarWeb), dont 55 % des entreprises du classement Fortune 500. Les travaux de Cem ont été cités par des publications internationales de premier plan telles que Business Insider, Forbes et le Washington Post, ainsi que par des entreprises mondiales comme Deloitte et HPE, des ONG comme le Forum économique mondial et des organisations supranationales comme la Commission européenne. Vous trouverez d'autres entreprises et ressources réputées ayant fait référence à AIMultiple. Tout au long de sa carrière, Cem a exercé les fonctions de consultant, d'acheteur et d'entrepreneur dans le secteur des technologies. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la numérisation. Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité directe du PDG. Il a également piloté la croissance commerciale de la société de deep tech Hypatos, qui a atteint un chiffre d'affaires annuel récurrent à sept chiffres et une valorisation à neuf chiffres en seulement deux ans. Les travaux de Cem chez Hypatos ont été présentés dans des publications technologiques de référence telles que TechCrunch et Business Insider. Cem intervient régulièrement lors de conférences internationales sur les technologies. Diplômé en génie informatique de l'université de Bogazici, il est également titulaire d'un MBA de la Columbia Business School.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire