Einbettungsmodelle: OpenAI vs Gemini vs Cohere

Die Effektivität eines jeden Retrieval-Augmented Generation (RAG)-Systems hängt von der Präzision seines Retrievers ab.

Wir haben elf führende Text-Embedding-Modelle, darunter Modelle von OpenAI, Gemini, Cohere, Snowflake, AWS, Mistral und Voyage AI, anhand von ca. 500.000 Amazon-Rezensionen verglichen. Wir bewerteten die Fähigkeit jedes Modells, die richtige Antwort zu finden und zu priorisieren.

Vergleich von Einbettungsmodellen: Genauigkeit vs. Preis

Das wichtigste Erfolgskriterium für ein Einbettungsmodell ist seine Genauigkeit beim Auffinden und Anordnen des korrekten Dokuments an erster Stelle. Wir haben dies mithilfe unseres „Genauigkeitswerts“ quantifiziert und ihn dem Preis jedes Modells gegenübergestellt. Eine detaillierte Beschreibung unseres Bewertungsansatzes finden Sie in unserer Benchmark-Methodik für Einbettungsmodelle .

Das Streudiagramm verdeutlicht, dass teurere Modelle nicht zwangsläufig eine höhere Genauigkeit aufweisen. Die leistungsstärksten Modelle bieten das beste Verhältnis zwischen Genauigkeit und Kosten.

• Beste Gesamtgenauigkeit: Mistral-Embed erzielte die höchste Genauigkeit (77,8 %) und ist damit ideal für Szenarien, in denen die Genauigkeit der Datenabfrage Priorität hat, selbst bei moderaten Kosten.
• Mittelklasse-Gerät: Voyage-4 bietet Genauigkeit (68,6 %) zu einem wettbewerbsfähigen Preis (0,06 $) und bietet damit ein gutes Gleichgewicht zwischen Leistung und Preis.
• Optionen mit moderatem Kostenaufwand : Snowflake (Cortex AI Functions) snowflake-arctic-embed-l-v2.0 (66,6%) bietet eine gute Genauigkeitsleistung zu moderaten Kosten.
• Eine teurere Alternative: Google's (Vertex AI API) gemini-embedding-001 erreichte eine höhere Genauigkeit (71,5%), hatte aber den höchsten Preis, was seine Attraktivität bei kostensensiblen Projekten einschränkt.
• Leistungsschwache teure Modelle: Branchenführende Marken wie die embed-v4.0-Modelle OpenAI und Cohere erzielten im Vergleich zu vergleichbaren oder preisgünstigeren Alternativen eine geringere Genauigkeit.

Um zu verstehen, wie wir die Punktzahl berechnet haben, lesen Sie bitte unsere Genauigkeitsmethodik .

Ein Modell muss die allgemeine Bedeutung und Relevanz einer Suchanfrage verstehen. Der „Relevanzwert“ (durchschnittliche Ähnlichkeit der Suchanfrage) misst, wie gut die fünf relevantesten Suchergebnisse semantisch mit der Suchanfrage des Nutzers übereinstimmen.

Um zu verstehen, wie wir die Punktzahl berechnet haben, lesen Sie bitte unsere Relevanzmethodik .

• Konsequente Spitzenreiter: Die Besten in Sachen Genauigkeit, wie mistral-embed und Google (Vertex AI API), sind auch führend in Sachen Relevanz, was auf ein robustes und umfassendes semantisches Verständnis hindeutet.
• Die „Relevanzfalle“: Interessanterweise finden manche Modelle zwar semantisch verwandte Dokumente, aber nicht unbedingt die richtigen. Beispielsweise erreichte das Dokument text-embedding-3-small von OpenAI einen respektablen Relevanzwert (48,6 %), wies aber einen der niedrigsten Genauigkeitswerte (39,2 %) auf. Dies deutet darauf hin, dass es zwar den allgemeinen Informationsbereich identifiziert, aber Schwierigkeiten hat, spezifische Antworten zu finden.

Ein hoher Relevanzwert ist zwar eine notwendige, aber nicht hinreichende Bedingung für einen erstklassigen Retrieval-Algorithmus. Die besten Modelle zeichnen sich dadurch aus, dass sie das Thema umfassend verstehen und die richtige Antwort mit hoher Präzision identifizieren.

Preisrechner für Einbettungsmodelle

Um Ihnen zu helfen, unsere Ergebnisse in ein praktisches Budget für Ihr eigenes Projekt umzusetzen, verwenden Sie den unten stehenden interaktiven Rechner, um die Einbettungskosten auf der Grundlage der Anzahl der Token in Ihrem Datensatz zu schätzen.

Hinweis : Die Preise für Snowflake variieren je nach Edition und Region. Unser Benchmark wurde mit der Snowflake Standard Edition (0,10 $ pro Million Token) durchgeführt. Preise für andere Editionen: Enterprise (0,15 $), Business Critical (0,20 $).

Die wichtigsten Merkmale des Einbettungsmodells verstehen

Es ist entscheidend, die wichtigsten technischen Attribute zu verstehen, die die Fähigkeiten und Ressourcenanforderungen eines Einbettungsmodells definieren.

• Einbettungsdimensionen: Vektorgröße, die vom Modell erzeugt wird. Die in unserer Tabelle aufgeführten Dimensionen stellen die vom Anbieter für den allgemeinen Gebrauch empfohlene Standard- oder optimale Größe dar. Höhere Dimensionen (z. B. 3072 für OpenAI und text-embedding-3-large) erfassen mehr semantische Nuancen, benötigen aber deutlich mehr Speicher- und Rechenressourcen. Niedrigere Dimensionen (z. B. 768 für Google und text-embedding-005) sind effizienter. Unsere Ergebnisse zeigen, dass größere Dimensionen die Genauigkeit der Suchergebnisse nicht automatisch verbessern.
• Maximale Tokenanzahl: Maximale Länge einer Textsequenz, die in einem Durchlauf verarbeitet werden kann. Ein größeres Kontextfenster ist vorteilhaft für die Einbettung langer Dokumente ohne Chunking. Obwohl unser dokumentenbasierter Ansatz innerhalb der Grenzen aller Modelle liegt, wird dieses Attribut entscheidend bei der Implementierung feingranularer Chunking-Strategien mit großen Textsegmenten.

Mögliche Gründe für die Leistungsunterschiede des Einbettungsmodells

1. Architektonischer Kernansatz

Die grundlegenden Designentscheidungen beeinflussen die inhärenten Denk- und semantischen Fähigkeiten des Modells, unabhängig davon, ob es sich um einen LLM-basierten Decoder oder einen traditionellen Encoder wie BERT handelt.

• Es wurde bestätigt, dass Mistral (mistral-embed) von ihrer LLM-Architektur abgeleitet ist und nicht von einem Standard-BERT-Encoder.
  • Tiefes semantisches Verständnis: Im Gegensatz zu älteren Modellen, die Schlüsselwörter abbilden, versteht die LLM-Architektur inhärent „Anweisungsbefolgung“. Dies ermöglicht es ihr, die komplexe Logik der Abfrage (Einschränkungen) zu analysieren und die informelle/verrauschte Syntax von Amazon-Rezensionen zu verarbeiten.
• Snowflake (Arctic-embed) basiert auf Standard-Open-Source-Encoder-Grundlagen und wurde anhand massiver Retrieval-Paare feinabgestimmt.
  • Solide Basis: Eine traditionelle Architektur, optimiert für die Suche. Sie bietet zwar nicht die tiefgreifende Logik eines LLM, aber eine konsistente und vorhersehbare Leistung bei Standardabfragen.

2. Trainingsdaten und Feinabstimmungsstrategie

Die während des Trainings verwendeten speziellen Methoden (z. B. Hard-Negative Mining oder Contrastive Learning) wirken sich direkt auf die Fähigkeit des Modells aus, Nuancen zu verarbeiten und zwischen ähnlichen Konzepten zu unterscheiden.

• Voyage AI (voyage-4/3.5/3) wurde von Stanford-Forschern entwickelt, die sich auf RAG spezialisiert haben; die Trainingsdaten beinhalten explizit „knifflige“ Negationen (A vs. nicht-A).
  • Bewusstsein für Einschränkungen: Das Modell ist mathematisch feinabgestimmt, um „ähnliche, aber falsche“ Elemente (wie natürlich vs. aluminiumfrei) im Vektorraum weit voneinander entfernt zu platzieren und so die „Relevanzfalle“ zu vermeiden.
• Cohere (embed-v4.0) ist darauf spezialisiert, den Abstand zwischen verschiedenen Paaren zu maximieren; oft so konzipiert, dass es zusammen mit einem Reranker arbeitet.
  • Drift/Fokus: Kontrastive Modelle benötigen oft einen zweiten „Reranking“-Schritt, um Rauschen zu verarbeiten. Allein (im Einzeldurchlauf) fällt es ihnen im Vergleich zu neueren LLM-basierten Einbettungen schwer, die „verrauschte“ Rezensionssyntax auf die formale Abfragesyntax abzubilden.

3. Vektordarstellungsstrategie

Der Ansatz von OpenAI zur Erstellung flexibler Vektordarstellungen führt zu einem Kompromiss zwischen der Flexibilität der Vektorlänge und dem Erhalt semantischer Details.

• OpenAI (text-embedding-3) , auch bekannt als Matryoshka-Repräsentationslernen, ermöglicht die Vektorkürzung und lädt allgemeine Informationen vorab.
  • Der Komprimierungs-Kompromisse: Matrjoschka-Lernen zwingt das Modell, „Nuancen“ zu komprimieren, um die Flexibilität des Vektors zu gewährleisten. Es erfasst zwar das allgemeine Thema (Relevanz) effektiv, verliert aber die für strenge Einschränkungen erforderlichen spezifischen Details (Genauigkeit), was zu einer schlechteren Klassifizierung führt.

Benchmark-Methodik von Einbettungsmodellen

Unser Benchmark bietet eine faire, transparente und reproduzierbare Bewertung der Leistungsfähigkeit von Einbettungsmodellen für RAG .

Testaufbau & Datenkorpus

• Wissenskorpus: Als Wissensbasis verwendeten wir einen Datensatz von 494.094 realen Nutzerrezensionen aus dem Amazon-Rezensionsdatensatz. ¹
• Vektordatenbank : Wir nutzten Qdrant zum Hosten aller Vektorsammlungen, die explizit für die Kosinusähnlichkeitssuche konfiguriert wurden.
• Testanfragen: Wir haben manuell eine Reihe von 100 anspruchsvollen, praxisnahen Fragen aus einem externen Amazon-Fragen-und-Antworten-Datensatz zusammengestellt. ² Diese Fragen wurden ausgewählt, um anspruchsvolles logisches Denken zu testen, und für jede Frage gab es eine vom Nutzer gewählte „beste Antwort“, die als Referenz diente. Um die Art dieser Anfragen zu verdeutlichen, enthielt der Testdatensatz komplexe Fragen mit mehreren Einschränkungen, wie zum Beispiel:
  • Gibt es ein natürliches Antitranspirant von A&H, das eine sichere Alternative zu Aluminium und Parabenen enthält?
  • Diese Art von Anfrage ist besonders anspruchsvoll, da sie erfordert, dass das Modell mehrere Einschränkungen gleichzeitig versteht (Marke: A&H; Attribut: natürlich; Negative Einschränkung : kein Aluminium/Paraben) und das abstrakte Konzept, eine „Alternative“ zu finden.

Kernbewertungsprinzipien

• Isolierte Sammlungen & native Dimensionen: Für jedes Modell betteten wir den gesamten Korpus in eine separate, isolierte Sammlung ein. Entsprechend gängiger Benchmarks wie MTEB evaluierten wir jedes Modell anhand seiner nativen, optimalen Einbettungsdimensionen. ³
• Abfragegranularität: Wir haben diesen Benchmark auf Dokumentebene durchgeführt. Jede Nutzerbewertung wurde als einzelnes Dokument behandelt und in einen einzelnen Vektor umgewandelt. Es wurde keine feinere Segmentierung angewendet.
• Zero-Shot-Evaluierung: Der Test wurde im Rahmen eines Zero-Shot-Ansatzes durchgeführt. Das bedeutet, dass die Modelle anhand eines speziellen Datensatzes evaluiert wurden, den sie während ihres ursprünglichen Trainings nicht verwendet hatten. Wir haben kein Modell mit unserem spezifischen Datensatz oder unseren spezifischen Abfragen feinabgestimmt oder trainiert .

Bewertungskriterien: Ein zweistufiger Ansatz

Wir verwendeten eine zweistufige Evaluierung, um zwischen allgemeiner semantischer Relevanz und präziser Abrufgenauigkeit zu unterscheiden. Kern beider Metriken ist die Kosinusähnlichkeit, eine Standardmethode zur Messung der Ähnlichkeit zwischen zwei Vektoren im Einbettungsraum.

Metrik 1: Die Relevanz („Durchschnittliche Ähnlichkeit der Suchanfrage“)

Diese Metrik beantwortet die Frage: „Versteht das Modell das allgemeine Thema der Suchanfrage?“ Sie misst die allgemeine semantische Relevanz der ersten fünf abgerufenen Dokumente für die Suchanfrage des Nutzers.

Berechnung: Für jede Anfrage wurden die folgenden Schritte durchgeführt:

1. Der Anfragetext wurde mithilfe des zu testenden Modells in einen Vektor umgewandelt.
2. Es wurde eine Suche durchgeführt, um die Top 5 Dokumente zu ermitteln.
3. Wir berechneten die Kosinusähnlichkeit zwischen diesen beiden resultierenden Vektoren.
4. Die endgültige Punktzahl für die Anfrage ist der Durchschnitt dieser fünf Ähnlichkeitswerte.

Metrik 2: Die Genauigkeit („Ähnlichkeitswert der Referenzdaten“)

Dies ist unsere wichtigste und entscheidendste Kennzahl. Sie beantwortet die Frage: „Kann das Modell die beste Antwort finden und sie dem Benutzer als Erstes präsentieren?“

Berechnung: Für jede Anfrage haben wir einen präzisen Vergleich durchgeführt:

1. Das vom Retriever zurückgegebene Dokument mit der höchsten Priorität wurde identifiziert.
2. Der vordefinierte „wahrheitsgemäße“ Antworttext wurde ebenfalls identifiziert.
3. Entscheidend ist, dass sowohl der Dokumenttext mit Rang 1 als auch der Text der Referenzantwort mithilfe desselben Modells, das evaluiert wurde, in Vektoren umgewandelt wurden.
4. Anschließend wurde die Kosinusähnlichkeit zwischen diesen beiden resultierenden Vektoren berechnet. Die Ähnlichkeit der Dokumente mit den Rängen 2 bis 5 wurde explizit ignoriert.

Ein hoher Wert bei dieser Kennzahl misst direkt die Präzision eines Modells und seine Fähigkeit, die nützlichsten Informationen aus einer Menge semantisch ähnlicher Dokumente herauszufiltern.

Messrahmen: Kosinusähnlichkeit

Unsere Auswertung verwendet die Kosinusähnlichkeit, ein robustes Maß zur Messung der Ähnlichkeit zwischen zwei Vektoren.

Anstatt den physikalischen Abstand zwischen Vektoren zu messen, berechnet diese Metrik den Kosinus des Winkels zwischen ihnen. Im Wesentlichen misst sie, ob die Vektoren in dieselbe Richtung zeigen, und liefert somit ein reines Maß für die Orientierung, nicht für die Größe. Der resultierende Wert liegt zwischen 1 und -1.

• 1: Die Vektoren sind in ihrer Orientierung identisch (maximale semantische Ähnlichkeit).
• 0: Die Vektoren sind orthogonal, was bedeutet, dass keine semantische Beziehung besteht.
• -1: Die Vektoren zeigen in entgegengesetzte Richtungen (entgegengesetzte Bedeutung).

Für unseren Benchmark zur Einbettung ermöglicht uns dies, zuverlässig zu quantifizieren, wie semantisch ähnlich ein abgerufenes Dokument einer Benutzeranfrage oder einer Referenzantwort ist. Wir haben diese Kernberechnung verwendet, um unsere beiden primären Metriken zu erstellen.

Einschränkungen von Benchmarks für Einbettungsmodelle

Obwohl dieser Benchmark auf Objektivität ausgelegt ist, ist es wichtig, seinen spezifischen Anwendungsbereich und seine Grenzen zu berücksichtigen. Folgende Faktoren sollten bei der Interpretation der Ergebnisse beachtet werden:

• Domänenspezifität: Die Ergebnisse sind stark auf den verwendeten Amazon-Rezensionsdatensatz beschränkt. Die Leistungshierarchie dieser Modelle könnte sich bei Anwendung auf andere Domänen mit abweichenden sprachlichen Merkmalen, wie z. B. Rechtstexte, wissenschaftliche Arbeiten oder Softwarecode, ändern. Ein Modell, das informelle, meinungsbasierte Rezensionen hervorragend versteht, ist möglicherweise nicht die optimale Wahl für ein Korpus, das ein tiefes technisches oder formales Sprachverständnis erfordert.
• Dokumentebene: Unsere Methodik evaluierte Modelle auf Dokumentebene, indem jede vollständige Rezension als einzelner Vektor behandelt wurde. Dieser Ansatz testet die Fähigkeit eines Modells, den Gesamtkontext eines Dokuments zu verstehen. Er misst jedoch nicht die Leistung bei detaillierteren Suchaufgaben, die eine Aufteilung von Dokumenten in kleinere Abschnitte (z. B. Absätze oder Sätze) erfordern würden. Die Leistung eines Modells kann sich je nach verwendeter Segmentierungsstrategie unterscheiden.

Weiterführende Literatur

Erkunden Sie weitere RAG-Benchmarks, wie zum Beispiel:

• Top-Vektordatenbank für RAG: Qdrant vs Weaviate vs Pinecone
• Hybrid RAG: Steigerung der RAG-Genauigkeit
• Agentic RAG Benchmark: Multi-Datenbank-Routing und Abfragegenerierung

FAQs

Referenzlinks

1.

McAuley-Lab/Amazon-Reviews-2023 · Datasets at Hugging Face

McAuley-Lab

2.

Amazon question/answer data

3.

MTEB Leaderboard - a Hugging Face Space by mteb

Massive Text Embedding Benchmark

Ekrem Sarı

KI-Forscher

Folgen auf

Ekrem ist KI-Forscher bei AIMultiple und konzentriert sich auf intelligente Automatisierung, GPUs, KI-Agenten und RAG-Frameworks.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten