Benchmark der 16 besten Open-Source-Einbettungsmodelle für RAG

Die meisten Benchmarks für Embeddings messen die semantische Ähnlichkeit. Wir haben die Korrektheit gemessen. Wir testeten 16 Open-Source-Modelle mit Embeddings von 23 Millionen bis 8 Milliarden Parametern anhand von 490.000 Amazon-Produktrezensionen und bewerteten jedes Modell danach, ob es die richtige Produktrezension durch exakten ASIN-Abgleich und nicht nur durch thematisch ähnliche Dokumente fand.

Überblick über Benchmarks für Open-Source-Einbettungsmodelle

Wir evaluierten die Genauigkeit und Geschwindigkeit der Abfrage anhand von 100 manuell zusammengestellten Anfragen, wobei sowohl leichtgewichtige, auf Geschwindigkeit optimierte Modelle als auch groß angelegte LLM-basierte Einbettungen, die für ein maximales semantisches Verständnis konzipiert wurden, berücksichtigt wurden.

Genauigkeit: Top-K-Abrufleistung

Was versteht man unter Top-K-Genauigkeit?

Die Top-K-Genauigkeit misst, wie häufig das richtige Dokument unter den ersten K Suchergebnissen erscheint:

• Top-1: Die richtige Antwort steht an erster Stelle (präziseste Antwort).
• Top-3: Die richtige Antwort erscheint unter den ersten drei Ergebnissen.
• Top-5: Die richtige Antwort erscheint unter den ersten 5 Ergebnissen (besonders relevant für RAG, das typischerweise 3-5 Kontextdokumente verwendet).
• Durchschnitt: Mittlere Genauigkeit der Top-1-, Top-3- und Top-5-Liste.

Eine höhere Genauigkeit bedeutet, dass das Modell häufiger die richtige Produktrezension findet.

Wichtigste Erkenntnisse aus den Genauigkeitsergebnissen:

Perfekte Top-5-Leistung: Drei Modelle der e5-Familie (e5-small, e5-base-instruct, e5-large-instruct) erreichten eine Top-5-Genauigkeit von 100 %. Sie gaben bei fünf Versuchen nie die falsche Antwort.

Testsieger: llama-embed-nemotron-8b erreichte eine Top-1-Genauigkeit von 62 %, die höchste unter allen getesteten Modellen, einschließlich der 70-mal kleineren.

Große Modelle enttäuschen bei der Top-5-Genauigkeit: Trotz 7–8 Milliarden Parametern und 4096-dimensionalen Vektoren erreichten die größten Modelle (e5-mistral-7b, gte-qwen2-7b, sfr-mistral, gritlm-7b, llama-embed-nemotron-8b) lediglich eine Top-5-Genauigkeit von 82–90 %. Das Modell e5-small mit 118 Millionen Parametern übertraf sie alle mit einer Top-5-Genauigkeit von 100 %.

Das Effizienzparadoxon: e5-small verarbeitet Anfragen 14-mal schneller als llama-embed-nemotron-8b (16 ms vs. 195 ms) und erzielt dabei eine höhere Top-5-Genauigkeit (100 % vs. 88 %).

Bestes großes Modell: gritlm-7b erreichte die höchste Top-5-Genauigkeit (90 %) unter den über 7 Milliarden Modellen, weist aber eine Ranking-Anomalie auf. Seine Top-1-Genauigkeit (38 %) ist die niedrigste seiner Klasse, was darauf hindeutet, dass das Modell zwar korrekte Dokumente findet, aber Schwierigkeiten hat, diese an erster Stelle einzuordnen.

Die 56%-Gruppe: Fünf Modelle (jina-v3, qwen3-0.6b, snowflake-arctic, all-MiniLM-L6-v2 und andere) erreichten eine Top-5-Genauigkeit von 56%, was eine deutliche Leistungslücke zu den führenden Modellen aufzeigt.

Größe ist nicht gleich Genauigkeit: Das kleinste Modell (e5-small, 118M params) übertraf Modelle, die 70x größer waren, bei der Top-5-Ergebnissuche für die Produktsuche.

all-MiniLM-L6-v2 (über 200 Millionen Downloads auf HuggingFace) erreichte lediglich eine Top-5-Genauigkeit von 56 % und eine Top-1-Genauigkeit von 28 % und gehörte damit zu den schlechtesten Modellen. Seine Architektur aus dem Jahr 2019 kann mit modernen, für die Suche optimierten Modellen nicht mithalten.

Latenz

Was ist Latenz?

• Latenz (ms): Zeit, die ausschließlich für die Generierung der Einbettung (Umwandlung von Text in Vektor) benötigt wird. Je niedriger der Wert, desto besser. Die Vektorsuchzeit ist in diesen Messungen nicht enthalten.

Diese Kennzahlen messen, wie schnell ein Modell den Nutzern im Produktivbetrieb dienen kann.

Wichtigste Erkenntnisse aus den Leistungsergebnissen:

Geschwindigkeitsmeister: Das e5-small erreichte eine Einbettungslatenz von 16 ms und war damit das schnellste getestete Modell. Es ist 14-mal schneller als die großen Modelle (187–221 ms).

Die Latenzgrenze: Alle Modelle mit über 7 Milliarden Parametern weisen eine Latenz zwischen 187 und 221 ms auf und sind damit etwa 10-mal langsamer als Modelle mit weniger als einer Milliarde Parametern. Dies macht sie ohne GPU-Beschleunigung für die Echtzeit-Suche mit Benutzeroberfläche ungeeignet.

Der 14-fache Leistungsunterschied: e5-small verarbeitet 14 Anfragen in der Zeit, in der llama-embed-nemotron-8b nur eine Anfrage verarbeitet, und erzielt dabei gleichzeitig eine um 12 % höhere Top-5-Genauigkeit.

Sub-30ms-Cluster: Fünf Modelle (e5-small, all-MiniLM-L6-v2, mpnet-base-v2, e5-base-instruct und bge-m3) erreichten eine Latenz von weniger als 30 ms und eignen sich daher für Echtzeitanwendungen.

Optimale Leistung für den Produktiveinsatz: e5-small und e5-base-instruct vereinen hohe Genauigkeit (100 % Top-5) mit geringer Latenz (unter 30 ms) und sind daher ideal für den Einsatz in RAG-Systemen im Produktiveinsatz.

Kompromiss bei großen Modellen: Wenn Sie die höchste Top-1-Präzision benötigen und eine Latenz von etwa 200 ms tolerieren können, bietet llama-embed-nemotron-8b die beste Ranking-Präzision (62 % Top-1) unter allen getesteten Modellen.

Hinweis: Dies sind reine Modellinferenzzeiten ohne Vektordatenbankoperationen. Alle Modelle wurden auf der H100 GPU mit BF16-Genauigkeit getestet.

Technische Merkmale von Open-Source-Einbettungsmodellen

Die technischen Spezifikationen verstehen:

• Parameter: Die Größe des Modells in Millionen trainierbarer Gewichte. Größere Modelle (500 Mio.+) können komplexere Muster besser erlernen, benötigen aber mehr Speicher und Rechenleistung.
• Dimension: Die Länge des Vektors, in den jeder Text umgewandelt wird (z. B. bedeutet 384, dass jedes Dokument zu einem 384-stelligen Vektor wird). Höhere Dimensionen (1024) können mehr semantische Nuancen erfassen, erfordern aber mehr Speicherplatz und langsamere Ähnlichkeitsberechnungen.
• Maximale Länge: Die maximale Anzahl an Tokens (etwa Wörtern), die das Modell in einer einzelnen Eingabe verarbeiten kann. Modelle mit einer maximalen Länge von 8192 Tokens können sehr lange Dokumente ohne Chunking verarbeiten, während Modelle mit 512 Tokens längere Texte aufteilen müssen.

Wichtigste Erkenntnis: Größere Spezifikationen bedeuten nicht automatisch bessere Leistung. Das e5-small-Modell (118 Millionen Parameter, 384 Dimensionen, 512 Token) erzielte die besten Ergebnisse, obwohl es die geringsten Spezifikationen im Spitzensegment aufwies.

Benchmark-Methodik

Korpus & Anfragen

Datensatz: 490.000 Amazon-Kundenrezensionen (Kategorie Gesundheit & Körperpflege)

• Jede Rezension = einzelner Dokumentenvektor
• Indiziert in Qdrant mit Kosinusähnlichkeit

Testset: 100 manuell zusammengestellte Abfragen

• Fragen von echten Nutzern (z. B. „Ist dieses Probiotikum gut für die Verdauung?“)
• Jede ASIN-Verifizierung liefert ein korrektes Produkt.

Übereinstimmung mit den Bodenwahrheiten

Für unsere Auswertung wird die ASIN (Amazon Standard Identification Number) des Produkts zur exakten Übereinstimmung verwendet:

1. Die Abfrage gibt die ASIN des Zielprodukts an.
2. Das Modell ruft die Top-5-Dokumente ab (sortiert nach Kosinusähnlichkeit).
3. Das System prüft, ob ein abgerufenes Dokument mit der entsprechenden ASIN übereinstimmt.
4. Binäres Ergebnis: Übereinstimmung = Treffer ✓, Keine Übereinstimmung = Fehlschlag ✗

Beispiel:

Dies gewährleistet die faktische Korrektheit des Produkts und nicht nur die semantische Ähnlichkeit.

Die Rolle der Kosinusähnlichkeit

Wo die Kosinusähnlichkeit verwendet wird:

• Qdrant sortiert intern alle 490.000 Dokumente nach Ähnlichkeit zur Suchanfrage.
• Die 5 Dokumente mit den höchsten Punktzahlen werden zurückgegeben

Wo es NICHT verwendet wird:

• Die Überprüfung der Bodenwahrheit erfolgt durch exakte ASIN-Übereinstimmung (Zeichenkettengleichheit).
• Hoher Ähnlichkeitswert ≠ richtige Antwort

Warum das wichtig ist:

Ein Modell könnte sehr ähnliche, aber sachlich falsche Dokumente abrufen:

Dies verdeutlicht, warum die faktische Korrektheit für RAG-Systeme wichtiger ist als die semantische Relevanz .

Evaluierungsaufbau

Hardware: NVIDIA H100 80GB GPU via RunPod mit BF16 (bfloat16) Genauigkeit

Vektordatenbank: Qdrant (lokale Instanz)

Modus: Nullschuss (keine Feinabstimmung)

Fairnessgarantien:

• Derselbe 490K-Korpus für alle Modelle
• Die gleichen 100 Anfragen
• Gleiche Hardware (H100 auf RunPod) und gleiche Vorverarbeitungspipeline
• Isolierte Sammlungen (keine Vektorleckage)
• Native Einbettungsdimensionen pro Modell
• BF16 Präzision für alle Modelle

Kennzahlen

Top-K-Genauigkeit:

Gemessen bei K=1, 3 und 5. Die Top-5-Werte sind am relevantesten, da RAG-Systeme typischerweise 3-5 Kontextdokumente verwenden.

Leistung:

• Durchschnittliche Latenz: Mittlere Zeit nur für die Generierung der Einbettung (Text → Vektor-Konvertierung)

Einschränkungen

Domänenspezifität: Die Ergebnisse beziehen sich auf die Produktsuche im Bereich Gesundheit & Körperpflege. Die Leistung kann in den Bereichen Recht, Finanzen oder Code-Suche abweichen.

Hardwareabhängigkeit: Alle Modelle wurden auf einem NVIDIA H100 80GB mit BF16 Precision getestet. Die Leistung kann abweichen auf:

• Consumer-GPUs (RTX 3090/4090): 2-3x langsamer, möglicherweise INT8-Quantisierung für 7B+-Modelle erforderlich
• Cloud-GPUs (A100, L40S): Ähnliche Leistung wie H100
• Inferenz ausschließlich mit der CPU: 10- bis 50-mal langsamer, abhängig von der Modellgröße

GPU-Speicherbedarf: Große Modelle (7B+) benötigen ca. 16–20 GB VRAM in BF16-Präzision. Consumer-GPUs mit weniger VRAM benötigen möglicherweise INT8-Quantisierung, was die Genauigkeit um 5–10 % beeinträchtigen kann.

ASIN-basiertes Matching: Unser Ansatz misst die Genauigkeit auf Produktebene. Alternative Datensätze ohne eindeutige Kennungen würden andere Verifizierungsmethoden erfordern.

Zero-Shot-Test: Modelle, die ohne domänenspezifisches Feintuning getestet wurden. Feinabgestimmte Modelle könnten andere Ranglistenplätze erreichen.

Open-Source-Einbettungsmodelle

llama-embed-nemotron-8b

Das Flaggschiff-Embedding-Modell von NVIDIA, das auf Llama-3.1-8B mit bidirektionaler Aufmerksamkeit basiert, ist für Enterprise-RAG-Systeme konzipiert, die ein maximales semantisches Verständnis erfordern.

In unserer Bewertung:

• Höchste Top-1-Genauigkeit (62 %) unter allen 16 Modellen. Es ordnet die richtige Antwort häufiger als jedes andere Modell an erster Stelle ein.
• Starke Top-5-Genauigkeit (88%), aber immer noch unter dem perfekten Wert der e5-Familie.

Ideal für: Unternehmenseinsätze, bei denen höchste Präzision wichtig ist und eine GPU-Infrastruktur verfügbar ist.

e5-small

Ein kompakter, mehrsprachiger Retrieval-Encoder, optimiert für semantische Hochdurchsatzsuche, der häufig in Echtzeit-RAG-Systemen, Empfehlungssystemen und Produktabruf eingesetzt wird. Er wurde für effizientes kontrastives Retrieval trainiert und ist darauf ausgelegt, die Inferenzgeschwindigkeit zu maximieren, ohne die Ranking-Qualität zu beeinträchtigen.

In unserer Bewertung bot es die beste Gesamtbalance:

• 100%ige Trefferquote der Top-5-Ergebnisse
• Die niedrigste Latenz

e5-base-instruct

Die speziell auf die Ausrichtung von Suchanfrage und Dokument abgestimmten Anweisungen eignen sich hervorragend für aufgabenorientierte Suche, KI-Assistenten und geführte Suchprozesse. Das Trainingsziel verbessert das schnelle Verständnis beim Einbetten und erhöht so die Präzision strukturierter Suchanfragen.

e5-large-instruct

Eine Variante mit höherer Kapazität, die für die präzise Suche in unternehmensweiten Wissensdatenbanken, der Rechtsermittlung und komplexen Abfrageumgebungen entwickelt wurde. Sie profitiert von einem tiefergehenden Repräsentationslernen, ist aber mit höheren Inferenzkosten verbunden.

Wir beobachteten eine konkurrenzfähige Top-K-Genauigkeit, jedoch signifikante Kompromisse bei Latenz und QPS, was unterstreicht, dass die Modellgröße allein keine bessere Retrieval-Leistung im Produktivbetrieb garantiert.

gte-multilingual

Ein dichtes Retrieval-Modell für über 70 Sprachen, das für die sprachübergreifende Suche und die globale Inhaltsfindung entwickelt wurde und häufig für mehrsprachigen Kundensupport und internationale Wissensdatenbanken verwendet wird.

Es lieferte zwar eine zuverlässige Abrufgenauigkeit, wies aber eine höhere Latenz auf als Modelle, bei denen die Optimierung an erster Stelle stand. Dies lässt darauf schließen, dass eine breite Sprachgeneralisierung selbst unter einsprachigen Testbedingungen einen zusätzlichen Rechenaufwand mit sich bringt.

bge-m3

Ein Multi-Repräsentations-Encoder, der dichte, spärliche und hybride Vektorabfragen unterstützt und für lange Dokumente sowie Multi-Vektor-Suchpipelines konzipiert ist. Er wird häufig in hybriden lexikalisch-semantischen Suchsystemen eingesetzt, die Flexibilität erfordern.

Trotz architektonischer Vielseitigkeit blieb es in der Top-K-Genauigkeit hinter kleineren optimierten Modellen zurück und wies eine höhere Latenz auf, was verdeutlicht, dass ein multikriterielles Einbettungsdesign nicht immer zu einer höheren Abrufgenauigkeit führt.

nomic-embed-v1.5

Ein Mixture-of-Experts-Einbettungsmodell mit Matryoshka-Dimensionsreduktion, entwickelt für adaptive Vektorspeicherung und effiziente Inferenz. Häufig eingesetzt in kostensensiblen Vektorsuchsystemen, die die Einbettungsdimensionen dynamisch skalieren.

In der Praxis blieb die Genauigkeit solide, konnte aber kleinere, nur auf dichten Datensätzen basierende Vergleichsgruppen weder in Geschwindigkeit noch in Korrektheit übertreffen. Dies zeigt, dass theoretische Effizienzgewinne nicht immer zu besseren Abrufergebnissen führen.

jina-v3

Ein mehrsprachiges Retrieval-Modell, entwickelt für die Suche in heterogenen Dokumenten, Such-APIs und die Suche nach unternehmensweitem Wissen in verschiedenen Formaten. Entwickelt für die Generalisierung über verschiedene Domänen und Inhaltstypen hinweg.

Es bot eine stabile Genauigkeit und Latenz, erreichte aber bei Aufgaben wie der Produktsuche, die auf Entitätsebene abzielen, keine Spitzenleistung im Bereich exakter Übereinstimmungen.

qwen3-0.6b

Ein mehrsprachiges Retrieval-Modell, optimiert für instruktionsgesteuerte semantische Suche und Clustering, verwendet in der Konversationssuche, im QA-Retrieval und in mehrsprachigen Korpora.

Es zeigte eine konkurrenzfähige Genauigkeit, jedoch eine im Verhältnis zur Parametergröße höhere Inferenzlatenz, was seine Effizienz bei Anwendungen mit hoher QPS einschränkte.

Schneeflocken-Arktis

Ein Retrieval-Encoder für semantische Suchsysteme im Unternehmensmaßstab und interne Wissenssysteme, der auf Stabilität bei sehr großen Vektorindizes ausgelegt ist.

Obwohl es konsistente Ergebnisse lieferte, wurde es von kleineren, auf den Abruf optimierten Modellen sowohl in Genauigkeit als auch in Latenz übertroffen, was unterstreicht, dass Unternehmensgröße nicht zwangsläufig mit höherer Abrufgenauigkeit gleichzusetzen ist.

all-MiniLM-L6-v2

Ein leichtgewichtiger, CPU-schonender Dense-Encoder, der häufig für lokale Suchen, Prototyping und Edge-Bereitstellungen eingesetzt wird, wo die Rechenleistung begrenzt ist.

Es erreichte eine ausgezeichnete Latenz und QPS, jedoch eine geringere Top-K-Genauigkeit bei der exakten Entitätssuche, was zeigt, dass kompakte semantische Modelle für die faktische Produktabfrage nicht immer ausreichend sind.

mpnet-base-v2

Ein Transformer, der für semantische Ähnlichkeit und Clustering trainiert wurde und häufig in den Bereichen Analytik, Empfehlungen und semantische Deduplizierung eingesetzt wird.

Obwohl es gut darin ist, semantische Bedeutungen zu erfassen, schnitt es bei der exakten Produktsuche schlechter ab und zeigte langsamere Schlussfolgerungen als auf die Suche spezialisierte kompakte Modelle.

Wichtige Überlegungen für den Einsatz von Einbettungsmodellen

Bei der Implementierung eines Einbettungsmodells (unabhängig davon, ob es sich um ein proprietäres oder ein Open-Source-Einbettungsmodell handelt) sind mehrere Faktoren für die Erzielung optimaler Leistung und Effizienz ausschlaggebend:

Leistung und Genauigkeit

Das passende Einbettungsmodell muss entsprechend den spezifischen Anforderungen an Datenabruf oder Klassifizierung ausgewählt werden. Ziel ist es, Einbettungen zu generieren, die eine hohe Abrufqualität für Ihren Anwendungsbereich liefern.

• Tipp: Ziehen Sie stets etablierte Benchmarks zu Rate, um die Leistung eines Modells bei Aufgaben zu bewerten, die für Ihre Anwendung relevant sind (semantische Ähnlichkeit, Clustering usw.).
• Anmerkung zur Modellgröße: Größere Modelle bieten eine höhere Genauigkeit (überlegenes semantisches Verständnis), da sie über mehr Parameter verfügen, um komplexe Beziehungen zu lernen. Dies muss jedoch gegen die Einsatzbeschränkungen abgewogen werden.

Latenz und Skalierung

Geringe Latenzzeiten bei der Einbettung sind für Echtzeitanwendungen (z. B. Suche während der Eingabe oder Live-Empfehlungen) entscheidend. Dieser Punkt konzentriert sich auf die technischen Anforderungen für eine schnelle und zuverlässige Ausführung des Modells.

• Tipp: Wählen Sie eine Bereitstellungsplattform, die effizientes Autoscaling und optimierte Hardware (GPUs/TPUs) bietet, um eine konstant niedrige Latenz und die Fähigkeit zur Bewältigung schwankender Datenströme zu gewährleisten.
• Hinweis zur Modellgröße: Kleinere, effizientere Modelle (wie z. B. destillierte Modelle) sind oft besser geeignet, wenn geringe Latenzzeiten entscheidend sind. Eine hohe Latenz im Abrufschritt eines RAG-Systems verschlechtert die Benutzererfahrung unmittelbar, da sie die Generierung der Antworten verlangsamt.

3. Integration mit komplexen KI-Systemen

Einbettungsmodelle sind häufig Bestandteile größerer, komplexer KI-Lösungen. Beispielsweise kombiniert ein RAG-System ein Text-Einbettungsmodell mit einem LLM.

• Tipps: Wählen Sie Plattformen, die Multi-Modell-Serving nativ unterstützen und Funktionen wie verteilte Orchestrierung (Verwaltung des Datenflusses zwischen Modellen) sowie Observability (Überwachung der Performance entlang der gesamten Kette) bieten. Denken Sie daran, dass Ihre Bereitstellungsstrategie den Aufbau und die Skalierung dieser Multi-Modell-Ketten vereinfachen muss.

Lizenz und kommerzielle Nutzung

Obwohl für alle 16 Modelle öffentlich verfügbare Gewichtsangaben vorliegen, ist der kommerzielle Einsatz bei 3 Modellen eingeschränkt. Bevor Sie ein Modell für die Produktion auswählen, überprüfen Sie bitte die untenstehende Lizenztabelle:

Wichtigste Erkenntnisse & kommerzielle Nutzung:

• MIT / Apache 2.0: Dies sind Standardlizenzen, die eine freie kommerzielle Nutzung erlauben.
• CC-BY-NC-4.0 (Nicht-kommerziell): Die kommerzielle Nutzung ist ohne separate Vereinbarung strengstens untersagt.
• NVIDIA Nemotron: Gibt ausdrücklich an: „Dieses Modell ist nur für nichtkommerzielle/Forschungszwecke bestimmt.“
• Jina V3: Enthält die ausdrückliche Angabe „Bei Fragen zur kommerziellen Nutzung können Sie sich gerne an uns wenden“ (es sei denn, die Nutzung erfolgt über die kostenpflichtige API).

Warum schneiden große Modelle in den Top 5 möglicherweise schlechter ab?

Unsere Vergleichsanalyse zeigt zwar deutlich, dass kleinere Modelle bei der Top-5-Suche besser abschneiden als größere, die genauen Ursachen bedürfen jedoch weiterer Untersuchungen. Wir vermuten mehrere mögliche Faktoren:

Mögliche Hubness-Effekte: Studien deuten darauf hin, dass hochdimensionale Vektorräume (4096-dimensional vs. 384-dimensional) Hubness aufweisen können, bei der bestimmte Vektoren zu vielen Anfragen die nächsten Nachbarn werden. Dies könnte erklären, warum größere Modelle mit höheren Dimensionen eine geringere Top-5-Recall-Rate zeigen, obwohl wir Hubness in unseren Ergebnissen nicht direkt gemessen haben.

Unterschiedliche Trainingsziele: Kleinere Retrieval-Modelle können speziell für recall-orientierte Aufgaben optimiert werden, während LLM-basierte Einbettungen die Präzision priorisieren. Die Ergebnisse (38 % Top-1 vs. 90 % Top-5) deuten auf mögliche Unterschiede in der Ranking-Kalibrierung hin, diese Interpretation bedarf jedoch der Bestätigung.

Domänenanpassung: Leistungsunterschiede können teilweise die Zusammensetzung der Trainingsdaten widerspiegeln, wobei einige Modelle besser für die Produktsuche geeignet sind als andere.

Was ist ein Open-Source-Einbettungsmodell?

Ein Open-Source-Embedding-Modell ist ein öffentlich verfügbares KI-Modell, das Text in numerische Vektoren umwandelt, die von Menschen und Systemen semantisch verglichen, gruppiert und durchsucht werden können. Im Gegensatz zu geschlossenen APIs können Sie es auf Ihrer eigenen Infrastruktur ausführen, überprüfen, optimieren und an Ihre Bedürfnisse anpassen.

Sie sind wichtig, weil sie Ihnen Folgendes geben:

• Volle Datenhoheit , d. h. keine Weitergabe von Anfragen an APIs von Drittanbietern.
• Langfristig entstehen bei entsprechender Größenordnung keine oder nur geringe Kosten.
• Individuelle Feinabstimmung für domänenspezifische Präzision (Medizin, Finanzen, Produktsuche usw.).
• Offline- oder On-Premise-Bereitstellung für sicherheitskritische Umgebungen
• Die Freiheit, hinsichtlich Latenz, Größe oder Genauigkeit zu optimieren .

Anwendungsfälle für eingebettete Modelle

Einbettungsmodelle ermöglichen die Erstellung von Text- oder anderen Dateneinbettungen, die anschließend in einem Vektorraum positioniert werden. Die Nähe dieser einzelnen Vektordarstellungen in diesem Raum kennzeichnet semantische Bedeutung und Ähnlichkeit, wodurch die Einbettungsgenerierung für zahlreiche KI-Anwendungen von entscheidender Bedeutung ist, wie beispielsweise:

Semantische Suche

Die semantische Suche nutzt Einbettungsmodelle (einschließlich spezialisierter Texteinbettungsmodelle), um relevante Inhalte oder relevante Ergebnisse auf der Grundlage konzeptueller Bedeutung und nicht auf der Grundlage von Schlüsselwortübereinstimmung zu finden.

Die Kodierung von Inhalten im Vektorspeicher stärkt die Suchmaschinen, da sie eine deutlich höhere Suchgenauigkeit bietet als herkömmliche Methoden, bei denen die Ähnlichkeit oft anhand der Kosinusähnlichkeit gemessen wird.

Praxisbeispiele für Open-Source-Einbettungsmodelle in der semantischen Suche

Unternehmenswissenssuche

Globale Unternehmen, die Open-Source-Embedding-Modelle von Jina AI verwenden (z. B. jina-embeddings-v2), setzen semantische Suche ein, um HR-Kompetenzabgleich, Finanzabstimmung und internen Wissensabruf zu unterstützen.

Die Unterstützung von 8K-Token und das mehrsprachige Design des Modells ermöglichen eine umfassende Unternehmenssuche ohne API-Abhängigkeit, verbessern die Abruftiefe und halten die Inferenz lokal. ¹

Praxisbeispiele für proprietäre Einbettungsmodelle in der semantischen Suche

Übersetzte Kundenanfragen

Zendesk verwendet Einbettungsmodelle (Bi-Encoder), um Kundenanfragen und Hilfeartikel in Vektoren zu übersetzen. Das endgültige Ranking basiert auf einem hybriden System, das Keyword-Matching (BM25) und Vektornähe (Kosinusähnlichkeit) zur Bestimmung der Relevanz kombiniert.

Zendesk berichtet, dass die Implementierung der semantischen Suche zu einer durchschnittlichen Steigerung des mittleren reziproken Rangs (MRR) um 7 % für englischsprachige Hilfezentren geführt hat. Dies ist ein direkter Indikator dafür, dass Kunden die richtige Antwort deutlich schneller gefunden haben, was zu einer höheren Erfolgsquote bei der Selbsthilfe geführt hat. ²

Personalisierte Empfehlungen

Netflix nutzt Deep Learning, um Einbettungen für Inhalte und Nutzer zu generieren. Diese Vektoren erfassen differenzierte Sehgewohnheiten und Inhaltsmerkmale für personalisierte Rankings und Empfehlungen.

Dem Gesamtsystem wird zugeschrieben, dem Unternehmen durch eine hohe Kundenbindung jährlich über 1 Milliarde Dollar einzusparen. ³

Information Retrieval (IR)

Die Generierung von Einbettungen ist für das Information Retrieval (IR) in großen Datenbanken von zentraler Bedeutung. Eine wichtige Anwendung ist die Retrieval Augmented Generation (RAG), bei der die mithilfe des Einbettungsmodells aus dem Vektorspeicher abgerufenen Daten großen Sprachmodellen (LLMs) helfen, präzisere und aktuellere Echtzeitinhalte zu generieren. Dies verbessert die Genauigkeit der Suchergebnisse und die Gesamtqualität der Inhalte.

Praxisbeispiel für Open-Source-Einbettungsmodelle in der IR

Anrufinformationen

AT&T bearbeitet jährlich 40 Millionen Kundensupportanrufe und nutzt KI, um jeden Anruf in eine von 80 Servicekategorien einzuordnen, um Abwanderungssignale zu erkennen und eine proaktive Kundenbindung zu ermöglichen.

Nachdem AT&T zunächst GPT-4 zur Anrufklassifizierung eingesetzt hatte, ersetzte das Unternehmen es durch eine hybride Open-Source-Modellpipeline. Diese kombinierte destillierte GPT-4-Modelle, H2O.ai's Danube und Meta Llama 70B für komplexe Fälle. Dadurch konnten die Kosten drastisch gesenkt werden, ohne die Genauigkeit im Produktivbetrieb zu beeinträchtigen. Das Open-Source-System erreichte Folgendes:

• 35 % der vorherigen Betriebskosten
• 91 % relative Genauigkeit im Vergleich zu GPT-4
• 15 bis 5 Stunden Bearbeitungszeit pro Tag
• Durch verbesserte Abwanderungserkennung konnten jährlich rund 50.000 Kunden gehalten werden. ⁴

Praxisbeispiel für proprietäre Einbettungsmodelle in IR

RAG-Chatbot

DoorDash hat einen RAG-basierten Chatbot implementiert, um den Support für seine Lieferfahrer zu automatisieren. Das System nutzt ein optimales Einbettungsmodell in seinem Vektorspeicher, um eine hohe Abrufgenauigkeit der Wissensdatenbankartikel zu erreichen. Dies ist entscheidend für die Grundlage der automatisierten Empfehlungen des LLM (Learning Learning Model).

Durch die Implementierung des RAG-Systems in Verbindung mit der strengen Qualitätskontrolle konnten die Halluzinationen bei LLM um 90 % und die schwerwiegenden Compliance-Probleme um 99 % reduziert werden. ⁵

Clustering und Klassifizierung

Einbettungsmodelle vereinfachen die Klassifizierung und Organisation von Inhalten, indem sie Texteinbettungen oder andere Datenrepräsentationen im Vektorraum gruppieren. Dies ist für verschiedene nachgelagerte Aufgaben unerlässlich, beispielsweise für die Gruppierung von Kundenfeedback nach Stimmung oder die Kategorisierung von Dokumenten nach Themen.

Praxisbeispiel für Open-Source-Embedding-Modelle beim Clustering und der Klassifizierung

KI-gestützte Ticket-Clusterung und -Klassifizierung

Die Volcano Engine von ByteDance hat ein KI-gestütztes Eskalations- und Routingsystem im Produktivbetrieb implementiert, das Support-Tickets mithilfe semantischer Ähnlichkeit und intern entwickelter LLMs (DouBao) gruppiert, dedupliziert und klassifiziert. Das System analysiert Support-Konversationen, um wiederkehrende Probleme automatisch zu gruppieren, Kategorien zuzuweisen und Eskalationen ohne manuelle Kennzeichnung an die zuständigen Bearbeiter weiterzuleiten.

Die Implementierung wurde anhand von über 20.000 echten Support-Tickets validiert, die Folgendes ermöglichten:

• Hunderte neuer Tickets pro Tag bearbeiten
• Reduzierung des operativen Arbeitsaufwands um ca. 10 eingesparte Personentage pro Tag
• Für die Ticket-Deduplizierung und das Clustering sollten semantische Ähnlichkeitsschwellenwerte von 0,86–0,95 angewendet werden. ⁶

Praxisbeispiel für proprietäre Einbettungsmodelle beim Clustering und der Klassifizierung

KI-gestützte Ticketklassifizierung

Gelato, eine E-Commerce-Plattform, nutzte eingebettete Modelle, die auf der Vertex AI von Google basierten, um die Priorisierung und Zuweisung eingehender technischer Tickets und Kundenfehler zu automatisieren.

Das Einbettungsmodell wandelt die Textbeschreibung des Problems in einen Vektor um. Dieser Vektor wird anschließend von einem Machine-Learning-Modell der korrekten technischen Kategorie zugeordnet (z. B. „Anmeldefehler“, „Zahlungsfehler“, „API-Fehler“). Dadurch konnte Gelato die Genauigkeit der Ticketzuordnung von 60 % auf 90 % steigern. ⁷

Empfehlungssysteme

Einbettungsmodelle unterstützen diese Systeme, indem sie Nutzerpräferenzen anhand der semantischen Bedeutung ihrer Interessen und der verfügbaren Inhalte verstehen. Durch die Messung der Ähnlichkeit zwischen Nutzer- und Artikel-Einbettungen können Empfehlungssysteme personalisiertere Vorschläge bereitstellen.

Praxisbeispiel für die Einbettung von Modellen in Empfehlungssysteme

Dynamische Empfehlungen über CoSeRNN

Spotify nutzt Embedding-Modelle, um Vektordarstellungen für Songs, Künstler und Nutzer zu erstellen. Ein wichtiger Fortschritt in der Empfehlungs-Engine ist die Implementierung der CoSeRNN-Architektur (Contextual and Sequential Recurrent Neural Network). Dieses System geht über statische Nutzerprofile hinaus und trägt der Dynamik des Musikhörens Rechnung.

Das CoSeRNN-System modelliert Nutzerpräferenzen als Sequenz kontextabhängiger Einbettungen. Diese Einbettungen werden von Faktoren wie der Tageszeit, dem verwendeten Gerät und den zuletzt abgespielten Titeln beeinflusst. Dadurch lernt das Modell, einen Präferenzvektor vorherzusagen, der die Ähnlichkeit zu anderen in der aktuellen Hörsitzung abgespielten Titeln maximiert und so eine hochpräzise, in Echtzeit erfolgende Personalisierung ermöglicht.

Der CoSeRNN-Ansatz, der auf der Generierung hochwertiger sequenzieller Nutzereinbettungen basiert, schnitt deutlich besser ab als vergleichbare Ansätze und erzielte bei allen betrachteten Ranking-Metriken sowohl für Sitzungs- als auch für Titelempfehlungen Verbesserungen von über 10 %. Diese Verbesserung korreliert direkt mit der Nutzerzufriedenheit und reduziert die Absprungrate, da sie bestätigt, dass Nutzer im jeweiligen Kontext mehr von dem hören, was sie tatsächlich interessiert. ⁸

Zusammenfassung der Fallstudien zum Einbettungsmodell:

FAQs

Referenzlinks

1.

Building AI With MongoDB: Putting Jina AI’s Breakthrough Open Source Embedding Model To Work | MongoDB

MongoDB

2.

About semantic search and how it works – Zendesk help

Zendesk

3.

[CASE STUDY] Netflix's AI Personalization Strategy Saves $1 Billion Yearly in Customer Retention

Head of AI

4.

Inside AT&T's Open-Source AI Approach to Customer Service Calls - Business Insider

Business Insider

5.

Doordash: Building a High-Quality RAG-based Support System with LLM Guardrails and Quality Monitoring - ZenML LLMOps Database

6.

\name: Leveraging Large Language Models for Automated Ticket Escalation

7.

Real-world gen AI use cases from the world's leading organizations | Google Cloud Blog

Google Cloud

8.

http://rishabhmehrotra.com/papers/recsys2020-context.pdf

Ekrem Sarı

KI-Forscher

Folgen auf

Ekrem ist KI-Forscher bei AIMultiple und konzentriert sich auf intelligente Automatisierung, GPUs, KI-Agenten und RAG-Frameworks.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten