Beste RAG Werkzeuge, Frameworks und Bibliotheken
RAG verbessert LLM-Antworten, indem es sie auf externen Daten fundiert, anstatt nur auf dem, was das Modell während des Trainings auswendig gelernt hat. Wir haben die Komponenten, aus denen ein RAG-System aufgebaut ist, einem Benchmark unterzogen und die Ergebnisse an einem Ort zusammengestellt, mit einem praktischen Leitfaden zur Auswahl jedes Teils des Stacks.
Sehen Sie sich unsere Benchmark-Ergebnisse für jede RAG-Komponente, unseren Leitfaden zur Auswahl eines RAG-Stacks oder die RAG-Grundlagen an: was es ist, wie es funktioniert und wo es hineinpasst.
RAG-Benchmark-Ergebnisse
Embedding-Modelle
Das Embedding-Modell konvertiert sowohl Ihre Dokumente als auch die Benutzeranfrage in Vektoren und legt damit die Obergrenze für die Retrieval-Qualität fest.
Wir haben 15 dichte Embedding-Modelle sowie eine lexikalische BM25-Baseline in drei Domänen (Vertragsrecht/CUAD, Kundensupport/TechQA und Gesundheitswesen/MedRAG) einem Benchmark unterzogen und jedes mit nDCG@3 bewertet.
voyage-3.5 belegt mit 0.9429 den ersten Platz und schlägt Voyages eigenes Flaggschiff voyage-4-large, während es nur die Hälfte kostet ($0.060 vs $0.120 pro 1M Tokens). Das neueste, größte Modell ist nicht automatisch der beste Kauf. Für kostenorientierte Stacks liefert perplexitys pplx-embed-v1-0.6b etwa 92% der Qualität von voyage-3.5 (0.8604) zu etwa einem Fünfzehntel des Preises ($0.004/1M). Für die Genauigkeits-Preis-Ansicht sehen Sie sich das Kostendiagramm im vollständigen Embedding-Modelle Benchmark an, das auch die Aufschlüsselung nach Domänen und die Methodik enthält.
Über Single-Vector-Embeddings hinaus behalten Late-Interaction- (Multi-Vektor-) Retriever wie ColBERT (und ColPali/ColQwen für visuelle Dokument- und PDF-Retrieval) einen Vektor pro Token für eine feinere Übereinstimmung und stärkere Generalisierung außerhalb der Domäne, bei einem viel größeren Index (ColPali speichert etwa das 1,000-fache an Vektoren pro Element; siehe unseren Multimodalen-Embedding-Benchmark).
Wenn Ihr Korpus mehrsprachig oder visuell ist, ändert sich die Embedding-Wahl: Unser Multilingualer-Embedding-Benchmark ergab, dass ein Modell mit 110M Parametern (e5_base) in allen sechs Sprachen führte und Modelle bis zur 70-fachen Größe übertraf, und unser Multimodaler Benchmark setzte Apples DFN5B-H mit 50.1% Text-zu-Bild Recall@1 an die Spitze. Für Teams, die keine Daten an eine API senden können, platziert unser Open-Source-Embedding-Benchmark NVIDIAs Nemotron-8B auf Platz eins (0.9249 nDCG@3), wobei Microsofts MIT-lizenziertes 0.6B Harrier-oss die stärkste uneingeschränkt kommerzielle Option ist.
Reranking
Ein Bi-Encoder-Retriever ist schnell, aber ungenau. Ein Reranker ist ein Cross-Encoder, der die vom Retriever zurückgegebenen Top-Kandidaten neu bewertet, indem er jedes Query-Dokumenten-Paar zusammen liest, um die wirklich relevanten Chunks nach oben zu befördern, bevor sie das LLM erreichen. Die kanonische Pipeline für 2026 besteht darin, eine breite Menge abzurufen, sie rerankt herunterzustufen und dann 3–5 Chunks an das Modell zu senden. 1
Wir haben 8 Reranker für englisches Retrieval benchmarkt (Top-100-Kandidaten, 300 Queries):
Das Hinzufügen eines Rerankers erhöhte die Top-1-Genauigkeit (Hit@1) von 62.67% auf 83.00%, einen Sprung um 20.33 Punkte durch eine einzige zusätzliche Stufe. Das Ergebnis, das eine Kaufentscheidung ändern sollte: Ein Modell mit 149M Parametern (gte-reranker-modernbert-base) entspricht einem 1.2B-Modell an der Spitze, also ist der größte Reranker nicht der, nach dem man greifen sollte. Der vollständige Reranker-Benchmark deckt Latenz und die Hit@10-Obergrenze ab.
Vektordatenbanken
Die Vektordatenbank speichert Ihre Embeddings und führt die Nearest-Neighbor-Suche zur Abfragezeit durch, sodass sie die untere Latenzgrenze und einen großen Teil der Betriebskosten bestimmt. Wir haben sieben quelloffene, selbst gehostete Engines mit identischen bge-m3-Embeddings einem Benchmark unterzogen, wobei jede bei einem übereinstimmenden Recall@10 von 0.95 gelesen wurde, sodass der Index die einzige Variable war.
Die sieben liegen bei der Retrieval-Genauigkeit gleichauf. Der nDCG@10 bewegt sich zwischen 0.803 und 0.817, einer Spanne von 0.014, gegenüber einer 10x Spanne beim Single-Thread-Durchsatz (Redis 764 QPS, LanceDB 70) und einer 3.7x Spanne beim Arbeitsspeicher-Spitzenwert bei 2.25M Vektoren (Milvus 17.0 GB, Chroma 62.4 GB). Die Engine ist eine Entscheidung über Geschwindigkeit, Speicher und Workload und nicht über Genauigkeit, da das Embedding-Modell an diesem Betriebspunkt die Qualitätsobergrenze setzt.
Welche Engine passt, ergibt sich aus dem Workload. Redis verzeichnete 1.7 ms p95 bei 559 MB RAM, ohne Persistenz. Weaviate erreichte 8,330 QPS bei 32 Arbeitsprozessen, wo Redis bei 1,642 sättigte. Milvus hielt 17.0 GB bei 2.25M Vektoren gegenüber Chromas 62.4 GB und behielt den höchsten Worst-Case-Recall unter Metadatenfiltern (0.984). Qdrant verzeichnete eine +0.067 nDCG-Hybridverbesserung mit nativer Fusion. Zwei Engines haben harte Grenzen: Chroma liefert in seiner selbst gehosteten Version keine Stichwortsuche und liefert eine 13-Sekunden p99 bei 512 gleichzeitigen Clients, und LanceDB verarbeitet 2.6 Einzelzeilen-Schreibvorgänge pro Sekunde, was es für eine kontinuierlich aktualisierte Wissensdatenbank ausschließt. Der vollständige Open-Source Benchmark für Vektordatenbanken umfasst gefilterte Suche, Aufbaukosten und Live-Churn, und der Vektordatenbank-Größenrechner übersetzt diese Grenzen in ein Engine-spezifisches Urteil für einen bestimmten Server.
So wählen Sie Ihren RAG-Stack aus
Die obigen Benchmarks beantworten „Welche Komponente ist isoliert am besten?“, dieser Abschnitt beantwortet „Wie setze ich sie zusammen?“. Gehen Sie die Pipeline der Reihe nach durch und wählen Sie jede Stufe nach Anwendungsfall, Skalierbarkeit und Budget aus:
- Chunking: Teilen Sie Dokumente in ~ 300–500 Token-Passagen mit 10–20% Überlappung auf; bevorzugen Sie semantisch/strukturbewusste Aufteilung gegenüber festen Größen für heterogene Dokumente.
- Embedding-Modell: voyage-3.5 für das beste Preis-Leistungs-Verhältnis über eine API; qwen3-embedding-8b oder NVIDIA Nemotron-8B, wenn Sie selbst hosten müssen; wählen Sie ein mehrsprachiges oder multimodales Modell, wenn Ihr Korpus es erfordert.
- Vektordatenbank: Redis, wenn die Einzelabfrage-Latenz dominiert, Weaviate oder Milvus für anhaltende Parallelität, Milvus, wenn Speicher im großen Maßstab die Einschränkung ist, pgvector, wenn der Stack bereits auf Postgres läuft; vier der sieben (Qdrant, Milvus, Weaviate, LanceDB) fusionieren hybride Ergebnisse nativ. Bemessen Sie den Index zuerst anhand des Servers, da eine 16 GB Box etwa 1.5M Vektoren auf Redis und 3.7M auf Qdrant bei 1024 Dimensionen fasst.
- Hybrides Retrieval: Kombinieren Sie dichtes + BM25 mit RRF, was in unserem Vektordatenbank-Benchmark bei den Engines mit einem Keyword-Arm den nDCG@10 um 0.030 bis 0.067 erhöhte; der Anstieg ist bei 95% Konfidenz für Qdrant, LanceDB, Redis und Milvus signifikant und nicht für pgvector oder Weaviate.
- Reranking: Fügen Sie einen Cross-Encoder hinzu (ein Modell mit 149M reicht aus), um die ~20 Punkte an Top-1-Genauigkeit zurückzugewinnen, die ein Bi-Encoder liegen lässt.
- Generation: Verwenden Sie ein Modell mit Grounded-Citation-Unterstützung, damit Antworten quellennachweisbar sind.
- Evaluation: Binden Sie Retrieval-, Generations- und End-to-End-Metriken ein, bevor Sie ausliefern.
Enterprise Governance
Für den Einsatz in Unternehmen ist eine gute Retrieval-Qualität notwendig, aber nicht ausreichend; die Retrieval-Schicht muss auch gemanagt werden. Von einem produktiven RAG-System wird erwartet, dass es berechtigungsbewusstes Retrieval erzwingt (die Ergebnisse respektieren die Zugriffskontrollen des Quellsystems, sodass ein Benutzer niemals ein Dokument abruft, auf das er nicht direkt zugreifen könnte), sich mit Identity-Providern synchronisiert (Okta, Azure AD, Auth0), sodass sich Berechtigungsänderungen nahezu in Echtzeit ausbreiten, jeden Retrieval-Vorgang protokolliert für Audits, Input/Output-Guardrails ausführt und Data-Residency-Vorgaben einhält. Betrachten Sie dies als Grundvoraussetzung und nicht als Zusatz für jedes RAG-System, das auf interne Daten zugreift. 2 Diese Kontrollen müssen in der Retrieval-Schicht greifen, nicht nur in der Anwendung darüber, und die Open-Source-Engines unterscheiden sich darin, was sie durchsetzen können: Von den sieben, die wir einem Benchmark unterzogen haben, bietet allein pgvector Point-in-Time-Recovery und Row-Level-Security, Qdrant, Milvus und Weaviate liefern Replikation und RBAC in ihren Open-Source-Builds, Chroma 1.x bietet überhaupt keine Authentifizierung, und keine der sieben verschlüsselt Daten im Ruhezustand nativ, was dies der Festplatten- oder Volume-Verschlüsselung überlässt.
RAG vs. langer Kontext
Da Kontextfenster Millionen von Tokens erreichen, ist die berechtigte Frage, ob RAG noch notwendig ist. Im Jahr 2026 lautet die Antwort nicht entweder/oder: RAG ruft die relevanten Beweise ab, ein langes Kontextfenster kann darüber verfeinern, und eine Routing-Schicht entscheidet, welchen Pfad jede Query nimmt.
Die Entscheidung läuft normalerweise auf die Kosten hinaus. Da ein LLM für jedes Eingabetoken bei jeder Anfrage abrechnet, ist es teuer, einen gesamten Korpus im Kontext mitzuführen. Für große Wissensdatenbanken unter stetiger Query-Last kann RAG in der Größenordnung von 1,250× günstiger pro Query laufen als das Vollstopfen mit langem Kontext, da es für einige tausend abgerufene Token bezahlt, anstatt jedes Mal für das gesamte Archiv. 3
Dieser Vorteil ist bedingt und sollte ehrlich genannt werden: RAG gewinnt kostentechnisch ab etwa 500K Tokens des Korpus und einigen tausend Queries pro Tag, während unter ~200K Tokens und einigen hundert Queries pro Tag langer Kontext mit Prompt-Caching oft deutlich gewinnt, da allein die festen Hosting-Kosten der Vektordatenbank die gesamte Rechnung für langen Kontext übersteigen können. 4 Unser Größenmodell drückt diese Untergrenze in konkreten Zahlen aus. Ein 2 GB Korpus bei 512-Token-Chunks wird zu etwa 1.15M Vektoren, was 5.1 GB RAM auf Qdrant oder 6.9 GB auf Milvus benötigt, einen Server, der gleich viel kostet, egal ob eine Query eingeht oder nicht. Die Genauigkeit spricht immer noch für Retrieval bei der Suche nach der Nadel im Heuhaufen, wo das Ausfiltern irrelevanter Texte die Aufmerksamkeitsdrift des „Lost in the Middle“-Phänomens reduziert, die den langen Kontext-Recall verschlechtert.
Welche RAG-Modelle und Werkzeuge sind verfügbar?
RAG-Tooling lässt sich in drei Gruppen einteilen: LLMs und APIs mit integriertem Grounding, Orchestrierungs-Frameworks und die zugrunde liegenden Retrieval-Komponenten (Embedding-Modelle, Vektordatenbanken, Reranker).
LLMs und APIs mit integriertem Grounding
Mehrere Modell-Anbieter bieten inzwischen Grounded-Generation-Funktionen, sodass Sie externes Wissen mit Quellenangabe anhängen können:
- Anthropic Claude: eine Citations-API, die Antworten auf den von Ihnen bereitgestellten Dokumenten fundiert und Referenzen auf die genauen verwendeten Passagen zurückgibt. 5
- Google Gemini: ein integriertes Dateisuche-Tool, das RAG für Sie übernimmt (Dokumente hochladen und Gemini chunkt, embeddet und ruft sie zur Abfragezeit ab), plus Vertex KI RAG Engine für verwaltetes Enterprise-Retrieval. Sein separates Feature „Grounding with Google Search“ zieht aus dem Live-Web und nicht aus Ihren eigenen Daten. 6
- Cohere Command: RAG-abgestimmte Modelle (Command R/R+ und das neuere Command A), die von sich aus Inline-Zitate liefern, gepaart mit einem dedizierten Rerank-Endpunkt. 7
- OpenAI: ein Dateisuche-Retrieval-Tool in den Assistants- und Responses-APIs. 8
RAG-Bibliotheken und Frameworks
Diese verbinden Retrieval und Generation zu einer Pipeline:
- LangChain / LangGraph: universelle Orchestrierung; LangGraph fügt zustandsbehaftete, agentische Retrieve-Reflect-Verify-Schleifen hinzu.
- LlamaIndex: Datenerfassung, Indexierung und Query-Engines.
- Haystack: End-to-End-Pipelines für Suche und Fragebeantwortung.
- DSPy: deklarative, optimierergesteuerte Prompt-/Retrieval-Programme.
Für einen tiefer gehenden Vergleich sehen Sie sich unsere RAG-Frameworks-Analyse an.
Was ist Retrieval-Augmented Generation?
Retrieval-Augmented Generation ist eine Technik, die einem großen Sprachmodell zur Abfragezeit Zugriff auf eine externe Wissensquelle gibt. Anstatt nur aus den während des Trainings fixierten Parametern zu antworten, ruft das Modell relevante Passagen aus einem Dokumentspeicher ab und konditioniert seine Antwort darauf. Dies hält Antworten aktuell, fundiert sie auf zitierbaren Quellen und reduziert Halluzinationen bei wissensintensiven Aufgaben, ohne das Modell neu zu trainieren.
Wie funktionieren RAG-Modelle?
Im Kern läuft RAG in zwei Phasen ab: Retrieval (Finden der für die Query relevanten Passagen) und Generation (Schreiben einer Antwort, die durch diese Passagen bedingt ist). In Produktionssystemen ist diese Kernschleife in eine vollständigere Pipeline eingebettet:
- Query-Umschreibung/Zerlegung: Formulieren oder teilen Sie die Frage um, um besser abzurufen, insbesondere bei mehrstufigen oder mehrschrittigen Queries.
- Hybrides Retrieval: Führen Sie dichte (Vektor-) und spärliche (BM25-) Suchen durch und fusionieren Sie die Ergebnisse mit RRF.
- Reranking: ein Cross-Encoder bewertet die Kandidaten neu und behält die oberen wenigen.
- Kontextaufbau: Erstellen Sie den Prompt aus den ausgewählten Chunks mit Zitaten.
- Generation: das LLM antwortet aus dem zusammengestellten Kontext.
- Evaluation: Bewerten Sie Retrieval- und Antwortqualität, idealerweise in CI.
Die zweiphasige Schleife bleibt das Denkmodell; die zusätzlichen Stufen trennen eine Demo von einem Produktionssystem.
Welche verschiedenen RAG-Typen gibt es?
Jenseits der linearen Pipeline zielen mehrere RAG-Varianten auf spezifische Fehlermodi: Speculative RAG (Entwurf und Verifikation für Geschwindigkeit), Retrieval-Augmented Fine-Tuning (RAFT) (Trainieren des Modells, um abgerufenen Kontext zu nutzen), Self-RAG und Corrective RAG (CRAG) (das Modell kritisiert und ruft erneut ab, wenn die Evidenz schwach ist). Diese überschneiden sich mit den folgenden fortgeschrittenen Architekturen.
Fortgeschrittene RAG-Architekturen
Graph-basiertes RAG (GraphRAG)
GraphRAG erstellt einen Wissensgraphen über dem Korpus, häufig auf einer dedizierten Graphdatenbank wie Neo4j oder FalkorDB, sodass das System Fragen beantworten kann, die mehrere Schritte und globale Aggregationen erfordern und die eine flache Vektorsuche übersieht. Sein Vorteil bei solchen Fragen kommt größtenteils von der Vorberechnung von Beziehungen über den gesamten Korpus und nicht von einem besseren Passagen-Retrieval, sodass die Vektorsuche bei Abfragen auf bestimmte Dokumente tendenziell immer noch die Nase vorn hat. Die praktische Erkenntnis: Greifen Sie zu einem Graphen, wenn Queries ein globales Schlussfolgern über viele Dokumente erfordern, und nicht als direkten Ersatz für das Vektor-Retrieval.
Agentisches RAG
Agentisches RAG stellt einen LLM-Agenten an die Spitze des Retrievals: Er entscheidet, was abgeholt werden soll, welche Quelle oder welches Tool aufgerufen wird und wann nachgedacht und erneut versucht werden soll, und wiederholt dies, bis die Antwort fundiert ist. In unserem Agentisches-RAG-Benchmark, der einen Agenten testet, der jede Frage an die richtige Datenbank routen und dann SQL dagegen schreiben muss, routen die stärksten Modelle jetzt nahezu perfekt (Claude Opus 4.8 mit 100%, Fable 5 mit 98%), während das Schreiben von korrektem SQL auf das gewählte Schema die schwierigere Hürde bleibt und bei etwa 90% sein Maximum erreicht. Das Routing ist nahezu gelöst; die fundierte Ausführung ist der Punkt, an dem sich agentisches RAG noch differenziert.
Hybrides, iteratives und aktives RAG
Hybrides Retrieval (dicht + spärlich, oben behandelt) ist jetzt der Standard und keine fortschrittliche Option mehr. Iterative und aktive Varianten (z. B. FLARE) lassen das Modell während der Generierung wiederholt abrufen und holen neue Evidenz, wenn das Vertrauen nachlässt.
Als bevorzugte Quelle hinzufügenWie man RAG-Systeme evaluiert
Die RAG-Evaluation ist heute lebenszyklusstrukturiert in drei Schichten: Retrieval (Precision, Recall, MRR, nDCG, hit@k: Haben wir die richtigen Chunks abgerufen?), Generation (Groundedness, Faithfulness: Wird die Antwort durch den abgerufenen Kontext gestützt?), und End-to-End (Ist die endgültige Antwort korrekt?).
Die Tooling-Landschaft teilt sich entlang derselben Linien: RAGAS für schnelle, referenzfreie Iteration während der Entwicklung; DeepEval als pytest-artiges Pass/Fail-Gate in CI, sodass eine Regression den Build blockiert; und TruLens oder Phoenix für Tracing und Monitoring in der Produktion. TREC-RAG und ARES sind nützliche externe Referenzen für die Kalibrierung von Bewertern.9
Retrieval-Metriken teilen sich in zwei, sobald eine Vektordatenbank im Spiel ist, und die Hälften können sich in entgegengesetzte Richtungen bewegen. ANN Recall fragt, ob der Index die echten nächsten Vektoren zurückgegeben hat, was die Datenbank isoliert; nDCG und MRR gegenüber menschlichen Labels fragen, ob diese Dokumente relevant sind, was größtenteils eine Eigenschaft des Embedding-Modells ist. Das Skalieren eines Korpus von 50k auf 2.25M Vektoren in unserem Vektordatenbank-Benchmark senkte den nDCG@10 von etwa 0.81 auf 0.56, während jede Engine immer noch einen Recall@10 von über 0.973 meldete und das exakte kNN-Orakel auf denselben Wert 0.572 fiel. Ein rein geometrischer Benchmark hätte einen gesunden Index über einem Korpus gemeldet, der ein Drittel seiner Antwortqualität verloren hatte.
Chunk-Größe
Die Chunk-Größe steuert, wie Dokumente vor dem Embedding aufgeteilt werden.
Die Leitlinien für 2026 gehen über eine einzelne feste Größe hinaus: Bevorzugen Sie semantische / strukturbewusste Chunking (beginnen Sie einen neuen Chunk, wenn benachbarte Sätze in ihrer Bedeutung auseinandergehen), halten Sie Chunks bei etwa 300–500 Tokens mit 10–20% Überlappung und ziehen Sie Contextual Retrieval in Betracht: Anthropics Technik, jedem Chunk vor dem Embedding und der BM25-Indexierung einen vom LLM generierten Kontextsatz voranzustellen. In Anthropics Tests senkten kontextuelle Embeddings die Top-20 Fehlerrate bei der Abfrage um 35%, kontextuelle Embeddings plus kontextuelles BM25 um 49% und das Hinzufügen eines Rerankers obendrauf um 67%. 10 Die Chunk-Größe bestimmt auch, wie groß der Index wird, da sie die Anzahl der Vektoren festlegt, zu denen der Korpus wird. Unser Vektordatenbank-Größenrechner macht diese Verbindung explizit: Bei seinem standardmäßigen 512-Token-Chunk und 15% Überlappung schreitet der Korpus um 435 Tokens pro Chunk fort, sodass eine Halbierung des Chunks sowohl die Vektoranzahl als auch den Speicher, den die Datenbank vorhalten muss, ungefähr verdoppelt.
Fine-Tuning vs. Retrieval-Augmented Generation
RAG und Fine-Tuning lösen unterschiedliche Probleme und werden 2026 zunehmend zusammen eingesetzt und nicht als Alternativen.
Für die meisten Teams lautet die Antwort: „RAG zuerst, das Verhalten bei Bedarf fine-tunen“, und RAFT formalisiert die Kombination beider.
Vorteile der Retrieval-Augmented Generation
Die Vorteile von RAG bündeln sich in einigen wenigen, die tatsächlich die Einführung vorantreiben: Genauigkeit und Aktualität (Antworten spiegeln aktuelle, quellenfundierte Daten wider, nicht einen eingefrorenen Trainingszeitpunkt), Transparenz (Antworten zitieren die verwendeten Passagen, sodass sie überprüfbar sind), geringere Kosten als langer Kontext im großen Maßstab und Anpassungsfähigkeit (Aktualisieren Sie die Wissensdatenbank, anstatt das Modell neu zu trainieren). Multimodales RAG erweitert diese auf Bilder, PDFs und Tabellen.
Weiterführende Lektüre
- Embedding-Modelle Benchmark
- Reranker-Benchmark
- Open-Source Benchmark für Vektordatenbanken
- Vektordatenbank-Größenrechner
- Open-Source Embedding-Modelle
- Multilinguale Embedding-Modelle
- Multimodale Embeddings
- Agentische RAG-Frameworks
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{sari2026,
author = {Sarı, Ekrem},
title = {{Beste RAG Werkzeuge, Frameworks und Bibliotheken}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/retrieval-augmented-generation}},
note = {AIMultiple. Abgerufen am 18. Juli 2026}
}Referenzlinks
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.