Embedding-Benchmarks

AIM Embeddings Index Methodology

Wir haben Embedding-Modelle mit einem festen Satz von 200 Fragen getestet: je 50 aus Finanzen, Recht, technischem Support und Gesundheitswesen. Jede Anfrage durchsucht die vollständige Textpassagen-Sammlung ihrer Domäne. Wir ordnen die Modelle nach dem mittleren nDCG@10, der belohnt, wenn erfasste relevante Passagen weit oben unter den ersten zehn Ergebnissen stehen.

Die vier Sammlungen enthalten 341.040 Textpassagen: aus Quelldokumenten extrahierte Abschnitte, keine Anzahl von Sätzen oder Originaldokumenten. Die Fragen wurden mit BM25 ausgewählt, und die Relevanzlabels sind unvollständig. Es handelt sich um Ergebnisse auf einem Entwicklungsdatensatz, nicht um eine verblindete Holdout-Evaluierung. Die Embeddings wurden über gehostete APIs erzeugt; das Kostendiagramm zeigt, was das Embedding des gesamten Benchmarks je Modell gekostet hat, und API-Listenpreise stehen separat in der Rangliste.