RAG, harici veri kaynaklarıyla LLM güvenilirliğini artırır. RAG işlem hattının tamamını, önde gelen gömme modellerini, en iyi vektör veritabanlarını ve en yeni ajan tabanlı çerçeveleri, gerçek dünya performanslarına göre değerlendirerek kıyasladık.
OpenAI, Gemini, Cohere, Snowflake, AWS, Mistral ve Voyage AI ürünleri de dahil olmak üzere 11 önde gelen metin gömme modelini ölçtük. Yaklaşık 500.000 Amazon incelemesi kullanarak, her bir modelin doğru yanıtı doğru bir şekilde alma ve sıralama yeteneğini değerlendirmeyi ve aynı zamanda maliyet etkinliklerini değerlendirmeyi amaçladık.
En iyi seçeneği bulmak için RAG için 6 önde gelen vektör veritabanını ölçtük. Testlerimiz, RAG uygulamaları için en verimli benzerlik aramalarını sunan platformu belirlemek için fiyatlandırma, performans ve özellikleri değerlendirdi.
Ajan RAG'in birden fazla veritabanı arasında sorguları yönlendirme ve doğru sorgular oluşturma yeteneğini değerlendirmek için bir ölçüm geliştirdik. Sistem, kullanıcı sorgularını analiz ederek, birden fazla seçenek arasından uygun veritabanını seçerek ve dağıtılmış kurumsal veri kaynaklarından ilgili bilgileri almak için anlamsal olarak doğru sorgular oluşturarak özerk akıl yürütme gösterir.
Çeşitli RAG çerçevelerini ve kütüphanelerini ölçtük. Gömme modellerini, parça boyutlarını ve en iyi RAG sistemlerinin genel performansını karşılaştırarak RAG araçlarının mevcut durumunu ele aldık.
Bu belirli sınırlamayı ölçmek için MS-COCO ve Winoground'da 7 önde gelen çok modlu gömme modelini ölçtük.
