Çok Modlu Embedding Modelleri: Apple vs Meta vs OpenAI

Çok modlu embedding modelleri nesneleri tanımada başarılıdır, ancak ilişkilerde zorlanır. Mevcut modeller “haritadaki telefon” ile “telefondaki harita”yı ayırt etmekte zorlanır. Bu spesifik sınırlılığı ölçmek için MS-COCO ve Winoground genelinde 7 önde gelen modeli benchmarkladık.

Adil bir karşılaştırma sağlamak için her modeli aynı koşullar altında NVIDIA A40 donanımı ve bfloat16 hassasiyetiyle değerlendirdik. Bu deterministik kurulum, hangi modellerin sahne yapısını gerçekten anladığını ve hangilerinin yalnızca sofistike anahtar kelime eşleştiricileri olduğunu ortaya koyar.

Çok modlu embedding modelleri benchmark sonuçları

Metrikler açıklandı

• T2I R@1 (Text-to-Image recall@1): Bir altyazı verildiğinde, model doğru görüntüyü 5.000 aday arasında bir numara olarak sıralayabilir mi? Bu, ikinci sıraya kredi verilmediği için en zor erişim metriğidir.
• I2T R@1 (Image-to-Text recall@1): Bir görüntü verildiğinde, model beş referans altyazıdan herhangi birini 25.000 aday arasında bir numara olarak sıralayabilir mi? Puanlar, bir yerine beş geçerli yanıt olduğundan T2I'den kabaca 20 yüzde puanı daha yüksektir.
• Winoground görüntüsü: Yalnızca yapı bakımından farklılık gösteren iki görüntü ve iki altyazı (“haritadaki telefon” ile “telefondaki harita”) verildiğinde, model her iki çifti doğru eşleştirebilir mi? Rastgele şans 25 yüzdedir.

Temel bulgular

• Apple DFN5B-H en yüksek erişim doğruluğunu (50.1 yüzde T2I R@1) ve en yüksek kompozisyonel akıl yürütme puanını (Winoground'da 35.2 yüzde) elde eder.
• Kompozisyonel akıl yürütme tüm modellerde zayıf kalmaya devam ediyor. Apple'ın 35.2 yüzdelik performansı bile 25 yüzdelik rastgele taban çizgisini zar zor aşıyor.
• OpenAI CLIP yaşlandığını gösteriyor, benzer mimariye sahip olmasına rağmen modern modellerin 10 ila 16 yüzde puanı gerisinde kalıyor.

Not: I2T puanları, bir protokol artefaktı nedeniyle T2I'den yaklaşık 20 yüzde puanı daha yüksektir. Her görüntünün beş geçerli altyazısı varken her altyazı yalnızca bir geçerli görüntüye eşlenir. Ayrıntılar için multimodal embedding benchmark metodolojisi bölümüne bakın.

Çok modlu embedding modelleri nasıl çalışır?

Benchmark ayrıntılarına girmeden önce, bu modellerin gerçekte ne yaptığını ve nerede bozulduklarını anlamak önemlidir.

Temel mekanizma

Bir çok modlu embedding modeli, hem görüntüleri hem de metni aynı geometrik uzayı kaplayan sayı listeleri olan sayısal vektörlere dönüştürür. Benzer kavramlar bir arada kümelenirken, benzemeyen kavramlar birbirinden daha uzakta yer alır.

Arama yapmak için hangi görüntü vektörünün metin vektörünüze en yakın olduğunu hesaplarsınız. Bu nedenle embedding tabanlı arama hızlıdır: insan anlamında anlamı “anlamak” değil, sayıları karşılaştırıyorsunuz.

Bozulduğu yerler

Kompozisyonel olarak farklı altyazılarda ne olduğunu izleyin:

Vektörler neredeyse aynıdır. Her iki altyazı da aynı kavramları içerir: {telefon, harita, üzerinde}. Model neyin mevcut olduğunu kodlar ancak nesnelerin birbiriyle nasıl ilişkili olduğunu kaybeder.

Bu kelime torbası problemidir. Model aynı “içerikleri” görür ve sahneler tamamen farklı olsa bile benzer embeddingler üretir. Birinde telefon üsttedir. Diğerinde harita. İlişkisel yapı kodlama sırasında kaybolur.

Değerlendirme görevleri: Erişim ve akıl yürütme karşılaştırması

MS-COCO: Samanlıkta iğne bulmak

Kurulum:
5.000 görüntüden oluşan bir galeri, yüzlerce dış mekan sahnesi, düzinelerce araç ve çok sayıda depolama alanı ve yapı dahil olmak üzere benzer içerik kümeleri içerir. Her görüntünün farklı etiketleyiciler tarafından yazılmış beş farklı altyazısı vardır; toplamda 25.000 altyazıdır.

Sorgu: “Ahşap bir yapının altına başka eşyalarla park edilmiş bir motosiklet.”

Görüntü:

Aynı görüntü şu şekilde de tanımlanabilir:

• “Açık havada bir sundurmanın altında oturan siyah motosiklet.”
• “Çitle çevrili bahçede kapalı alanda park edilmiş motosiklet.”

Her altyazı ayrı ayrı test edilir ve model, nasıl ifade edilirse edilsin doğru görüntüyü bulmalıdır.

Görev:
Eşleşen tek belirli görüntüyü bulun. Herhangi bir motosiklet değil, herhangi bir ahşap yapı değil; 5.000 aday arasından tam bu sahne.

Metrik: Recall@1
İkilidir ve affetmez. Doğru görüntü 1. sıradaysa = İsabet. 2. sıradaysa = Iska. Kısmi kredi yoktur.

Winoground: Kimin kime ne yaptığını anlamak

Kurulum:
400 çekişmeli çift. Her biri yalnızca kompozisyonel yapıda farklılık gösteren 2 görüntü ve 2 altyazı içerir.

Sorgu:

• Altyazı A: “haritada bir telefon var”
• Altyazı B: “telefonda bir harita var“
  

Her iki altyazı da tamamen aynı kavramları içerir: {telefon, harita, üzerinde}. Tek fark hangi nesnenin hangisinin üstünde olduğudur.

Görüntü:

Görev:
Her iki altyazıyı aynı anda doğru görüntüleriyle eşleştirin. Altyazı A, Görüntü A ile eşleşmelidir (haritaya dayanan telefon) ve Altyazı B, Görüntü B ile eşleşmelidir (telefonda gösterilen harita). Kısmi kredi yoktur: yalnızca birini doğru yapmak başarısızlık sayılır.

Metrik: Image Score
İkilidir ve affetmez. Her iki çift doğru eşleştirilirse = İsabet. Bir veya sıfır doğru = Iska. Rastgele şans %25’tir.

Winoground'dan daha fazla örnek:

Modeller neden kompozisyonda başarısız oluyor?

Düşük Winoground puanları (30-%40, %25 rastgele taban çizgisine karşı) mevcut modellerin bu spesifik kompozisyonel akıl yürütme türünde zorlandığını gösterir. Ancak birkaç çekince geçerlidir:

• Küçük örneklem boyutu: Winoground yalnızca 400 örnek içerir ve yaklaşık ±5 yüzde puanı güven aralığı verir. Bu, onu bir gösterge olarak yararlı kılar ancak kompozisyonel yeteneklerin kesin kanıtı yapmaz.
• Spesifik ama çeşitli görev kapsamı: Winoground, uzamsal ilişkiler (üstünde/altında/üzerinde), etken-etkilenen takasları (kim kime ne yapıyor), öznitelik bağlama (renk/boyut atamaları), niceleyiciler (daha fazla/daha az, sayma), eylem koordinasyonu (oturur/ayakta durur), zamansal sıralama (önce/sonra), olumsuzlama (ile/olmaksızın) ve kapsam belirsizliği dahil olmak üzere çok sayıda kompozisyonel akıl yürütme türünü test eder. Bu çeşitlilik, Winoground'u çok sayıda dilsel olguda kompozisyonel anlayışın etkili bir sınaması haline getirir.

Teknik analiz ve dağıtım önerileri

Veri kalitesi model ölçeğini yener

Apple, LAION ve MetaCLIP aynı ViT-H/14 omurgasını (630M parametre) kullanır.

Apple'ın +3.8pp avantajı öncelikle Data Filtering Network (DFN) yaklaşımından kaynaklanıyor gibi görünmektedir.

• Otomatik Kürasyon: Yalnızca sentetik altyazılar kullanmak yerine, Apple eğitim verilerini agresif biçimde filtrelemek için bir öğretmen model eğitti. Model, büyük web havuzundan gürültülü görüntü-metin çiftlerini tanımlamayı ve atmayı öğrendi.
  
• Çıkarım: Sınırda, iyileştirmeler yalnızca sentez veya ham ölçekten değil, kürasyon kalitesinden (doğru veriyi seçmek) gelir.

Çıkarım: sınırda, iyileştirmeler daha iyi veriden gelir, daha büyük mimarilerden değil.

%50 performans seviyesini anlamak

MS-COCO, her altyazının belirli bir sahneyi tanımladığı, seçilmiş ve farklı görüntülerle tasarlanmıştır. Küçük belirsizlikler olsa da (ör. benzer iki otopark sahnesi), dataset oluşturucuları kasıtlı olarak görsel olarak ayırt edilebilir görüntüler seçmiştir.

%50 doğruluğu, modellerin doğru görüntüyü ilk sıraya koymakta gerçekten başarısız olduğunu yansıtır; eşit derecede geçerli alternatifleri seçtikleri için haksız cezalandırma değildir.

OpenAI CLIP neden 10-16pp geride kalıyor?

OpenAI'ın CLIP-L (2021) modeli %34,4 T2I R@1 elde ederken, benzer ViT mimarileri kullanan modern modeller 44-%50 elde ediyor. Bu 10-16 yüzde puanı farkı üç yıllık ilerlemeyi yansıtır:

Temel mimari prensipler benzer kalsa da (kontrastif öğrenmeli görüntü dönüştürücüler), modern modellerin boyutu iki katına çıktı. Bununla birlikte, performans kazanımlarının çoğu yalnızca mimari yenilikten ziyade gelişmiş veri kürasyonu ve eğitim tekniklerinden geldi.

ColPali: Mimari Esneklik İçin Hızdan Ödün Vermek

ColPali farklı bir mimari yaklaşımı temsil eder: her görüntüyü tek bir vektöre kodlamak yerine, geç etkileşim kullanarak 1.030 patch embedding üretir. Bu tasarım seçimi çeşitli ödünleşimler yaratır:

Avantajlar:

• Daha simetrik erişim: ColPali, yoğun modellerdeki 16-24pp farklara kıyasla I2T (%48,8) ile T2I (%44,9) arasında yalnızca 3.9pp fark gösterir. Bu, görüntü yapısını daha tekdüze kodladığını düşündürür.
• Mimari esneklik: Geç etkileşim, metin tokenları ile görüntü patch'leri arasında ince taneli eşleştirme sağlar; bu da uzmanlaşmış alanlara fayda sağlayabilir.

Dezavantajlar:

• Depolama yükü: Her görüntü 1 yerine 1.030 vektör gerektirir ve indeks boyutunu ~1000 kat artırır.
• Daha düşük genel performans: ColPali benchmarkımızda 4th sıradadır (%44,9 T2I) ve en iyi yoğun modellerin 5.2pp gerisindedir (Apple DFN5B-H ile %50,1 karşılaştırıldığında).

Hesaplama maliyeti: Görüntü başına 1.030 embedding nedeniyle bellek yükünden dolayı 4 kat daha küçük batch boyutları (4 ile 32) gerektirir. Bu, daha yavaş indeksleme ve ölçekte daha yüksek sunum maliyetleri anlamına gelir.

Hangi modeli kullanmalısınız?

Multimodal embedding benchmark metodolojisi

Donanım & yazılım

• GPU: NVIDIA A40 (48GB VRAM) RunPod üzerinden
• Hassasiyet: bfloat16
• Framework: PyTorch 2.4.0, CUDA 12.1
• Kütüphaneler: transformers==4.44.0, datasets==2.20.0

Değerlendirilen modeller

Hugging Face Hub'dan aşağıdaki belirli model ağırlıklarını kullandık. Tüm modeller bu depolardan doğrudan değişiklik yapılmadan bfloat16 hassasiyetinde yüklendi.

Inference protokolü

Yoğun modeller (CLIP/SigLIP) batch boyutu 32 ile değerlendirildi; çünkü görüntü başına tek bir vektör yüksek paralelliğe izin verir. ColPali batch boyutu 4 kullandı; çünkü görüntü başına 1.030 patch embedding çok daha fazla bellek gerektirir.

Değerlendirme protokolü

• Zero-Shot: Modeller kutudan çıktığı gibi Hugging Face ağırlıklarıyla değerlendirildi. Fine-tuning yapılmadı.
• Deterministik: Rastgele tohum 42 olarak sabitlendi. Tüm modeller için aynı dataset sırası.
• Standart Bölünmeler: yerevann/coco-karpathy test (5.000 görüntü), facebook/winoground doğrulama.

I2T ve T2I farkı

I2T puanları, model hatası değil istatistiksel olasılık nedeniyle T2I'den sürekli olarak ~20pp daha yüksektir.

• T2I (Text-to-Image): Model, 5.000 görüntü arasından 1 belirli görüntü bulmalıdır. (Hedef havuzu = 1).
• I2T (Image-to-Text): Model, bu görüntüyle ilişkili 5 geçerli altyazıdan herhangi birini eşleştirebilir. (Hedef havuzu = 5).

I2T görevi her sorgu için beş farklı 'doğru' yanıt sunduğundan, başarı oranı T2I'de gereken katı bire bir eşlemeye kıyasla doğal olarak şişkindir.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

Sınırlamalar

Winoground örneklem boyutu

400 örnek, %35 doğrulukta yaklaşık ±5pp güven aralığı verir. Sonuçlar gösterge niteliğindedir, kesin değildir. Daha büyük benchmarklar (ARO, SugarCrepe) mevcuttur ancak farklı altyapı gerektirir.

Yalnızca Zero-Shot

Alan bazlı fine-tuning yapılmadı. Tıbbi, hukuki veya uydu uygulamaları, alana özgü eğitimle 5-10pp iyileşme görebilir.

Dataset sınırlamaları:

MS-COCO ve Winoground, çok modlu anlamanın belirli yönlerini test eder. Bu benchmarklardaki performans, alana özgü görevlerde veya diğer kompozisyonel akıl yürütme testlerinde benzer sonuçları garanti etmez.

Daha fazla okuma

Aşağıdakiler gibi diğer RAG benchmarklarını keşfedin:

• Embedding Modelleri: OpenAI vs Gemini vs Cohere
• Önde Gelen Vektör Veritabanı RAG için: Qdrant vs Weaviate vs Pinecone
• Agentic RAG benchmark: çoklu veritabanı yönlendirme ve sorgu üretimi
• 11 Açık Kaynak Embedding Modelleri RAG için

Bu araştırmayı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Çok Modlu Embedding Modelleri: Apple vs Meta vs OpenAI}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/multimodal-embeddings}},
  note   = {AIMultiple. Erişim tarihi: 14 Ağustos 2026}
}

Ekrem Sarı

Yapay Zeka Araştırmacısı

Takip Et

Ekrem, AIMultiple'da bir Yapay Zeka Araştırmacısı ve Veri Analistidir. Yapay zeka ve LLM sistemleri için uygulamalı benchmark'lar tasarlar ve yürütür.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder