Çok Modlu Gömme Modelleri: Apple vs Meta vs OpenAI
Çok modlu gömme modelleri nesneleri tanımlamada mükemmel olsa da ilişkiler konusunda zorlanıyor. Mevcut modeller, "harita üzerindeki telefon" ile "telefon üzerindeki harita"yı ayırt etmekte zorlanıyor. Bu spesifik sınırlamayı ölçmek için MS-COCO ve Winoground üzerinde 7 önde gelen modeli karşılaştırdık.
Adil bir karşılaştırma sağlamak için her modeli NVIDIA A40 donanımı ve bfloat16 hassasiyeti altında aynı koşullarda değerlendirdik. Bu deterministik kurulum, hangi modellerin sahne yapısını gerçekten anladığını ve hangilerinin sadece gelişmiş anahtar kelime eşleştiricileri olduğunu ortaya çıkarıyor.
Çok modlu gömme modelleri karşılaştırma sonuçları
Metrikler açıklandı
- T2I R@1 (Metinden Görüntüye recall@1): Bir altyazı verildiğinde, model doğru görüntüyü 5.000 aday arasında birinci sırada sıralayabilir mi? Bu, ikinci sırada sıralamak için kısmi puan olmadığı için en zor geri çağırma metriğidir.
- I2T R@1 (Görüntüden Metne recall@1): Bir görüntü verildiğinde, model beş gerçek altyazıdan herhangi birini 25.000 aday arasında birinci sırada sıralayabilir mi? Puanlar, bir yerine beş geçerli cevap olduğu için T2I'dan yaklaşık 20 puan daha yüksektir.
- Winoground görüntüsü: Yapı olarak farklı olan iki görüntü ve iki altyazı verildiğinde ("harita üzerindeki telefon" karşısında "telefon üzerindeki harita"), model her iki çifti de doğru eşleştirebilir mi? Rastgele şans %25'tir.
Temel bulgular
- Apple DFN5B-H, en yüksek geri çağırma doğruluğunu (%50,1 T2I R@1) ve en yüksek bileşimsel akıl yürütme puanını (Winoground'da %35,2) elde ediyor.
- Bileşimsel akıl yürütme tüm modellerde zayıf kalıyor. Apple'ın %35,2'lik performansı bile %25'lik rastgele tabanı zar zor aşıyor.
- OpenAI CLIP yaşını gösteriyor, benzer bir mimariye rağmen modern modellerden 10 ila 16 puan geride kalıyor.
Not: I2T puanları, bir protokol artefaktı nedeniyle T2I'dan yaklaşık 20 puan daha yüksektir. Her görüntünün beş geçerli altyazısı varken, her altyazı yalnızca bir geçerli görüntüye karşılık gelir. Detaylar için çok modlu gömme karşılaştırma metodolojisi bölümüne bakın.
Çok modlu gömme modelleri nasıl çalışır
Karşılaştırma detaylarına dalmadan önce, bu modellerin aslında ne yaptığını ve nerede bozulduğunu anlamak esastır.
Temel mekanizma
Bir çok modlu gömme modeli, hem görüntüleri hem de metni aynı geometrik uzayı işgal eden sayı listeleri olan sayısal vektörlere dönüştürür. Benzer kavramlar bir araya kümelenirken, benzer olmayan kavramlar daha uzaktır.
Aramak için, metin vektörünüze en yakın görüntü vektörünü hesaplayın. Bu, gömme tabanlı aramanın hızlı olmasının nedenidir: anlamları insan anlamında "anlamak" yerine sayıları karşılaştırıyorsunuz.
Nerede bozuluyor
Bileşimsel olarak farklı altyazılarla ne olduğunu izleyin:
Vektörler neredeyse özdeştir. Her iki altyazı da aynı kavramları içerir: {telefon, harita, üzerinde}. Model, neyin mevcut olduğunu kodlar ancak şeylerin nasıl ilişkili olduğunu kaybeder.
Bu kelime çantası problemidir. Model aynı "malzemeleri" görür ve benzer gömme üretir, ancak sahneler tamamen farklıdır. Birinde telefon üstte. Diğerinde harita. İlişkisel yapı kodlama sırasında kaybolur.
Değerlendirme görevleri: Geri çağırma vs akıl yürütme
MS-COCO: Samanda iğne aramak
Kurulum:
5.000 görüntüden oluşan bir galeri, yüzlerce açık hava sahnesi, düzinelerce araç ve çeşitli depolama alanları ve yapılar dahil olmak üzere benzer içerik kümeleri içerir. Her görüntü, toplamda 25.000 altyazı için farklı annotatörler tarafından yazılmış beş farklı altyazıya sahiptir.
Sorgu: "Ahşap bir yapı ve diğer eşyaların altında park edilmiş bir motosiklet."
Görüntü:
Aynı görüntü şu şekilde de tanımlanabilir:
- "Dışarıda bir çıkıntının altında oturan siyah motosiklet."
- "Çitli bir avluda kapalı bir alanın altında park edilmiş motosiklet."
Her altyazı ayrı ayrı test edilir ve model, nasıl ifade edilirse edilsin doğru görüntüyü bulmalıdır.
Görev:
Tek bir belirli görüntüyü eşleştiren görüntüyü bulun. Herhangi bir motosiklet değil, herhangi bir ahşap yapı değil, 5.000 aday arasında bu tam sahne.
Metrik: Recall@1
İkili ve acımasız. Doğru görüntü #1 sırada = Vuruş. #2 sırada = Kaçırma. Kısmi puan yok.
Winoground: Kimin kime ne yaptığını anlamak
Kurulum:
400 saldırgan çift. Her biri, yalnızca bileşimsel yapıda farklılık gösteren 2 görüntü ve 2 altyazı içerir.
Sorgu:
- Altyazı A: "harita üzerinde bir telefon var"
- Altyazı B: "telefon üzerinde bir harita var"
Her iki altyazı da tam olarak aynı kavramları içerir: {telefon, harita, üzerinde}. Tek fark, hangi nesnenin hangisinin üzerinde olduğudur.
Görüntü:
Görev:
Her iki altyazıyı da doğru görüntüleriyle eş zamanlı olarak eşleştirin. Altyazı A, Görüntü A'ya (harita üzerinde duran telefon) ve Altyazı B, Görüntü B'ye (telefonda görüntülenen harita) eşleşmelidir. Kısmi puan yok: yalnızca birini doğru yapmak başarısızlık sayılır.
Metrik: Görüntü Puanı
İkili ve acımasız. Her iki çift de doğru eşleşti = Vuruş. Bir veya sıfır doğru = Kaçırma. Rastgele şans %25'tir.
Winoground'dan daha fazla örnek:
Modellerin bileşimde neden başarısız olduğu
Düşük Winoground puanları (%30-40 vs. %25 rastgele taban), mevcut modellerin bu spesifik türdeki bileşimsel akıl yürütme konusunda zorlandığını gösteriyor. Ancak, birkaç uyarı geçerlidir:
- Küçük örneklem boyutu: Winoground yalnızca 400 örnek içerir, yaklaşık ±5 puanlık güven aralıkları verir. Bu, onu bir gösterge olarak kullanışlı kılar ancak bileşimsel yeteneklerin kesin kanıtı değildir.
- Spesifik ancak çeşitli görev kapsamı: Winoground, mekansal ilişkiler (üzerinde/yukarıda/aşağıda), özne-nesne değişimleri (kim kime ne yapıyor), özellik bağlama (renk/boyut atamaları), nicelik belirteçleri (daha fazla/daha az, sayma), eylem koordinasyonu (oturur/ayakta durur), zamansal sıralama (önce/sonra), olumsuzlama (ile/olmadan) ve kapsam belirsizliği dahil olmak üzere birden fazla türde bileşimsel akıl yürütme test eder. Bu çeşitlilik, Winoground'u birden fazla dil olgusu üzerinde bileşimsel anlayışın etkili bir probu haline getirir.
Teknik analiz ve dağıtım önerileri
Veri kalitesi model ölçeğini yener
Apple, LAION ve MetaCLIP hepsi aynı ViT-H/14 omurgasını (630M parametre) kullanıyor.
Apple'ın +3,8pp avantajının büyük ölçüde Veri Filtreleme Ağı (DFN) yaklaşımından kaynaklandığı görülüyor.
- Otomatik Kürasyon: Sadece sentetik altyazıları kullanmak yerine, Apple bir öğretmen modeli eğiterek eğitim verisini agresif bir şekilde filtrelemesini sağladı. Model, web havuzundaki gürültülü görüntü-metin çiftlerini tanımlamayı ve atmayı öğrendi.
- Çıkarım: Sınırda, iyileştirmeler sadece sentezden veya ham ölçekten değil, kürasyon kalitesinden (doğru veriyi seçmekten) geliyor.
Çıkarım: Sınırda, iyileştirmeler daha büyük mimarilerden değil, daha iyi veriden geliyor.
%50 performans seviyesini anlamak
MS-COCO, her altyazının belirli bir sahneyi tanımladığı farklı, küratörlü görüntülerle tasarlanmıştır. Küçük belirsizlikler olsa da (örneğin, iki benzer otopark sahnesi), veri kümesi oluşturucular görsel olarak ayırt edilebilir görüntüleri kasıtlı olarak seçti.
%50 doğruluk, modellerin doğru görüntüyü ilk sırada sıralamakta gerçekten başarısız olduğunu yansıtıyor, eşit derecede geçerli alternatifleri seçmek için haksız cezalandırma değil.
OpenAI CLIP'in neden 10-16pp geride kaldığı
OpenAI'ın CLIP-L (2021) puanı %34,4 T2I R@1 iken, benzer ViT mimarilerini kullanan modern modeller %44-50 aralığında puan alıyor. Bu 10-16 puanlık fark, üç yıllık ilerlemeyi yansıtıyor:
Temel mimari ilkeler benzer kalsa da (kontrastif öğrenme ile görme transformatörleri), modern modeller iki katına çıktı. Ancak, çoğu performans kazancı, yalnızca mimari yenilikten ziyade gelişmiş veri kürasyonu ve eğitim tekniklerinden geldi.
ColPali: Mimari Esneklik İçin Hızdan Fedakarlık
ColPali, farklı bir mimari yaklaşımı temsil eder: her görüntüyü tek bir vektöre kodlamak yerine, geç etkileşim kullanarak 1.030 yama gömme üretir. Bu tasarım seçimi birkaç ödünleşim yaratır:
Avantajlar:
- Daha simetrik geri çağırma: ColPali, I2T (%48,8) ve T2I (%44,9) arasında yalnızca 3,9pp'lik bir fark gösterirken, yoğun modellerde bu fark 16-24pp'dir. Bu, görüntü yapısını daha üniform kodladığını gösteriyor.
- Mimari esneklik: Geç etkileşim, metin tokenları ve görüntü yamaları arasında ince ayarlı eşleşmeye olanak tanır, bu da özel alanlara fayda sağlayabilir.
Dezavantajlar:
- Depolama yükü: Her görüntü, 1 yerine 1.030 vektör gerektirir, bu da indeks boyutunu ~1000× artırır.
- Düşük genel performans: ColPali, karşılaştırmamızda 4. sırada yer alıyor (%44,9 T2I), en üst yoğun modellerden 5,2pp geride (Apple DFN5B-H %50,1'e karşı).
Hesaplama maliyeti: Görüntü başına 1.030 gömmeden kaynaklanan bellek yükü nedeniyle 4× daha küçük topluluk boyutları (4 vs. 32) gerektirir. Bu, ölçeklendirmede daha yavaş indeksleme ve daha yüksek hizmet maliyetlerine dönüşür.
Hangi Modeli Kullanmalısınız?
Tercih edilen kaynak olarak ekleÇok modlu gömme karşılaştırma metodolojisi
Donanım ve yazılım
- GPU: NVIDIA A40 (48GB VRAM) via RunPod
- Hassasiyet: bfloat16
- Framework: PyTorch 2.4.0, CUDA 12.1
- Kütüphaneler:
transformers==4.44.0,datasets==2.20.0
Değerlendirilen modeller
Hugging Face Hub'dan aşağıdaki spesifik model ağırlıklarını kullandık. Tüm modeller, bu depolardan doğrudan değiştirilmeden bfloat16 hassasiyetinde yüklendi.
Çıkarım protokolü
Yoğun modeller (CLIP/SigLIP), görüntü başına tek bir vektör yüksek paralellik sağladığından, topluluk boyutu 32 ile değerlendirildi. ColPali, görüntü başına 1.030 yama gömme gerektirdiğinden, topluluk boyutu 4 olarak kullanıldı.
Değerlendirme protokolü
- Sıfır-Atış: Modeller, Hugging Face ağırlıklarını kullanarak kutudan çıktığı gibi değerlendirildi. İnce ayar yok.
- Deterministik: Rastgele tohum 42'ye sabitlendi. Tüm modeller için aynı veri kümesi sırası.
- Standart Bölümler: yerevann/coco-karpathy test (5.000 görüntü), facebook/winoground doğrulama.
I2T vs. T2I farkı
I2T puanları, model hatası değil, istatistiksel olasılık nedeniyle T2I'dan tutarlı bir şekilde ~20pp daha yüksektir.
- T2I (Metinden Görüntüye): Model, 5.000 arasında 1 belirli görüntüyü bulmalıdır. (Hedef havuz = 1).
- I2T (Görüntüden Metne): Model, bu görüntüyle ilişkili 5 geçerli altyazıdan herhangi birini eşleştirebilir. (Hedef havuz = 5).
I2T görevi her sorgu için beş farklı 'doğru' cevap sunduğu için, başarı oranı, T2I'da gereken sıkı birebir eşlemeye kıyasla doğal olarak şişirilir.
Sınırlamalar
Winoground örneklem boyutu
400 örnek, %35 doğrulukta ~±5pp güven aralıkları verir. Sonuçlar kesin değil, göstericidir. Daha büyük karşılaştırmalar (ARO, SugarCrepe) mevcuttur ancak farklı altyapı gerektirir.
Sadece Sıfır-Atış
Alan ince ayarı yok. Tıbbi, yasal veya uydu uygulamaları, alana özgü eğitimle %5-10'luk iyileştirmeler görebilir.
Veri kümesi sınırlamaları:
MS-COCO ve Winoground, çok modlu anlayışın belirli yönlerini test eder. Bu karşılaştırmalardaki performans, alan spesifik görevlerde veya diğer bileşimsel akıl yürütme testlerinde benzer sonuçlar garanti etmez.
Sonuç
Mevcut çok modlu gömme modelleri nesne tanıma konusunda iyidir ancak bileşimsel akıl yürütmede zorlanır.
Standart geri çağırma için ("motosiklet fotoğraflarını bul"), herhangi bir en iyi-3 model iyi çalışır. İlişkisel sorgular için ("harita üzerindeki telefon" vs. "telefon üzerindeki harita"), en iyi %30-40 doğruluk bekleyin.
Bulgularımıza ve mevcut araştırma eğilimlerine dayanarak, performansın iyileştirilmesi için birkaç yaklaşım olabilir:
- Ölçekten ziyade veri kalitesi: Apple'ın aynı ViT-H mimarisini kullanarak +3,8pp avantajı, eğitim verisi kürasyonunun önemli ölçüde katkıda bulunduğunu gösteriyor, ancak bu tek bir karşılamaya dayanıyor.
- Bileşimsel eğitim verisi: Eğitim sırasında ilişkisel varyasyonlarla zor negatiflerin dahil edilmesi teorik olarak bileşimsel duyarlılığı artırabilir, ancak bu büyük ölçekte büyük ölçekte test edilmemiştir.
- Hybrid mimariler: İki aşamalı pipeline'lar (yoğun geri çağırma → geç etkileşim yeniden sıralama), hızı hassasiyetle birleştirir, ancak karşılaştırmamız bunun bu görevlerde yoğun modelleri henüz geçmediğini gösteriyor.
Eğitim paradigmaları değişene kadar, bileşimsel anlayış açık bir sınır olmaya devam ediyor.
Daha fazla okuma
RAG karşılaştırmalarını keşfedin, örneğin:
- Gömme Modelleri: OpenAI vs Gemini vs Cohere
- RAG için En İyi Vektör Veritabanı: Qdrant vs Weaviate vs Pinecone
- Ajanlı RAG karşılaştırması: çoklu veritabanı yönlendirme ve sorgu oluşturma
- RAG için 11 Açık Kaynak Gömme Modeli
Bu araştırmayı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{Çok Modlu Gömme Modelleri: Apple vs Meta vs OpenAI}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/multimodal-embeddings}},
note = {AIMultiple. Erişim tarihi: 20 Mayıs 2026}
}
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.