Görüntü Tanıma ile Karşılaştırıldığında Görüntü Dil Modelleri

Gelişmiş Görüntü Dil Modelleri (VLM'ler), geleneksel görüntü tanıma modellerinin yerini alabilir mi? Bunu öğrenmek için, üç paradigma boyunca 16 önde gelen modeli benchmarkladık: geleneksel CNN'ler (ResNet, EfficientNet), VLM'ler (örneğin GPT-4.1, Gemini 2.5) ve Cloud API'ler (AWS, Google, Azure).

 Ortalama Ortalama Hassasiyet (mAP), gecikme, maliyet ve sınıfa özgü performans analizleriyle desteklenen birincil doğruluk ölçütümüz olarak hizmet verdi.

Benchmark metodolojisini buradan görebilirsiniz.

Doğruluk ile gecikme benchmarkı

Benchmarkımızda, modelleri dört boyut boyunca değerlendirdik: gecikme, ortalama ortalama hassasiyet (mAP), fiyat ve başarı oranı. Gecikme, bir modelin tek bir görüntüyü işlemesi için geçen süreyi ölçerken, mAP genel sınıflandırma doğruluğunu yansıtır. Başarı oranı, bir modelin geçerli bir JSON çıktısı döndürüp döndürmediğini takip eder; bu özellikle görüntüleri yapılandırılmış veriler yerine doğal dilde yorumlayan görüntü dil modelleri için özellikle önemlidir.

Geleneksel görüntü tanıma modelleri, EfficientNet, ResNet18, ResNet50, ResNet101 ve DenseNet121 gibi, tutarlı bir şekilde düşük gecikme (0.03–0.2 saniye) ve rekabetçi doğruluk (mAP 0.75–0.81) gösterir. Bunlar arasında DenseNet121 ve ResNet18 en yüksek mAP skorlarına (sırasıyla 0.81 ve 0.80) ulaşırken, EfficientNet yakından takip eder (0.78). ResNet50 ve ResNet101 bu grup içinde ortalama performans gösterir (0.75 ve 0.77), ancak tüm geleneksel modeller, AWS Rekognition, Google Cloud Vision ve Azure Vision gibi bulut tabanlı görüntü tanıma araçlarını önemli ölçüde geride bırakır; bu araçlar 2–3.5 saniye arasında gecikmelerle ortalama doğruluk (mAP 0.61–0.64) elde eder. Bu, geleneksel modellerin hem hız hem de hassasiyet açısından hakim olduğunu gösterir.

OpenAI GPT-4.1, Claude Opus 4.1, X-AI Grok 2 Vision, Meta-Llama/LLama-3.2-11B Vision Instruct ve Google Gemini 2.5 Flash dahil olmak üzere görüntü dil modelleri için gecikmeler 1 ila 12 saniye arasında değişerek önemli ölçüde daha yüksektir ve mAP değerleri 0.60 ile 0.75 arasındadır. Google Gemini 2.5 Flash, testimizdeki en doğru VLM olarak 0.75 mAP başarır. Diğer VLM'ler arasında GPT-4.1, 0.73 mAP ile güçlü bir performans gösterirken, bunu Claude Opus 4.1 (0.71) ve X-AI Grok 2 Vision (0.70) takip eder. GPT-4o-mini ortalama bir performans gösterir (0.66 mAP), Meta-Llama Vision Instruct ise önemli ölçüde geride kalır (0.60 mAP).

Çoğu görüntü dil modeli, Meta-Llama Vision Instruct hariç, neredeyse %100 başarıyla güvenilir JSON çıktıları döndürür; bu model sadece %36 başarı sağladı ve Gemini 2.5 Pro tutarlı bir şekilde başarısız oldu (%0 başarı), bu da otomatik pipeline'lardaki pratik uygulanabilirliklerini ciddi şekilde sınırladı.

Görüntü dil modelleri genellikle ham hızda geleneksel görüntü tanıma modellerinin gerisinde kalsa da, Google Gemini 2.5 Flash (0.75 mAP) ve GPT-4.1 (0.73 mAP) gibi en iyi performans gösteren VLM'ler, geleneksel CNN performansına yaklaşan ve AWS Rekognition ve Azure Vision gibi bulut API'lerini önemli ölçüde aşan sınıflandırma doğruluğu sağlar. Gecikme açısından, çoğu görüntü dil modeli 3-4 saniye civarında kümelenir; Meta-Llama hariç, bu model model mimarisi ve optimizasyonunun etkisini vurgulayan dikkat çekici bir şekilde 12 saniyede daha yavaştır.

Genel olarak, geleneksel görüntü tanıma modelleri hala hem hız hem de doğruluk açısından üstündür. VLM'ler, however, çok modlu akıl yürütme ve yapılandırılmış çıktılar için umut verici görünmektedir; gecikme tutarlı bir şekilde daha yüksektir ancak en iyi modeller geleneksel CNN'lere yaklaşan ve bulut tabanlı görüntü tanıma hizmetlerini aşan doğruluk sağlar.

Sınıfa özgü performans: modellerin nerede başarılı olduğu ve zorlandığı

Değerlendirmemiz, nesne algılamanın farklı yönlerini test eden yedi örtüşen sınıf kullandı:

• face: Sadece yüz bölgesini temsil eder. Modelin bir kişinin yüzünü algılaması gerekir; bu, küçük boyutu ve ince detayları nedeniyle zor olabilir.
• head: Yüzü hariç tutan tüm başı kapsar. Başın şeklini ve yapısını algılamaya odaklanır.
• head_with_helmet: Kask takan başı temsil eder. Modelin hem başı hem de kaskı birlikte algılaması gerekir, bu da ilişkilerini tanıma yeteneğini test eder.
• helmet: Bir kişinin veya başın varlığına bakılmaksızın sadece kaskı temsil eder. Ekipman tespiti için önemlidir.
• person: Kasklı veya kasksız bir kişinin varlığını algılar. Genel bir insan algılama sınıfı olarak hizmet eder.
• person_no_helmet: Kask takmayan bir kişiyi temsil eder. Modelin hem insan varlığını hem de kask yokluğunu tanımlaması gerekir.
• person_with_helmet: Kask takan bir kişiyi temsil eder. Hem insan varlığını hem de kask kullanımını ayırt etmeyi gerektirir; person_no_helmet ile yakından ilişkilidir.

Bu örtüşen ve birbirine yakın sınıflar, görüntü dil modelleri için zor olabilir; çünkü görsel bilgileri doğrudan ince seviyedeki piksel farklarını yakalamak yerine doğal dil aracılığıyla yorumlarlar.

Geleneksel CNN performansı

1. Yüz sınıfı
   • En iyi performans: EfficientNet ve DenseNet121 (%100)
   • En düşük: ResNet101 (%95)Yüz tespiti, CNN'ler arasında son derece doğru ve çoğu VLM'yi geride bırakır.
2. Baş sınıfı
   • En iyi: ResNet18 ve DenseNet121 (%69)
   • En düşük: ResNet50 (%50)Ortalama performans; CNN'ler yüz ve kask sınıflarına kıyasla baş tespitiyle daha fazla zorlanır.
3. Baş ve Head_with_helmet
   • En iyi performans: EfficientNet ve ResNet18 (Head_with_helmet %98, Baş %65–69)
   • En düşük: ResNet50 (Baş %50, Head_with_helmet %96)CNN'ler kasklı başlarda çok iyi performans gösterir, tüm modellerde %96–98 doğruluk sağlar. Kasksız başların tespiti daha zordur ve daha düşük doğruluk (%50–69) gösterir; bu da CNN'lerin kasklar gibi belirgin nesneleri, kasksız başlar gibi daha az belirgin bölgelerden daha iyi ayırt ettiğini gösterir.
4. İnsan sınıfı
   • Tüm modeller: %0 doğruluk
5. Person_no_helmet
   • En iyi: DenseNet121 (%72)
   • En düşük: ResNet50 (%53)CNN'ler, bu zor sınıfı VLM'lerden daha iyi yönetir; ince detayları yakalama yeteneklerini vurgular.
6. Person_with_helmet
   • En iyi: EfficientNet (%98)
   • En düşük: DenseNet121 (%96)Tüm modellerde yüksek doğruluk; kasklı kişiler tutarlı bir şekilde tanınır.

Görüntü dil modeli performansı

1. Yüz sınıfı (yüz tespiti)
   • En iyi performans: Claude Opus 4.1 (%83)
   • En zayıf: Meta-Llama Vision Instruct (%4) ve GPT-4o-mini (%12)VLM'ler genellikle yüzler gibi küçük ve detaylı nesnelerde daha kötü performans gösterir; Meta-Llama ve GPT-4o-mini ince detaylarla zorlanır.
2. Baş ve Head_with_helmet
   • Baş: Claude Opus 4.1 (%96) en yüksek, Meta-Llama (%30) en düşük
   • Head_with_helmet: GPT-4.1 (%99) ve Gemini 2.5 Flash (%98) en yüksek, Meta-Llama (%50) en düşükModeller, kasklı veya kasksız baş tespitiyle iyi performans gösterir; çoğu Meta-Llama hariç %90+ doğruluğa ulaşır.
3. Kask sınıfı
   • En yüksek: Grok 2 Vision (%100), GPT-4.1 (%99), Gemini 2.5 Flash (%98)
   • En düşük: Meta-Llama (%52)Kasklı ve kasksız nesneleri ayırt etmek genellikle daha kolaydır, ancak Meta-Llama yetersiz kalır.
4. İnsan sınıfı
   • Tüm modeller %100 başarır, muhtemelen büyük ve net nesneler nedeniyle.
5. Person_no_helmet
   • En iyi: GPT-4.1 ve Gemini 2.5 Flash (%58)
   • En düşük: Meta-Llama (%18) ve GPT-4o-mini (%29)Kask yokluğu gibi ince detayları tespit etmek zordur; bazı modeller belirgin nesnelerde başarılı olurken nüanslı sınıflarda geride kalır.
6. Person_with_helmet
   • En yüksek: GPT-4.1 (%98) ve Gemini 2.5 Flash (%98)
   • En düşük: Meta-Llama (%55)Çoğu model burada çok iyi performans gösterir.

Cloud API performansı

• Yüz sınıfı
  • En iyi: AWS Rekognition (%22)
  • En düşük: Google Cloud Vision (%0)Yüz tespiti, Cloud API'lerde genellikle zayıftır; yüzler gibi ince seviyedeki ayırt edicilikler zordur.
• Baş ve Head_with_helmet
  • Baş: AWS Rekognition (%24) en iyi, Azure Vision en düşük (%0)
  • Head_with_helmet: AWS Rekognition (%10) en iyi, Azure Vision (%1) en düşük Başların, özellikle kasklı veya kasksız olanların tespiti sınırlıdır; Cloud API'ler ince detaylardan ziyade daha geniş nesnelere odaklanır.
• Kask sınıfı
  • En iyi: AWS Rekognition (%94)
  • En düşük: Azure Vision (%37)Kask tespiti bazı API'ler (AWS) için ortalama başarılıdır ancak sağlayıcılar arasında tutarsızdır.
• İnsan sınıfı
  • Tüm modeller: %100 Tam kişiler gibi büyük ve net nesneler tüm Cloud API'ler tarafından güvenilir bir şekilde tespit edilir.
• Person_no_helmet
  • En iyi: Azure Vision (%78)
  • En düşük: Google Cloud Vision (%26)Performans geniş ölçüde değişir; bazı API'ler zor sınıfları ortalama iyi yönetebilir.
• Person_with_helmet
  • En iyi: AWS Rekognition (%94)
  • En düşük: Azure Vision (%37) Kasklı kişiler AWS tarafından güvenilir bir şekilde tespit edilir ancak diğer sağlayıcılar tarafından tutarsızdır.

Yüzler için CNN'ler en yüksek doğruluğa ulaşır, bunu VLM'ler takip ederken Cloud API'ler zayıf performans gösterir. Baş ve head_with_helmet sınıflarında CNN'ler güçlü kalır, VLM'ler kasklı başlarda iyi performans gösterir ancak kasksız başlarda daha tutarsızdır ve Cloud API'ler her ikisiyle de zorlanır. Kasklar için CNN'ler ve VLM'ler genellikle çok iyi performans gösterirken, Cloud API'ler değişken başarı gösterir. İnsan sınıfında tüm paradigmalar tam kişileri güvenilir bir şekilde tespit eder. Person_no_helmet için CNN'ler hem VLM'leri hem de Cloud API'leri geride bırakır; ince detayları işlemede üstünlük gösterir. Son olarak, person_with_helmet için CNN'ler ve VLM'ler yüksek doğruluğu korurken, Cloud API'ler sağlayıcıya bağlı olarak tutarsız performans gösterir.

Hassasiyet, duyarlılık ve F1-skoru

Hassasiyet (Precision), bir modelin pozitif tahminlerinin kaçının gerçekten doğru olduğunu ölçer. Başka bir deyişle, şu soruyu yanıtlar: "Modelin pozitif olarak etiketlediği tahminlerden kaç tanesi gerçekten doğrudur?"

Duyarlılık (Recall), modelin başarılı bir şekilde tanımladığı gerçek pozitif örneklerin kaçını ölçer. Şu soruyu yanıtlar: "Tüm gerçek pozitif vakalardan kaçını model tespit etti?"

F1-Skoru, hassasiyet ve duyarlılığın dengeli bir özetidir. Hem doğruluğu hem de kapsamı yansıtan tek bir metrik sağlar; hassasiyet ve duyarlılığı dengelemek istediğinizde özellikle yararlıdır.

CNN tabanlı modeller (ResNet50, ResNet101, DenseNet121), hassasiyette (0.93–0.95) ve duyarlılıkta (0.91–0.94) yüksek performans gösterir, bu da yüksek F1-skorlarına (0.92–0.93) yol açar. Bu, tahminlerinde son derece doğru olduklarını ve gerçek pozitif örneklerin çoğunu yakalayabildiklerini gösterir. EfficientNet de yüksek bir F1-skoru (0.92) gösterir, tutarlı ve güvenilir bir performans sunar.

Cloud API'ler (AWS Rekognition, Google Cloud Vision, Azure Vision) daha düşük hassasiyet ve duyarlılığa sahiptir; F1-skorları 0.32 ile 0.58 arasındadır. Bu, bulut hizmetlerinin genel amaçlı görevler için optimize edilmiş olmasına rağmen, ince seviyedeki sınıf ayırt etmede doğruluklarının sınırlı olduğunu gösterir.

Görüntü-dil modelleri daha değişken performans gösterir. GPT-4.1, X-AI Grok 2 Vision ve Claude Opus 4.1 tam olarak 0.76 F1-skorlarına ulaşırken, Google Gemini 2.5 Flash 0.80 F1-skoru ile biraz daha iyi performans gösterir. Bu modeller bazı sınıflarda güçlü performans sergilese de, genel doğrulukta genellikle CNN'lerin gerisinde kalır. Meta-Llama Vision Instruct'un 0.47 F1-skoru vardır; hem düşük hassasiyet hem de düşük duyarlılık, modelin hem doğru tahminler yapma hem de gerçek pozitifleri yakalama konusunda zorlandığı anlamına gelir.

Performans farklarının arkasındaki olası nedenler

CNN mimarisi avantajı

Geleneksel CNN'ler, piksel seviyesinde özellik çıkarma için özelleşmiştir; bu da ince nesnelerin hızlı ve doğru tespitini sağlar. Optimize edilmiş konvolüsyon katmanları ve hiyerarşik özellik haritaları, standart görüntü tanıma görevlerinde düşük gecikme ve yüksek mAP sağlar.

VLM'lerde çok modlu yük

Görüntü Dil Modelleri hem görüntüleri hem de metni işler, çapraz dikkat ve gömme hizalama adımları ekler. Bu, akıl yürütme ve bağlamsal çıktılar sağlar ancak çıkarım süresini artırarak CNN'lere kıyasla daha yüksek gecikmeye yol açar.

İnce seviyede sınıf tespiti

Örtüşen veya nüanslı sınıflar (örneğin person_no_helmet ile person_with_helmet) model farklarını vurgular. CNN'ler bu detayları tutarlı bir şekilde yakalar, VLM'ler belirgin nesnelerde iyi performans gösterir ancak nüanslı ayırt etmelerde zorlanır ve Cloud API'ler geniş sınıflara odaklanarak doğruluğu sınırlar.

Yapılandırılmış çıktı güvenilirliği

Tutarsız JSON üretimi VLM performansını etkiler. Düşük başarı oranına sahip modeller pipeline'larda daha az etkili görünürken, CNN'ler ve Cloud API'ler öngörülebilir, deterministik çıktılar üretir.

Öyleyse hangisini seçmelisiniz?

Geleneksel CNN'ler, milisaniyelik yanıt sürelerinin önemli olduğu hız-kritik uygulamalar için idealdir; gerçek zamanlı video işleme, otonom araçlar veya endüstriyel güvenlik sistemleri gibi. Üstün doğrulukları (mAP 0.75–0.81) ve ışık hızında çıkarımları (0.03–0.2s) ile bu geleneksel AI modelleri, doğal dil işleme veya model karmaşıklığının yükü olmadan güvenilir, tutarlı bir performans gerektiğinde mükemmeldir. CNN'ler, nesne tespiti gibi veri ve görüntü sınıflandırma görevlerine odaklanır; çok modlu modellerde ince ayar yapmaya ihtiyaç duymadan hem görme doğruluğu hem de verimlilik sunar.

Görüntü Dil Modelleri (VLM'ler), bağlamsal anlayışa ve esnek çıktılara ihtiyaç duyduğunuzda parlar. Bu görüntü dil modelleri hem görme hem de metin modları üzerinde çalışır; büyük dil modellerinin görüntü girdisini metin açıklamalarıyla birlikte işlemesine olanak tanır. Doğal dil açıklamaları, görüntü başlıklandırma, görsel akıl yürütme görevleri veya hatta görsel soru-cevap gerektiren uygulamalar için mükemmeldir; görüntü kodlayıcıları ve çapraz dikkat katmanlarını kullanarak görüntü-metin çiftlerini aynı boyutsal uzaya hizalar. Daha yüksek gecikmeyi (3–12s) kabul etseniz de, görüntü anlayışı, görsel öğeler ve görsel talimatlar getirdikleri akıl yürütme yetenekleri, akıllı içerik moderasyonu, görüntü oluşturma, görsel matematiksel akıl yürütme veya etkileşimli görme asistanları gibi daha spesifik aşağı akış görevleri için onları ideal kılar. Yüksek kaliteli eğitim verisiyle parametre verimli ince ayar kullanarak, görüntü dil modelleri (VLM'ler), görsel ve metinsel bilgileri ortak bir gömme uzayında birleştiren güçlü makine öğrenimi modelleri haline gelir.

Cloud API'ler, zengin meta veriler ve güven puanlarıyla detaylı, kapsamlı yanıtlar sağlar; bu da basit sınıflandırmanın ötesinde kapsamlı bilgiye ihtiyaç duyduğunuzda onları ideal kılar. Bu API'ler genellikle büyük ölçekli halka açık model veri setlerinde eğitilmiş önceden eğitilmiş görüntü kodlayıcı bileşenlerine ve görsel kodlayıcılara güvenir. Yapılandırılmış JSON çıktıları, sınırlama kutuları, nesne yerelleştirme veya uzun video anlayışı gerektiren uygulamalar için en iyisidir; sağlam model eğitimi veya altyapı yönetimi gerektirmeden kullanıma hazırdır. Doğrulukları ortalama olsa da (mAP 0.61–0.66), teknik detayları ve altyapı maliyetlerini azaltır; otomatik rapor oluşturma, anlamsal anlam çıkarma ve mevcut üretilen modellerle birleştirilmiş çerçeve entegrasyonu gibi görevleri mümkün kılar.

Fiyatlandırma hesaplayıcı

Google Arama'da daha fazla kıyaslamamızı ve veri odaklı içgörülerimizi görün.

Tercih edilen kaynak olarak ekle

Görüntü dil modelleri (VLM'ler) – Temel özellikler ve avantajlar

Çok modlu akıl yürütme

Görüntü Dil Modelleri (VLM'ler), hem görsel hem de metinsel modları aynı anda işleyebilen güçlü çok modlu modellerdir; bu da onlara görsel ve metinsel bilgileri daha zengin, bağlama duyarlı bir şekilde yorumlama imkanı tanır. Görüntü girdisini doğal dil istemleriyle hizalayarak, otomatik görüntü başlıklandırma, güvenlik görüntülerinde kask tespiti, görsel akıl yürütme görevleri, görsel soru-cevap ve hatta görsel içeriği doğal dilde açıklama gibi gelişmiş görevleri mümkün kılar. Sadece görsel veriye odaklanan geleneksel AI modellerinin aksine, VLM'ler görme yeteneklerini büyük dil modeli akıl yürütmesiyle birleştirir; bu da onları karmaşık aşağı akış görevleri için ideal kılar.

Yapılandırılmış çıktı ve JSON üretimi

Çoğu görüntü dil modeli, otomatik pipeline'lar ve görüntü özelliklerinin yanı sıra metin açıklamaları gerektiren uygulamalar için değerli olan JSON gibi yapılandırılmış çıktılar üretebilir. Benchmarkımızda ChatGPT-5 ve Gemini 2.5 Pro tutarlı bir şekilde başarısız oldu, Meta-Llama Vision Instruct ise sadece %36 oranında başarılı oldu. Yapılandırılmış çıktılar, nesne tespiti, nesne yerelleştirme ve kapsamlı ince ayar yapmadan makine öğrenimi modelleri için güvenilir veri üretme gibi görevleri mümkün kılarak görme asistanları için özellikle yararlıdır.

İnce ayar yetenekleri

VLM'ler, nispeten küçük eğitim verisiyle parametre verimli ince ayarı destekler; bu da alanına özgü görsel akıl yürütme görevlerine hızlı uyum sağlar. Örneğin, görüntü girdi senaryolarında kasklı ile kasksız bireyleri veya özelleşmiş güvenlik ekipmanlarını ayırt etmek için ince ayar yapılabilir. Önceden eğitilmiş görüntü kodlayıcı mimarilerinden ve sağlam model eğitimi tekniklerinden yararlanarak, daha az kavramsal başlık veya görüntü-metin çiftiyle daha iyi genelleme yapabilirler.

Görüntü dil modellerinin sınırlamaları

Gecikme ve hız

Geleneksel CNN'lere veya daha basit görme modellerine kıyasla, görüntü dil modelleri tipik olarak daha yüksek gecikmeye sahiptir; bu da uzun video anlayışı gibi gerçek zamanlı uygulamaları sınırlayabilir. X-AI Grok 2 Vision ve Google Gemini 2.5 Flash gibi bazı çok modlu modeller, bulut API'lerine hız açısından daha yakındır, ancak Meta-Llama dikkat çekici bir şekilde daha yavaştır. Bu takas, akıl yürütme yeteneklerini iyileştiren ancak çıkarım süresini artıran model uçtan uca tasarımı ve çapraz dikkat katmanlarından kaynaklanır.

Sınıfa özgü zorluklar

Görüntü dil modelleri bazen örtüşen sınıflar ve ince nesne tanıma konusunda zorlanır; örneğin "baş" ile "head_with_helmet" veya "person_no_helmet" ile "person_with_helmet" arasındaki farkı ayırt etmek gibi. Bazı modeller kasklı sınıflarda iyi performans gösterse de, yüzleri veya ince görsel öğeleri tespit etmek gibi diğer görsel akıl yürütme görevlerinde yetersiz kalır. Bu, daha spesifik aşağı akış görevlerini hedeflerken yüksek kaliteli eğitim verisinin ve dikkatli ince ayarın önemini vurgular.

Yapılandırılmış çıktı güvenilirliği

JSON gibi yapılandırılmış çıktılardaki tutarlılık geniş ölçüde değişir. Bazı VLM'ler geçerli çıktıları güvenilir bir şekilde üretirken, diğerleri belirli kullanım durumlarında başarısız olur; bu da tamamen otomatik pipeline'lardaki kullanışlılıklarını sınırlar. Önceden eğitilmiş görüntü kodlayıcı omurgaları ve ortak gömme uzayı yaklaşımlarına rağmen, bazı modeller hala yapılandırılmış çıktıda anlamsal anlamı koruyamaz. Bu tutarsızlık, sağlam model eğitimi, veri setinde ilgili fotoğraflar ve görme ile dil modları için üretilen modellerde sürekli iyileştirmeler ihtiyacını vurgular.

Benchmark metodolojisi

Kapsamlı değerlendirmemizi, tüm model mimarileri arasında tutarlı karşılaştırma sağlamak amacıyla ilk 500 görüntüyü kullanarak SHEL5K güvenlik kaskı tespit veri seti üzerinde gerçekleştirdik. Veri seti, ince seviyede nesne tespit yeteneklerini test etmek için tasarlanmış yedi örtüşen sınıf içerir: yüz, baş, head_with_helmet, kask, insan, person_no_helmet ve person_with_helmet.

Veri ön işleme

Orijinal SHEL5K veri seti açıklamaları XML formatında sağlandı. Bu açıklamaları sistematik değerlendirme için uygun çok etiketli CSV formatına dönüştürmek için bir ön işleme pipeline'ı geliştirdik:

Her görüntü, karşılık gelen gerçek etiketlerine eşlenerek standartlaştırılmış bir değerlendirme çerçevesi oluşturdu. Geleneksel CNN'ler için görüntüler, standart normalizasyonla 224×224 çözünürlüğe ön işleme yapıldı. Görüntü dil modelleri ve cloud API'ler, bağlamsal bilgiyi korumak için orijinal formatlarında görüntü aldı.

Geleneksel CNN değerlendirme protokolü

Geleneksel konvolüsyon sinir ağları (EfficientNet, ResNet varyantları, DenseNet121), kurulu en iyi uygulamaları kullanarak denetimli ince ayara tabi tutuldu:

Eğitim yapılandırması:

• Mimari: Değiştirilmiş sınıflandırma başlıklarıyla önceden eğitilmiş modeller
• Kayıp fonksiyonu: Çok etiketli sınıflandırma için BCEWithLogitsLoss
• Optimizatör: Öğrenme hızı 1e-4 olan Adam
• Eğitim epochları: 5
• Veri bölünmesi: %80 eğitim, %20 doğrulama
• Toplu boyutu: 16

Görüntü dil modeli test çerçevesi

VLM'ler, tutarlı, makine tarafından okunabilir yanıtlar elde etmek için dikkatlice yapılandırılmış istemlerle değerlendirildi. İstem mühendisliği yaklaşımımız, her sınıf için JSON formatında güven puanları istedi.

API yapılandırması:

• Sıcaklık: 0.1 (tutarlılık için düşük sıcaklık)
• Max token: 800
• OpenRouter API entegrasyonu üzerinden test edilen modeller
• Hata yönetimi ve format doğrulama ile JSON ayrıştırma

Başarı oranı takibi: VLM'ler bazen yapılandırılmış çıktı yerine doğal dil açıklamaları ürettiğinden, geçerli JSON yanıtlarının yüzdesini izledik. Bu metrik, pratik dağıtım fizibilitesini değerlendirmek için kritik kanıtlandı.

Cloud API entegrasyonu ve etiket eşlemesi

Cloud API'ler, genel amaçlı doğaları ve farklı taksonomileri nedeniyle benzersiz zorluklar sundu. Her hizmet için kapsamlı eşleme stratejileri geliştirdik:

Etiket eşleme stratejisi:

Cloud API'ler temel bir zorluk sunar: Özel yedi sınıf taksonomimiz için tasarlanmamışlardır. Bu hizmetler, "insan", "kask", "inşaat işçisi" veya "güvenlik ekipmanı" gibi genel amaçlı etiketler döndürür; bizim değerlendirmemiz için gereken kesin kombinasyonlar (örneğin "person_with_helmet" veya "head_with_helmet") yerine.

Bu sınırlamayı ele almak için, her bulut hizmeti için çıktılarına dayalı kapsamlı eşleme sözlükleri geliştirdik. Azure Bilgisayarlı Görü eşlemesi, API'nin insanları (insan, erkek, kadın, işçi, birey), kaskları (kask, sert şapka, güvenlik kaskı, şapka) ve yüz özelliklerini (yüz, insan yüzü, portre) tanımlama biçimlerini kapsayan 50+ etiket varyantı içerdi. AWS Rekognition ve Google Cloud Vision için de benzer kapsamlı eşlemeler oluşturuldu; her biri o hizmetin özel kelime dağarcığına ve etiketleme kalıplarına göre özelleştirildi.

Kombine sınıf çıkarım mantığı:

Cloud API değerlendirmemizin en sofistike yönü, API'lerin açıkça tanımadığı kombine sınıfları çıkarımı içerdi. Birden fazla temel öğenin birlikte göründüğünü tespit etmek için kural tabanlı mantık uyguladık:

Hem "insan" hem de "kask" aynı görüntüde yeterli güvenle tespit edildiğinde, sistem iki tespit arasındaki minimum güven puanını kullanarak "person_with_helmet" çıkarır (muhafazakar yaklaşım). Benzer şekilde, "baş" ve "kask"ın aynı anda tespit edilmesi "head_with_helmet" sınıflandırmasını tetikler.

Negatif sınıflandırmalar için, bir insan tespit edildiğinde ancak kask bulunamadığında, sistem negatif çıkarımda inherent belirsizliği dikkate almak için "person_no_helmet" çıkarır (orijinal insan güveninin %90'ı).

Bu yaklaşım, cloud API'lerin bireysel nesneleri tespit etmede mükemmel olduğunu ancak nesne kombinasyonları hakkında ilişkisel akıl yürütmede zorlandığını kabul eder; bu da ince seviyede, bağlama bağlı sınıflandırma görevlerini değerlendirirken temel bir sınırlamadır.

Değerlendirme metrikleri ve istatistiksel analiz

Birincil metrikler:

• Ortalama Ortalama Hassasiyet (mAP): Sınıflar arasında makro-ortalama kullanarak birincil doğruluk ölçüsü
• Hassasiyet, Duyarlılık, F1-Skoru: Genel performans değerlendirmesi için mikro-ortalama
• Sınıfa özgü Doğruluk: Detaylı analiz için bireysel sınıf performansı
• Gecikme: Görüntü başına uçtan uca işleme süresi
• Başarı Oranı: Geçerli çıktıların yüzdesi (özellikle VLM'ler için ilgili)

Eşik seçimi: 0.5 sınıflandırma eşiği tüm modellerde tutarlı bir şekilde uygulandı; VLM'ler güven puanlarını, geleneksel modeller ise sigmoid-aktifleştirilmiş logitleri kullandı.

İstatistiksel sağlamlık: Her model, adil karşılaştırma sağlamak için özdeş görüntü setlerinde ve tutarlı ön işleme ile değerlendirildi. Gecikme ölçümleri, sistem varyansını dikkate almak için birden fazla çalışmada ortalandı.

Deneysel kontroller ve sınırlamalar

Uygulanan kontroller:

• Tüm modellerde özdeş 500 görüntülü test seti
• Tutarlı değerlendirme metrikleri ve eşikleri
• Standartlaştırılmış hata yönetimi ve zaman aşımı prosedürleri
• Hız sınırlarını yönetmek için birden fazla API anahtarı rotasyonu

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Şipi, Nazlı},
  title  = {{Görüntü Tanıma ile Karşılaştırıldığında Görüntü Dil Modelleri}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/vision-language-models}},
  note   = {AIMultiple. Erişim tarihi: 30 Haziran 2026}
}

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple'da baş analist olarak görev yapmaktadır. AIMultiple, her ay Fortune 500 şirketlerinin %55'i de dahil olmak üzere yüz binlerce işletmeye (benzer Web'e göre) bilgi sağlamaktadır. Cem'in çalışmaları, Business Insider, Forbes, Washington Post gibi önde gelen küresel yayınlar, Deloitte, HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslararası kuruluşlar tarafından alıntılanmıştır. AIMultiple'ı referans gösteren daha fazla saygın şirket ve kaynağı görebilirsiniz. Kariyeri boyunca Cem, teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yapmıştır. On yıldan fazla bir süre McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararları konusunda danışmanlık yapmıştır. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayınlamıştır. Bir telekom şirketinin CEO'suna bağlı olarak teknoloji stratejisi ve tedarikini yönetmiştir. Ayrıca, 2 yıl içinde sıfırdan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetmiştir. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınlarında yer aldı. Cem düzenli olarak uluslararası teknoloji konferanslarında konuşmacı olarak yer almaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisliği diplomasına ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Araştıran

Nazlı Şipi

Yapay Zeka Araştırmacısı

Takip Et

Nazlı, AIMultiple'da veri analisti olarak çalışmaktadır. Daha önce çeşitli sektörlerde veri analizi alanında deneyim kazanmış olup, karmaşık veri kümelerini eyleme dönüştürülebilir içgörülere dönüştürme konusunda çalışmıştır.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder