Büyük Görüntü Modellerini Karşılaştırın: GPT-4o vs YOLOv8n

Büyük görüntü modelleri (LVM'ler), kusur tespiti, tıbbi teşhis ve çevresel izleme gibi görsel görevleri otomatikleştirebilir ve geliştirebilir.

Her biri 1.000 görüntü üzerinden YOLOv8n, DETR ve GPT-4o Vision olmak üzere üç nesne tespit modelini test ettik; mAP@0.5, çıkarım hızı, FLOPs ve parametre sayısı gibi metrikleri ölçtük. Adil bir karşılaştırma sağlamak amacıyla tüm görüntüler 800×800 piksele yeniden boyutlandırıldı ve aynı ön işleme, güven eşikleri ve IoU tabanlı eşleştirme kriterleri kullanılarak değerlendirildi.

Nesne tespit benchmark'ı: GPT-4o (Vision), YOLOv8n, DETR

mAP@0.5: 0.5 Intersection over Union (IoU) eşik değerinde Ortalama Ortalama Hassasiyet, doğru pozitifleri ve yanlış pozitifleri dengeleyerek nesne tespitinin doğruluğunu ölçer.

Gecikme (ms): Görüntü başına ortalama işleme süresi, milisaniye cinsinden ölçülür ve modelin hızını gösterir.

Benchmark Sonuçları

GPT-4o'un nesne tespit yetenekleri, YOLOv8n ve DETR gibi özelleşmiş modellere kıyasla sınırlı kalmaktadır.

Doğruluk:

• DETR: mAP@0.5 = 0.55
• YOLOv8n: 0.20
• GPT-4o: 0.02

Bu sonuçlar, GPT-4o'un henüz pratik nesne tespit görevleri için uygun olmadığını göstermektedir.

Gecikme:

• YOLOv8n: 365 ms
• DETR: 3145 ms
• GPT-4o: 5150 ms

YOLOv8n daha düşük doğrulukla en hızlı çıkarımı sunarken, DETR daha yavaş işleme pahasına daha iyi doğruluk sağlar.

Tüm modeller tutarlılık için 800×800 giriş görüntüleri kullanılarak değerlendirildi. Parametre sayıları ve FLOPS, YOLOv8n ve DETR için mevcuttu ancak GPT-4o için mevcut değildi, bu da hesaplama verimliliğinin tam bir karşılaştırmasını engelledi.

Model Karmaşıklığı:

• DETR: 41.52M parametre, 59.56 GFLOPS
• YOLOv8n: 3.15M parametre, 6.83 GFLOPS

Bu, YOLOv8n'in gerçek zamanlı uygulamalar için verimliliğini gösterirken, DETR'in daha yüksek doğruluk ve daha büyük hesaplama talebi için hızdan ödün verdiğini ortaya koyar. GPT-4o için mimari detayların eksikliği, daha derin bir verimlilik analizini sınırlamaktadır.

benchmark metodolojimiz'e bakın.

Performans farklarının arkasındaki olası nedenler

Üç model, farklı amaçlar için inşa edildikleri ve görsel bilgileri farklı şekillerde işledikleri için farklı doğruluk ve hız seviyeleri gösterdi. GPT-4o, hem metin hem de görüntüleri kabul eden çok modlu büyük bir dil modelidir, oysa YOLOv8n ve DETR yalnızca görüntüler üzerinde çalışan nesne tespit sistemleridir.

GPT-4o, görsel girdileri dil odaklı bir akıl yürütme hattı aracılığıyla yorumlar. Sahneleri tanımlayabilir ve nesneleri tanımlayabilir, ancak sınırlayıcı kutular çizmek veya yüksek hassasiyetli mekansal konumlandırma yapmak için tasarlanmamıştır.

Çıktıları, tespite özgü mekanizmalardan ziyade çok modlu akıl yürütmeye bağlıdır. Bu, onu tespit görevleri için daha yavaş ve daha az doğru hale getirir.

YOLOv8n ve DETR, nesne tespiti için açıkça oluşturulan mimariler kullanır. Sınırlayıcı kutuları akıl yürüterek değil, doğrudan oluştururlar.

YOLOv8n, hafif bir yapı ile hız için optimize edilmiştir, oysa DETR, görüntüleri YOLO'dan farklı şekilde işleyen ve daha doğru tahminler hedefleyen bir dönüştürücü tabanlı dedektördür.

Her iki model de yalnızca görsel girdilere odaklanır ve görüntü desenlerini nesne konumlarına eşleştiren eğitim hedeflerini izler.

Temel farklar şunlardır:

• Giriş türü
  • GPT-4o: görüntü ve metin
  • YOLOv8n ve DETR: yalnızca görüntü
• Temel işlev
  • GPT-4o: çok modlu anlama ve akıl yürütme
  • YOLOv8n ve DETR: nesne tespiti
• Çıktı mekanizması
  • GPT-4o: doğası gereği sınırlayıcı kutu çizmez
  • YOLOv8n ve DETR: sınırlayıcı kutuları doğrudan tahmin eder

YOLOv8n ve DETR yalnızca nesne tespiti için geliştirildiğinden, doğruluk ve gecikmeye odaklanan benchmark'larda doğal olarak daha iyi performans gösterirler.

GPT-4o'un geniş, tespit merkezli olmayan çok modlu tasarımı, aynı ortamda değerlendirildiğinde daha düşük mAP ve daha yüksek çıkarım süreleri sonucunu verir.

Büyük görüntü modellerinin detaylı değerlendirmesi

OpenAI GPT-4o (Vision)

GPT-4o (Vision), hem metin hem de görüntülerden yanıt oluşturmak ve işlemek üzere tasarlanmış, OpenAI'ın GPT-4'ünün çok modlu bir uzantısıdır.

Bu yetenek, GPT-4o'un görsel içeriği metinsel bilgilerle birlikte yorumlamasına ve görüntüleri anlamayı ve analiz etmeyi gerektiren çeşitli uygulamaları mümkün kılmasına olanak tanır.

• Görüntü yorumlama: GPT-4o, nesneleri tanımlamayı, sahneleri yorumlamayı ve görsellerden metinsel bilgileri çıkarmayı içeren görüntülerin içeriğini analiz edebilir ve tanımlayabilir. Bu, onu görüntü altyazılandırma ve içerik özeti gibi görevler için kullanışlı hale getirir.
• Görsel veri analizi: Model, grafikleri, çizelgeleri ve diyagramları yorumlayabilir ve görsel verilere dayalı içgörüler ve açıklamalar sağlayabilir. Bu özellik, veri analizi ve eğitim uygulamaları için faydalıdır.
• Çok modlu içerik anlama: GPT-4o, metin ve görüntü girdilerini birleştirerek daha kapsamlı yanıtlar sağlayabilir. Ayrıca sosyal medya analizi ve içerik moderasyonu uygulamalarını geliştirebilir. Örneğin, hem metin hem de görüntü içeren gönderilerde duyguyu değerlendirebilir veya yanlış bilgiyi tespit edebilir.

İleri kabiliyetlerine rağmen, GPT-4o bazen yanlış veya güvenilir olmayan çıktılar üretebilir. Görsel öğeleri yanlış yorumlayabilir, detayları gözden kaçırabilir veya yanlış bilgiler üretebilir, bu da kritik görevler için insan doğrulaması gerektirir.

Model, aynı zamanda eğitim verilerinde bulunan önyargıları yansıtarak, taraflı yorumlara yol açabilir veya stereotipleri pekiştirebilir. Bu, demografik çıkarım veya içerik moderasyonu gibi tarafsızlığın kritik olduğu hassas uygulamalarda bir endişe kaynağıdır.

OpenAI Sora

Sora, OpenAI tarafından oluşturulan metinden videoya bir modeldir. Kullanıcı istemlerinden kısa video klipleri oluşturur ve mevcut videoları da uzatabilir. Temel teknolojisi, DALL-E 3 modelinin bir uyarlamasıdır.

Sora, bir Transformer kullanan bir gürültü giderme gizli difüzyon modeli olan bir difüzyon dönüştürücüdür. Videolar başlangıçta 3D "yamaları" gürültüsüzleştirerek gizli bir uzayda oluşturulur, ardından bir video sıkıştırıcı kullanılarak standart uzaya dönüştürülür.

Eğitim sürecini geliştirmek için yeniden altyazılandırma kullanılır; bu süreçte bir video-metin modeli videolar için detaylı altyazılar oluşturur.

En son gelişmelerle, kullanıcılar artık 1080p çözünürlüğe kadar, maksimum 20 saniye süre ve geniş ekran, dikey veya kare en boy oranlarında videolar oluşturabilir. Ayrıca mevcut içeriği uzatmak, yeniden karıştırmak ve harmanlamak veya metin istemlerinden yeni videolar oluşturmak için varlıklarını dahil edebilirler.

Şekil 1: İstem kullanılarak Sora'nın video oluşturma örneği: “Açık bir çölde yün mamut ailesinin geniş, sakin bir çekimi”.¹

Landing AI LandingLens

LandingLens, bilgisayarlı görü modellerinin geliştirilmesini ve dağıtımını basitleştirir. Derin AI veya karmaşık programlama uzmanlığı gerektirmeden çeşitli endüstrilere hitap eder.

Platform, derin öğrenme çözümlerini standartlaştırır, geliştirme süresini azaltır ve projelerin küresel ölçekte kolay ölçeklenmesini sağlar. Üretim hızını etkilemeden kullanıcılar kendi derin öğrenme modellerini oluşturabilir ve inceleme doğruluğunu optimize edebilir.

Geliştirme sürecini basitleştiren adım adım bir kullanıcı arabirimi sunar.

Şekil 2: Şema, LandingLens AI iş akışını gösterir; giriş görüntüleri veriye işlenir, modelleri eğitmek için kullanılır, bulut, kenar veya Docker üzerinden dağıtılır ve geri bildirim yoluyla sürekli iyileştirilir.²

Stable Diffusion

Stable Diffusion, metinsel açıklamalardan yüksek kaliteli görüntüler oluşturmak için tasarlanmış bir derin öğrenme modelidir:

• Stable Diffusion difüzyona dayanır. Süreç, bir görüntüye rastgele gürültü eklenmesiyle başlar ve model daha sonra bu gürültüyü tersine çevirerek orijinali yeniden inşa etmeyi öğrenir.
• Bu süreç, modelin net, tutarlı bir görüntü ortaya çıkana kadar çoklu adımlar boyunca gürültülü girişi iyileştirerek tamamen yeni görüntüler oluşturmasını sağlar.

Stable Diffusion, verimliliği artırmak için bir gizli difüzyon modeli kullanır. Yüksek çözünürlüklü görüntülerle doğrudan çalışmak yerine, bunları önce bir varyasyonel otomatik kodlayıcı (VAE) kullanarak daha düşük boyutlu bir gizli uzaya sıkıştırır.

Bu yaklaşım, hesaplama gereksinimlerini önemli ölçüde azaltarak, GPU'lu tüketici donanımında çalışılmasını sağlar.

Uygulamalar:

Metinden görüntü oluşturmaya ek olarak, Stable Diffusion şu gibi çeşitli yaratıcı görevler için kullanılabilir:

• Inpainting: Bir görüntünün eksik kısımlarını onarma veya doldurma.
• Outpainting: Daha fazla içerik eklemek için bir görüntünün kenarlarını genişletme.
• Görüntüden Görüntüye Çeviri: Mevcut bir görüntüyü farklı bir stile dönüştürme veya metin girdisine dayalı olarak görünümünü değiştirme.

Midjourney

Midjourney, metin açıklamalarını yüksek kaliteli görüntülere dönüştüren bir sanat oluşturucudur.

Yetenekler

Midjourney Sürüm 7, kalite ve işlevsellikte önemli iyileştirmelerle tamamen yeniden inşa edilmiş bir mimariye sahiptir.

Görüntü oluşturma: V7, olağanüstü prompt'lar hassasiyeti ve neredeyse fotorealistik kalite ile 2048 x 2048 pikselde ölçeklenmiş görüntüler üretir. Temel iyileştirmeler arasında daha zengin dokular, eller ve yüzler gibi karmaşık öğelerin doğru işlenmesi ve aydınlatma ile kompozisyonun sofistike anlaşılması yer alır.

Video oluşturma: Yüksek kareler arası tutarlılıkla 5-21 saniyelik video klipler oluşturur. Sistem, yaklaşık üç saatte altı görüntüden yaklaşık 60 saniyelik video oluşturur ve pazarlama, film yapımı ve içerik oluşturma alanlarında profesyonel uygulamaları hedefler.

3D yetenekler: NeRF benzeri modelleme kullanarak metinden 3D oluşturma, hacimsel nesneler ve sürükleyici sahneler oluşturur. Bu özellikler oyun geliştirme, ürün görselleştirme ve mimari uygulamaları destekler.

Şekil 3: Midjourney'in görüntü düzenleme özelliği.³

DeepMind Flamingo

DeepMind'ın Flamingo'su, az sayıda eğitim örneği (az sayıda öğrenme) kullanarak görüntüler ve videoları anlamak ve akıl yürütmek için tasarlanmış bir görü-dil modelidir. İşte bazı temel özellikler:

• Çok modlu az sayıda öğrenme: Flamingo, geleneksel AI modellerinin kapsamlı etiketli veri setleri gerektirmesinin aksine, yalnızca birkaç örnekle yeni görevleri verimli bir şekilde gerçekleştirebilir.
• Perceiver Yeniden Örnekleme Mekanizması: Flamingo, görsel girdileri verimli bir şekilde işlemek için bir "Perceiver Yeniden Örnekleme" kullanır. Görüntü ve video verilerini, büyük önceden eğitilmiş bir dil modeline entegre edilebilecek bir formata sıkıştırır.
• GPT ile Görü-Dil hizalaması: Özel Geçitli Çapraz Dikkat katmanları, Flamingo'nun görsel verileri metinsel akıl yürütme ile hizalamasına ve entegre etmesine yardımcı olur. Bu uygulama, görüntü tabanlı konuşmaları anlamak için önemli olabilir.

Flamingo, videoları kare kare işleyerek ana karelere ayırır ve görsel öğeleri verimli bir şekilde analiz etmek için bilgi çıkarır.

Bağlam farkında yanıtları, videodaki olayların ilerleyişine dayalı altyazılar, açıklamalar ve yanıtlar oluşturarak içeriğin tutarlı bir şekilde anlaşılmasını sağlar.

Ayrıca, Flamingo zaman içinde dizileri, neden-sonuç ilişkilerini ve karmaşık etkileşimleri anlamak için zamansal akıl yürütme sergiler. Bu, onu video analizi ve çok modlu akıl yürütme görevleri için son derece etkili hale getirir.

OpenAI'ın CLIP'i (Karşıt Dil-Görüntü Ön Eğitimi)

CLIP, çeşitli görüntüler ve metin altyazıları üzerinde eğitilmiş bir sinir ağıdır.

Bu model, görüntüleri doğal dil bağlamında anlayarak sıfır-şans sınıflandırma dahil olmak üzere çeşitli görü görevlerini gerçekleştirebilir.

CLIP, bilgisayarlı görü görevleri ile doğal dil işleme arasındaki boşluğu etkili bir şekilde kapatmak için 400 milyon (görüntü, metin) çifti üzerinde eğitilir. Bu, CLIP'in bu belirli görevler için açıkça eğitilmemiş olsa bile altyazı tahminleri veya görüntü özetleri yapmasına yardımcı olur.

Şekil 4: Çeşitli veri setlerinden CLIP tarafından görüntü tanımlama.⁴

Google'ın Görüntü Dönüştürücüsü (ViT)

Görüntü Dönüştürücüsü, doğal dil işlemede orijinal olarak kullanılan dönüştürücü mimarisini görüntü tanıma görevlerine uygular.

Görüntüleri, dönüştürücülerin kelime dizilerini işlediği benzer bir şekilde işler ve sınıflandırma ve analiz görevleri için görüntü verilerinden ilgili özellikleri öğrenmede etkili olduğunu göstermiştir.

Görüntü Dönüştürücüsünde, görüntüler yama dizisi olarak ele alınır. Her yama, metin için dönüştürücülerde kelime gömme kullanıldığı gibi, tek bir vektöre düzleştirilir.

Bu yaklaşım, ViT'nin görüntünün yapısını öğrenmesine ve sınıf etiketlerini bağımsız olarak tahmin etmesine olanak tanır.

Video yerel temel modeller

Video yerel temel modeller, geleneksel bilgisayarlı görü yaklaşımlarından temel bir değişikliği temsil eder. Videoları bağımsız kare dizileri olarak işleyen önceki sistemlerin aksine, bu modeller zamanı görsel verilerin ayrılmaz bir boyutu olarak ele alır.

Temel mimari yenilikler

OpenAI'ın Sora'sı, difüzyon dönüştürücü mimarisi aracılığıyla bu evrimi örneklemektedir:

• 3D mekansal-zamansal yamalar: Video verilerini kare kare değil, bütünsel olarak işler
• Zamansal tutarlılık: Diziler boyunca görsel kaliteyi ve anlatı tutarlılığını korur
• Uzun menzilli bağımlılıklar: Neden-sonuç ilişkilerini ve hareket desenlerini yakalar
• Fizik bilinci oluşturma: Gerçekçi hareketi ve nesne etkileşimlerini anlar

Mevcut uygulamalar

İçerik oluşturma:

• Otomatik video düzenleme ve sahne sentezi
• Zamansal tutarlılıkla stil transferi
• Metin istemlerinden anlatı video oluşturma

Tıbbi görüntüleme:

• Ekokardiyogramlarda kardiyak hareket analizi
• Anjiyografide kan akışı görselleştirme
• Dinamik doku davranışı değerlendirmesi

Güvenlik ve gözetim:

• Aktivite tanıma ve izleme
• Zaman boyunca Anomali tespiti
• Bağlam farkında davranış analizi

Kalan zorluklar

İlerlemeye rağmen, birkaç sınırlama devam etmektedir:

• Hesaplama maliyeti: Uzun form video oluşturma hala kaynak yoğun
• Fiziksel olasılık: Karmaşık senaryolar gerçekdışı fizik üretebilir
• Karakter tutarlılığı: Kimliği uzatılmış dizilerde korumak zordur
• Eğitim gereksinimleri: Açıklamalı büyük ölçekli video veri setleri nadirdir ve pahalıdır

Cihaz üzerinde çıkarım ve kenar optimizasyonu

Kenar dağıtımı, görü modellerinin bulut altyapısına bağımlılığı ortadan kaldırarak akıllı telefonlarda, IoT cihazlarında ve gömülü sistemlerde yerel olarak çalışmasını sağlar.

Neden kenar dağıtımı önemlidir

Gizlilik avantajları:

• Hassas görsel veriler asla cihazdan ayrılmaz
• Tıp, gözetim ve kişisel uygulamalar için kritik
• Veri koruma düzenlemelerine uyum

Performans avantajları:

• Ağ gidiş-dönüşleri olmadan neredeyse sıfır gecikme
• AR ve otonom sistemler için gerçek zamanlı işleme
• Çevrimdışı ortamlarda güvenilir çalışma

Maliyet verimliliği:

• Azaltılmış bant genişliği tüketimi
• Daha düşük bulut bilişim giderleri
• Minimal devam eden operasyonel maliyetler

Model sıkıştırma teknikleri

Büyük görü modellerini kenar cihazlarında uygulanabilir kılmak, sofistike optimizasyon gerektirir:

• Kantizasyon: Hassasiyeti 32 bitlikten 8 bitlik veya 4 bitlik tamsayılara düşürür
  • Daha küçük model boyutu
  • Minimal doğruluk kaybı
• Pruning: Gereksiz parametreleri ve bağlantıları kaldırır
  • Seyrek ağlar oluşturur
  • Daha az hesaplama ile performansı korur
• Bilgi damıtma: Bilgiyi büyük modellerden küçük modellere aktarır

Büyük bir görüntü modeli (LVM) nedir?

Büyük görüntü modelleri (LVM'ler), görüntüler veya videolar gibi görsel verileri işlemek, analiz etmek ve yorumlamak için tasarlanmıştır. Milyonlarca veya milyarlarca parametre sayısıyla karakterize edilirler. Bu, onlara görsel içerikte karmaşık desenleri, özellikleri ve ilişkileri öğrenmelerini sağlar.

Metin için büyük dil modelleri (LLM'ler) gibi, LVM'ler de nesne tanıma, görüntü oluşturma, sahne anlama ve çok modlu akıl yürütme (görsel ve metinsel bilgileri entegre etme) yetenekleriyle donatılmış geniş veri setleri üzerinde eğitilir.

Bu modeller, otonom sürüş, tıbbi görüntüleme, içerik oluşturma ve artırılmış gerçeklik gibi alanlardaki uygulamaları destekleyebilir.

Yapı ve tasarım

Büyük görüntü modelleri, gelişmiş sinir ağı mimarileri kullanılarak inşa edilir. Başlangıçta, Evrişimli Sinir Ağları (CNN'ler), piksel verilerini verimli bir şekilde işleme ve hiyerarşik desenleri algılama yetenekleri nedeniyle görüntü işlemede baskındı.

Son zamanlarda, başlangıçta doğal dil işleme için tasarlanmış dönüştürücü modeller, bazı senaryolarda daha iyi performans sunarak birçok farklı görü görevi için de uyarlanmıştır.

Eğitim

Büyük görü modellerinin eğitimi, onlara internet görüntüleri veya videoları gibi görsel veriler ve ilgili etiketler veya açıklamalar ile birlikte yeni sıralı modelleme yaklaşımında beslenmesini içerir. Eğitmenler, modelleri beslemek için görüntü kütüphanelerini etiketler.

Örneğin, görüntü sınıflandırma görevlerinde, her görüntü ait olduğu sınıf ile etiketlenir. Model, tahminleri ile gerçek etiketler arasındaki farkı en aza indirmek için parametrelerini ayarlayarak öğrenir.

Bu süreç, modelin yeni ve görülmemiş verilere iyi genelleştirebilmesini sağlamak için önemli hesaplama gücü ve büyük, çeşitli bir veri seti gerektirir.

Şekil 3: OpenAI'da büyük görüntü modelleri eğitim şeması.⁵

Görüntü sınıflandırma için eğitim verileri hakkında daha fazla bilgi edinmek için görüntü veri toplama hizmetlerini inceleyin.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

Büyük görüntü modellerinin temel özellikleri

Model Türü bir görü modelinin mimarisine ve tasarım ilkelerine atıfta bulunur. Modelin görsel verileri nasıl işlediğini ve yorumladığını, birden fazla modu (örneğin, metin ve görüntüler) entegre edip etmediğini ve anlamlı temsiller çıkarmak için hangi temel mekanizmaları (örneğin, dönüştürücüler, karşıt öğrenme, difüzyon) kullandığını tanımlar:

• Dönüştürücü Tabanlı Çok Modlu LLM: Dönüştürücüleri çok modlu yeteneklerle birleştiren bir model mimarisi. Hem görsel hem de metinsel girdileri aynı anda anlamayı sağlar. Karmaşık veri türleri arasında karmaşık akıl yürütme gerçekleştirmek için büyük ölçekli veri setleri kullanılarak eğitilir.
• Karşıt Öğrenme: Benzer ve benzer olmayan veri noktaları arasında ayrım yapabilmek için modelleri eğitirken kullanılan bir tekniktir. Bu süreç, ilgili girdilerin benzerliğini en üst düzeye çıkarırken, ilgisiz olanların benzerliğini en aza indirmeyi içerir. Bu, özellik temsilini iyileştirmek için kendinden denetimli öğrenmede sıklıkla kullanılır.
• AI Görü Platformu: Bu sistem, görüntü tanıma, nesne tespiti ve segmentasyon gibi çeşitli bilgisayarlı görü görevleri için altyapı, araçlar ve önceden eğitilmiş modeller sağlar. Genellikle model eğitimi, dağıtımı ve çıkarım yeteneklerini içerir.
• Dönüştürücü: Giriş verilerini işlemek için kendi dikkat mekanizmalarını kullanan bir derin öğrenme mimarisidir. Modellerin uzun menzilli bağımlılıkları yakalamasına olanak tanır, bu da onu doğal dil ve görü ile ilgili görevler için etkili kılar.
• Difüzyon Modeli: Başlangıçtaki gürültülü bir girdiden yavaşça gürültüyü gideren ve net ve yapılandırılmış bir çıktı üretmek için adım adım iyileştiren bir üretken modeldir. Genellikle görüntü oluşturma ve iyileştirme için kullanılır.

Eğitim hedefi: Bir modelin verilerden nasıl öğrendiğini yönlendiren amaç veya optimizasyon fonksiyonu. Modelin belirli görevlerde performansı iyileştirmek için eğitim sırasında iç parametrelerini nasıl ayarladığını belirler. Bunlar, bir sonraki veri noktasını tahmin etmek (otoregresif), benzer/benzer olmayan girdileri ayırt etmek (karşıt öğrenme) veya görüntüleri kategorilere ayırmaktır:

• Otoregresif: Bir modelin daha önce gözlemlenen girdilere dayalı olarak bir dizideki sonraki veri noktasını tahmin ettiği bir eğitim yaklaşımıdır. Bu, dil modellemesinde ve üretken görü modellerinde sıklıkla kullanılır.
• Karşıt Öğrenme: Modelin benzer ve benzer olmayan veri çiftleri arasında ayrım yaparak öğrendiği bir kendinden denetimli öğrenme hedefidir. Açık etiketler olmadan anlamlı temsilleri yakalama yeteneğini iyileştirmeye yardımcı olur.
• Denetimli Öğrenme: Modelin etiketli veriler kullanılarak eğitildiği bir öğrenme paradigmasıdır, yani her girdiye karşılık gelen doğru bir çıktı ilişkilidir. Bu yaklaşım, sınıflandırma ve segmentasyon gibi görevlerde yaygın olarak kullanılır.
• Görüntü Sınıflandırma: Bir modelin görüntüleri görsel özelliklere dayalı olarak önceden tanımlanmış sınıflara kategorize etmeyi öğrendiği belirli bir eğitim hedefidir. Eğitim süreci, sınıflandırma doğruluğunu en üst düzeye çıkarmak için bir kayıp fonksiyonunu optimize etmeyi içerir.
• Gürültü Giderme Difüzyonu: Bir modelin gürültülü girdilerden temiz görüntüleri kurtarmak için eğitildiği bir üretken öğrenme yaklaşımıdır. Bu süreç, görüntü yeniden yapılandırma ve üretimini iyileştirmek için ilerleyici bir gürültü ekleme sürecini tersine çevirmeyi içerir.

İnce Ayar Desteği: Bir modelin, ön eğitim aşamasından bilgiyi koruyarak, daha küçük, alana özgü veri setleri üzerinde eğitilerek belirli görevlere uyarlanabilme yeteneği.

İnce ayar, özelleşmiş uygulamalarda performansı iyileştirmeye yardımcı olur.

Sıfır-şans/Az sayıda öğrenme: Bir modelin az veya hiç görev özel eğitim verisi olmadan görevleri gerçekleştirebilme yeteneği.

Sıfır-şans öğrenme, görülmemiş kategorilerde çıkarım yapmaya olanak tanırken, az sayıda öğrenme, minimum etiketli örneklerle uyarlanmayı sağlar.

Çok Modlu Destek: Bir modelin birden fazla moddan (örneğin, metin, görüntüler, ses) bilgiyi işleyebilme ve entegre edebilme yeteneği.

Açık Kaynak vs. Tescilli: Açık kaynak modellerin kamuya açık kodu ve ağırlıkları vardır, bu da topluluk tarafından değiştirilmesine ve dağıtılmasına olanak tanır,

Tescilli modeller, özel kuruluşlar tarafından sahip olunur ve kontrol edilir, erişimi ve özelleştirmeyi sınırlayabilir.

Kenar Dağıtımı: Bir modelin bulut tabanlı sunuculara güvenmek yerine kenar cihazlarında (örneğin, cep telefonları, IoT cihazları) çalışabilme yeteneği.

Kenar dağıtımı, gecikmeyi azaltmaya, gizliliği artırmaya ve kaynak kısıtlı ortamlarda gerçek zamanlı işlemeyi mümkün kılmaya yardımcı olur.

Büyük görüntü modellerinin kullanım alanları nelerdir?

Sağlık ve tıbbi görüntüleme

• Hastalık teşhisi: Tümörleri, kırıkları veya anormallikleri tespit etmek için röntgen, MR veya BT taramaları gibi tıbbi görüntülerden hastalıkları tespit etme.
• Patoloji: Kanser belirtileri için patolojide doku örneklerini analiz etme.
• Göz Hastalıkları: Retina görüntülerinden hastalıkları teşhis etme.

Otonom araçlar ve robotik

• Navigasyon ve engel tespiti: Otonom araçların ve dronların gerçek zamanlı görsel verileri yorumlayarak navigasyon yapmasına ve engellerden kaçınmasına yardımcı olma.
• Üretimde robotik: Robotların sıralama, montaj ve kalite kontrol görevlerinde yardımcı olması.

Güvenlik ve gözetim

• Aktivite izleme: Olağandışı veya şüpheli davranışları tespit etmek için video akışlarını analiz etme.
• Yüz tanıma: Kimlik doğrulama ve izleme için güvenlik sistemlerinde kullanılır. Örneğin, Amazon Rekognition, Amazon Web Services (AWS) tarafından sunulan bulut tabanlı bir hizmettir ve yüz tespiti ve tanıma, nesne ve sahne tanıma ve metin çıkarma gibi görüntü ve video analiz özellikleri sağlar. Duyguları, yaş aralıklarını ve aktiviteleri analiz edebilir, bu da kişiselleştirme ve güvenlik için yararlı olacaktır.

Amazon Rekognition'ı eylemde görmek için aşağıdaki videoya bakın.⁶

Perakende ve e-ticaret

• Görsel arama: Müşterilerin metin yerine görüntüler kullanarak ürün aramasına olanak tanıma.
• Envanter yönetimi: Görsel tanıma yoluyla envanteri izleme ve yönetmeyi otomatikleştirme.

Tarım

• Hasat izleme ve analizi: Drone veya uydu görüntülerini kullanarak hasat sağlığını ve büyümesini izleme.
• Zararlı tespiti: Hasadı etkileyen zararlıları ve hastalıkları tanımlama.

Çevresel izleme

• Yaban hayatı izleme: Koruma çabalarını desteklemek için yaban hayatını tanımlama ve izleme.
• Arazi kullanımı ve arazi örtüsü analizi: Zaman içinde arazi kullanımı ve bitki örtüsü örtüsündeki değişiklikleri izleme.

İçerik oluşturma ve eğlence

• Film ve video düzenleme: Video düzenleme ve post-prodüksiyon süreçlerini otomatikleştirme.
• Oyun geliştirme: Gerçekçi ortam ve karakter oluşturmayı geliştirme.
• Fotoğraf ve video iyileştirme: Görüntü ve videoların kalitesini artırma.
• İçerik moderasyonu: Uygun olmayan veya zararlı görsel içeriği otomatik olarak tespit etme ve işaretleme.

Büyük görüntü modellerinin zorlukları nelerdir?

Hesaplama kaynakları

Bu modelleri eğitmek ve dağıtmak, önemli hesaplama gücü ve bellek gerektirir, bu da onları kaynak yoğun hale getirebilir.

Veri gereksinimleri

Eğitim için geniş ve çeşitli veri setlerine ihtiyaç duyarlar. Böyle büyük veri setlerini toplamak, etiketlemek ve işlemek zor ve pahalı olabilir. Ancak, kitle kaynaklı şirketler bunu ele almaya yardımcı olabilir.

Önyargı ve adalet

Modeller, eğitim verilerinde bulunan önyargıları miras alabilir, bu da yüz tanıma gibi hassas uygulamalarda haksız veya etik olmayan sonuçlara yol açabilir.

Yorumlanabilirlik ve açıklanabilirlik

Bu modellerin kararları nasıl aldığını anlamak zor olabilir, bu da şeffaflığın kritik olduğu uygulamalarla ilgili endişeler yaratır. Bu sürecin nasıl çalıştığını ve AI etiğine nasıl hizmet ettiğini öğrenmek için açıklanabilir AI'yı inceleyin.

Genelleştirme

Eğitim setlerine benzer verilerde iyi performans gösterirken, tamamen yeni veya farklı veri türlerinde zorlanabilirler.

Gizlilik endişeleri

Özellikle gözetim ve yüz tanıma alanında büyük görsel modellerin kullanımı, önemli gizlilik endişelerini gündeme getirir.

Düzenleyici ve etik zorluklar

Bu modellerin yasal ve etik standartlara uyumunu sağlamak, özellikle topluma daha fazla entegre oldukları için giderek daha önemlidir.

Nesne tespit benchmark metodolojisi

Bu benchmark'ta, YOLOv8n, DETR (DEtection TRansformer) ve GPT-4o Vision nesne tespit modellerinin performansları COCO 2017 doğrulama veri setinde karşılaştırıldı. Karşılaştırma için model başına 1000 görüntü kullanıldı. Tüm görüntüler, modeller arasında tutarlı giriş boyutları sağlamak için 800×800 piksele yeniden boyutlandırıldı.

YOLOv8n modeli, Ultralytics deposundan önceden eğitilmiş ağırlıklarla (yolov8n.pt) yüklendi ve çıkarım, Ultralytics YOLO API aracılığıyla predict() metodu kullanılarak gerçekleştirildi. DETR modeli, Facebook Research kütüphanesinden detr_resnet50 mimarisiyle yüklendi ve çıktıları, orijinal olarak [center_x, center_y, width, height] formatında normalize edildi, yeniden ölçeklendirildi ve [x1, y1, x2, y2] koordinat formatına dönüştürüldü. Her iki modelin sonuçlarına 0.5 güven eşiği uygulandı.

GPT-4o Vision modeli, nesne tespit yetenekleri için OpenAI'ın API'si kullanılarak değerlendirildi. Bu model için, COCO doğrulama veri setinden görüntüler indirildi, açıklamalar yüklendi ve her görüntü, API'ye gönderilmeden önce uygun formata (800×800 piksele yeniden boyutlandırıldı) dönüştürüldü. Sadece COCO sınıflarına ait tespitler JSON formatında istendi ve API tarafından döndürülen tahminler aynı güven eşiği (0.5) ve koordinat formatı kullanılarak değerlendirildi.

Değerlendirmede, modellerin tahmin edilen sınırlayıcı kutuları, Intersection over Union (IoU) hesaplayarak gerçek değer kutularıyla karşılaştırıldı; IoU ≥ 0.5, doğru pozitif eşleşme olarak kabul edildi. Her sınıf için Ortalama Hassasiyet (AP) hesaplandı ve tüm sınıfların ortalaması mAP@0.5 metriği olarak raporlandı. Doğruluğun yanı sıra, çıkarım süreleri ölçüldü ve karşılaştırıldı. Ayrıca, model karmaşıklığı FLOPs ve toplam parametre sayılarına göre analiz edildi.

Adil bir karşılaştırma sağlamak amacıyla, tüm model çıkarımları aynı donanımda (aynı GPU/CPU) gerçekleştirildi. Tüm görüntülerin 800×800 piksele yeniden boyutlandırılması ve gerekli normalizasyonun uygulanması gibi aynı ön işleme adımları tüm modellere uygulandı. Son işleme için, tahminler aynı koordinat formatına dönüştürüldü, 0.5 güven eşiği tutarlı bir şekilde uygulandı ve değerlendirme sırasında tutarlı IoU hesaplama kriterleri benimsendi.

Bu çerçeve içinde, YOLOv8n, DETR ve GPT-4o Vision modeli nesne tespit performansı ve hızı açısından karşılaştırıldı; GPT-4o Vision'ın yeteneklerini mevcut nesne tespit modellerine karşı benchmarklamak için ek ayarlamalar ve yöntemler kullanıldı.

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Ermut, Sıla},
  title  = {{Büyük Görüntü Modellerini Karşılaştırın: GPT-4o vs YOLOv8n}},
  year   = {2026},
  month  = apr,
  howpublished    = {\url{https://aimultiple.com/large-vision-models}},
  note   = {AIMultiple. Erişim tarihi: 24 Nisan 2026}
}

Referans Linkleri

1.

Sora is here | OpenAI

2.

LandingLens: Deep-Learning Computer Vision Software Platform - LandingAI

LandingAI

3.

How to use Midjourney | Zapier

Zapier

4.

CLIP: Connecting text and images | OpenAI

5.

CLIP: Connecting text and images | OpenAI

6.

Image recognition software, ML image analysis, and video analysis – Amazon Rekognition – AWS

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple'da baş analist olarak görev yapmaktadır. AIMultiple, her ay Fortune 500 şirketlerinin %55'i de dahil olmak üzere yüz binlerce işletmeye (benzer Web'e göre) bilgi sağlamaktadır. Cem'in çalışmaları, Business Insider, Forbes, Washington Post gibi önde gelen küresel yayınlar, Deloitte, HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslararası kuruluşlar tarafından alıntılanmıştır. AIMultiple'ı referans gösteren daha fazla saygın şirket ve kaynağı görebilirsiniz. Kariyeri boyunca Cem, teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yapmıştır. On yıldan fazla bir süre McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararları konusunda danışmanlık yapmıştır. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayınlamıştır. Bir telekom şirketinin CEO'suna bağlı olarak teknoloji stratejisi ve tedarikini yönetmiştir. Ayrıca, 2 yıl içinde sıfırdan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetmiştir. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınlarında yer aldı. Cem düzenli olarak uluslararası teknoloji konferanslarında konuşmacı olarak yer almaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisliği diplomasına ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Araştıran

Sıla Ermut

Sektör Analisti

Takip Et

Sıla Ermut, AIMultiple'da e-posta pazarlama ve satış videoları üzerine odaklanan bir sektör analistidir. Daha önce proje yönetimi ve danışmanlık firmalarında işe alım uzmanı olarak çalışmıştır. Sıla, Sosyal Psikoloji alanında Yüksek Lisans ve Uluslararası İlişkiler alanında Lisans derecesine sahiptir.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder