Büyük Çok Modlu Modeller (LMM'ler) ve LLM'ler

Büyük Çok Modlu Modellerin (LMM'ler) finansal akıl yürütme görevlerindeki performansını, dikkatle seçilmiş bir dataset kullanarak değerlendirdik. Yüksek kaliteli finansal örneklerden oluşan bir alt kümeyi analiz ederek, modellerin finansal alanda çok modlu verileri işleme ve bunlar üzerinden akıl yürütme yeteneklerini değerlendiriyoruz.

metodoloji bölümü, kullanılan dataset ve değerlendirme framework'ü hakkında ayrıntılı bilgiler sunmaktadır.

Büyük çok modlu modelleri keşfedin ve onları büyük dil modelleri ile karşılaştırın.

Modeller neden farklı performans gösterdi?

Başarı oranlarındaki varyasyon, her modelin çok modlu finansal görevleri işleme biçimindeki farklılıkları yansıtmaktadır. Benchmark, metin ile grafikler ve yapılandırılmış belgeler gibi finansal görsellerin entegrasyonunu gerektiren FinMME dataset'inden örnekler kullandığından, performans büyük ölçüde modelin mimarisine, eğitim kalitesine ve çok modlu hizalamasına bağlıdır.

Model mimarisi ve parametre tasarımı

Modeller; metin ve görüntü kodlayıcılarını nasıl birleştirdikleri, aktif parametre sayısı ve uzman yönlendirmelerinin karmaşıklığı açısından farklılık gösterir.

• Llama 4 Maverick, örneğin, daha güçlü akıl yürütme sağlayan daha büyük bir uzman tabanlı tasarım kullanır.
• Daha küçük veya verimlilik odaklı modeller, çok modlu akıl yürütme ile hizalanmış daha az parametreye sahiptir ve bu da performansı sınırlar.

Bu mimari ayrımlar, her modelin sayısal ilişkileri, grafik yapılarını ve alana özgü görselleri ne kadar iyi yorumlayabildiğini etkiler.

Eğitim verisi kapsamı

Bazı modeller kapsamlı çok modlu dataset'ler üzerinde eğitilirken, diğerleri öncelikle genel amaçlı verilere dayanır.

• Claude 4 ve Qwen 2.5 ailelerindeki modeller, büyük ölçekli görsel ve metin verilerini bünyesinde barındırarak sayısal ve görsel ipuçlarını hizalama yeteneklerini geliştirir.
• Daha sınırlı çok modlu korpuslar üzerinde eğitilen modeller, finansal grafikler ve yapılandırılmış diyagramlarla zorluk yaşar.

Eğitim verileri, bir modelin çapraz modlu finansal kavramları ne kadar güvenilir bir şekilde yönettiğini doğrudan etkiler.

Çapraz modlu akıl yürütme için fine-tuning

Benchmark, görüntü yorumlama ile metin tabanlı akıl yürütme arasında koordinasyon gerektirir.

• Claude 4 modelleri, grafikler ve diyagramlar içeren görevlerde güçlü olarak tanımlanmaktadır.
• Özel çapraz modlu fine-tuning yapılmamış modeller, görsel özellikleri doğru tespit edebilir ancak bunları finansal dile veya mantığa bağlarken yetersiz kalabilir.

Bir modelin fine-tuning stratejisi, analiz sırasında metinsel ve görsel sinyalleri birleştirme yeteneğini etkiler.

Bağlam yönetme kapasitesi

Finansal örnekler genellikle çok parçalı grafikler veya uzun açıklamalar gibi birlikte okunması gereken birden fazla unsur içerir.

• Daha geniş bağlam pencerelerine sahip modeller, uzun girdiler arasındaki ilişkileri koruyabilir.
• Daha kısıtlı modeller bağımlılıkları kaçırabilir ve birden fazla görsel ve metinsel bileşenin takibini gerektiren görevlerde doğruluğu azaltabilir.

Bağlam penceresi boyutu, bir modelin nicel ve görsel detaylar arasındaki hizalamayı ne kadar iyi koruduğunu etkiler.

Model boyutu ve verimlilik öncelikleri

Bazı modeller, yüksek karmaşıklıkta akıl yürütme yerine bilinçli olarak hafif dağıtım için tasarlanmıştır.

• Phi-4 multimodal ve benzeri modeller verimliliğe öncelik vererek çok modlu işlemenin derinliğini sınırlar.
• Daha büyük modeller, ince taneli grafik anlayışı gerektiren akıl yürütme görevleri için daha yüksek kapasiteyi korur.

Bu ödünleşim, daha küçük modeller için daha düşük puanlarla sonuçlanır.

Görsel anlayıştaki farklılıklar

Değerlendirme; doğru grafik okuma, finansal belgeler içinde nesne tanımlama ve görsel detayların çıkarılmasını gerektiren görevleri içerir.

• Qwen 2.5-VL varyantları gibi gelişmiş görsel pipeline'lara sahip modeller, bu görevleri daha etkili bir şekilde yönetir.
• Diğerleri genel görüntüleri iyi yönetebilir ancak yapılandırılmış finansal görsellerle tutarsız performans gösterebilir.

Görsel akıl yürütme gücü, FinMME tarzı örneklerdeki sonuçları güçlü bir şekilde etkiler.

Değerlendirme dataset'inin özellikleri

Dataset, genel amaçlı görevlerden ziyade çok modlu finansal akıl yürütmeye odaklanır.

• Finansal, sayısal veya grafik tabanlı görevler için eğitilmiş veya fine-tune edilmiş modeller daha iyi performans gösterir.
• Alan deneyimi olmayan genel amaçlı modeller, finansal dataset'lerde daha düşük hassasiyet sergiler.

Dataset uzmanlaşması, performansı çapraz modlu akıl yürütme kalitesine karşı daha hassas hale getirir.

Açık kaynaklı büyük çok modlu modeller nedir?

GitHub yıldız sayılarıyla birlikte açık kaynaklı LMM'ler:

Grafik, çeşitli açık kaynaklı LMM'lerin GitHub popülerliğinin arttığını ve bazı modellerin yayınlandıktan kısa bir süre sonra hızlı bir benimsenme yaşadığını göstermektedir.

DeepSeek tarafından geliştirilen Janus-Serisi, 27 Ocak 2025'te Janus-Pro'nun yayınlanmasının ardından günler içinde binlerce GitHub yıldızı kazanarak, benzer sayılara ulaşması aylar süren rakiplerini geride bıraktı. Bu hızlı yükseliş sadece Janus-Pro'nun başarısından değil, aynı zamanda DeepSeek-R1 tarafından yaratılan ivmeden de etkilenmiştir.

1. Gemma 3 (Google): Gemma 3, Gemini 2.0 teknolojisinden türetilmiş, hafif, son teknoloji açık modellerden oluşan bir ailedir. Bu modeller gelişmiş metin ve görsel akıl yürütme yetenekleri, 128k-token bağlam penceresi, fonksiyon çağırma desteği ve optimize edilmiş performans için kuantize edilmiş versiyonlar sunar. Görüntü güvenliği için ShieldGemma 2'yi içerir ve çeşitli araçlar ile dağıtım seçeneklerini destekler.¹
2. Janus-Pro (DeepSeek:) Janus-Pro, hem metin hem de görüntüleri anlamak ve oluşturmak için tasarlanmış Janus modelinin gelişmiş bir versiyonudur. Optimize edilmiş bir eğitim stratejisi, genişletilmiş eğitim verileri ve daha büyük bir model boyutu ile çok modlu yeteneklerini artırır.²
3. Qwen2.5-VL (Alibaba): Alibaba tarafından geliştirilen Qwen2.5-VL, hem metin hem de görüntü anlayışı için tasarlanmış Qwen2.5 dil modelinin çok modlu bir uzantısıdır. Büyük ölçekli ön eğitim (18T token'a kadar), genişletilmiş bir bağlam penceresi (128K token'a kadar), geliştirilmiş talimat takibi ve güçlü çok dilli destek sunarak onu görüntü altyazı oluşturma ve görsel soru yanıtlama gibi görevler için uygun hale getirir. ³
   • Qwen2.5-VL serisinin üzerine inşa eden Alibaba, geliştirilmiş ince taneli görüntü anlayışı ve akıl yürütme içeren 32B VL model olan Qwen2.5-VL-32B-Instruct'ı optimize etti ve açık kaynaklı hale getirdi. Bu, görüntü ayrıştırma, içerik tanıma ve görsel mantık çıkarımı gibi görevlerde geliştirilmiş performans ve ayrıntılı analizle sonuçlanır.⁴
4. CLIP (Contrastive Language–Image Pretraining) (OpenAI): CLIP, görüntüleri doğal dil bağlamında anlamak için tasarlanmıştır. Metin açıklamalarını anlayarak, açıkça eğitilmediği kategorilerde bile görüntüleri doğru şekilde sınıflandırabildiği zero-shot görüntü sınıflandırma gibi görevleri gerçekleştirebilir.⁵
   • Qwen2.5-VL serisinin üzerine inşa eden Alibaba, geliştirilmiş ince taneli görüntü anlayışı ve akıl yürütme içeren 32B VL model olan Qwen2.5-VL-32B-Instruct'ı optimize etti ve açık kaynaklı hale getirdi. Bu, görüntü ayrıştırma, içerik tanıma ve görsel mantık çıkarımı gibi görevlerde geliştirilmiş performans ve ayrıntılı analizle sonuçlanır.⁶
5. Flamingo (DeepMind): Flamingo, hem dil hem de görsel anlayışın güçlü yönlerinden yararlanmak için tasarlanmıştır, bu da onu hem metin hem de görüntülerden gelen bilgileri yorumlama ve entegre etme gerektiren görevleri gerçekleştirme yeteneğiyle donatır.⁷

Şekil 1: Chip Huyen'den alınmış bir örnek⁸

Önde gelen LMM'ler nelerdir?

Genel amaçlı LLM'ler UI ve API özellikleri

Satıcılar; karşılaştırılabilirlik, veri kullanılabilirliği ve güncellik temelinde en popüler çok modlu LLM'ler arasından seçilmiştir.

Token başına fiyatlarıyla LMM'ler:

En uygun modeli seçmek için bütçeniz, gereken yetenekler ve performans seviyesi ile özel kullanım durumunuz için ihtiyaç duyulan tahmini girdi/çıktı token hacmi gibi faktörleri göz önünde bulundurun.

LLM fiyatlandırması hakkında daha fazlasını okuyun.

Çok modlu modellerdeki son gelişmeler nelerdir?

Çok modlu modellerdeki son gelişmeler, yapay zeka geliştirmede yeni yetenekler ve verimlilikler getirmiştir.

Video öncelikli çok modlu temel modeller

Video öncelikli çok modlu temel modeller, üst düzey altyazılar veya özetler oluşturmanın ötesine geçerek, videolar içindeki kanıtları açıkça yerelleştirmeyi öğrenmektedir.

Sadece ne olduğunu söylemek yerine, bunun ne zaman olduğunu (zaman damgaları) ve nerede olduğunu (nesneler veya bölgeler etrafındaki sınırlayıcı kutular) tanımlayabilirler.

Spatio-temporal grounding'e (uzamsal-zamansal temellendirme) doğru gerçekleşen bu kayma, video anlayışını daha kesin ve doğrulanabilir hale getirir. Ayrıca kesin anları bulma, nesneleri zaman içinde takip etme, videoları doğal dil kullanarak düzenleme ve robotik ile güvenlik açısından kritik sistemleri destekleme gibi görevleri mümkün kılar.

Örneğin, Vidi⁹ , ByteDance tarafından geliştirilen ve video anlayışı ile düzenleme için büyük çok modlu modellere odaklanan açık kaynaklı bir projedir.

Repo, şu görevleri gerçekleştirmek için görüntü, ses ve metni girdi olarak alan bir model ailesi (örneğin, Vidi-7B, Vidi1.5-9B, Vidi2 ve Vidi2.5) için kod ve kaynakları barındırır:

• Zamansal geri çağırma (bir videoda metin sorgusuyla eşleşen zaman dilimlerini bulma)
• Spatio-temporal grounding (nesneleri zaman içinde sınırlayıcı kutularla tam olarak belirleme)
• Video soru yanıtlama

Mistral 3 çok modlu öncü sürüm

Mistral AI, Mistral 3 adı verilen yeni bir açık kaynaklı yapay zeka model ailesi geliştirdi. Mistral 3 paketi, hem öncü düzeyde çok modlu/çok dilli modelleri hem de buluttan uç birimlere ve hatta tekil GPU'lara kadar çeşitli cihazlarda çalışacak şekilde tasarlanmış daha küçük, verimli modelleri içerir.

İzin verici bir açık kaynak lisansı (Apache 2.0) altında yayınlanan bu modeller, gelişmiş yapay zekaya erişimi demokratikleştirmeyi, özelleştirme ve dağıtım esnekliği sağlamayı ve ABD ile Çin'in cutting-edge teknolojilerde gerisinde kalma endişelerinin olduğu Avrupa'nın yapay zeka geliştirmedeki konumunu güçlendirmeyi amaçlamaktadır.¹⁰

Açık kaynaklı MoE görüntü-dil modelleri

Kimi-VL (Moonshot AI'dan), Mixture-of-Experts (MoE) mimarisiyle oluşturulmuş, hesaplamayı verimli tutarken metin, görüntü ve videoyu birleştiren görevlerde performans gösteren açık kaynaklı bir çok modlu görüntü-dil modelidir.

Toplam 16 B parametreli bir omurgaya sahiptir ancak inference sırasında genellikle yalnızca ~2.8 B parametreyi etkinleştirir, bu da yetenek ile maliyet arasındaki dengeyi kurmaya yardımcı olur.

Kimi-VL; gelişmiş çok modlu akıl yürütme, uzun bağlam anlayışı (yaklaşık 128 K token'a kadar) ve ajan tarzı etkileşimler için tasarlanmıştır; video anlayışı, optik karakter tanıma (OCR), matematiksel akıl yürütme ve çoklu görüntü görevleri gibi benchmark'larda daha büyük modellerle iyi bir şekilde rekabet eder.

Kimi-VL-A3B-Thinking gibi varyantlar, chain-of-thought ve akıl yürütme görevleri için daha fazla fine-tune edilmiştir; MoonViT görsel kodlayıcı ise yüksek çözünürlüklü girdi anlayışını destekler.

Şekil 2: Kimi-VL mimari tasarımı.¹¹

Anthropic’in Claude 4 Serisi

Anthropic’in Claude 4 serisi, gelişmiş görsel anlayışı metin tabanlı akıl yürütme motoruyla entegre ederek görüntüyü doğrudan problem çözme iş akışlarına yerleştirir.

Claude 4 modelleri, MMMU gibi çok modlu akıl yürütme benchmark'larında, özellikle grafiklerin, diyagramların ve karmaşık görsel verilerin yorumlanmasında güçlü performans sergiler. Claude Opus 4.1'in ayırt edici özelliği, görüntülerdeki estetik nitelikleri değerlendirebilme yeteneğidir ve bu yetenek tanıma işleminin ötesine geçerek daha nüanslı değerlendirmelere uzanır.

Bu yetenekler, Claude’un agentic fonksiyonlarıyla birleştiğinde, seriyi karışık metin ve görseller içeren raporlardan araştırmaları sentezleme veya görsel maketlerin analizi yoluyla arayüz tasarımına yardımcı olma gibi görevler için etkili kılar.

Google’ın Gemini 3'ü

Google, Kasım 2025'te Gemini 3'ü yayınladı; Gemini 3 Pro hemen erişime açılırken, Gemini 3 Deep Think modu kısa bir süre sonra Google AI Ultra abonelerine sunuldu. Gemini 3, Google tarafından tek bir mimari içinde metin, görüntü, video, ses ve kod için yerel desteğe sahip, en zeki ve en yetenekli çok modlu modeli olarak konumlandırılmıştır.

Gemini 3 Pro, 1 milyon token'lık bir bağlam penceresiyle gelir ve MMMU-Pro'da %81 ve Video-MMMU'da %87.6 dahil olmak üzere çok modlu benchmark'larda güçlü sonuçlar elde eder. Yayınlandığında 1501 Elo puanı ile LMArena Leaderboard'un zirvesine yerleşmiş, lisansüstü düzeyde akıl yürütme için GPQA Diamond'da %91.9 ve agentic kodlama görevleri için SWE-bench Verified'da %76.2 puan almıştır.

Gemini 3 Deep Think, en zorlu görevlerde performansı daha da artıran gelişmiş bir akıl yürütme modudur; Humanity’s Last Exam'de (araçlar olmadan) %41.0 ve ARC-AGI-2'de %45.1 puan almıştır. Gemini 3'ün yanı sıra Google, Gemini 3'ü tarayıcı kontrolü için Gemini 2.5 Computer Use modeli ve Nano Banana görüntü düzenleme modeliyle eşleştiren, modelin görevleri otonom olarak planlayabildiği, kodlayabildiği ve doğrulayabildiği uçtan uca yazılım geliştirme iş akışlarını mümkün kılan agentic bir geliştirme platformu olan Google Antigravity'yi de yayınladı.¹²

GPT-5 (OpenAI)

GPT-5, metin, ses, görüntü ve video genelinde geliştirilmiş yerel çok modluluk sunar. Büyük ölçüde eklentilere dayanan önceki sistemlerin aksine, GPT-5 bu modaliteleri birleşik bir mimari içinde entegre ederek daha sorunsuz bir etkileşim sağlar. Model, çeşitli girdi türlerine esnek bir şekilde uyum sağlar ve bunlar arasında geçiş yapabilir.

Dikkat çeken özelliklerden biri, kullanıcı talimatlarına göre tonu, hızı ve stili ayarlayabilen Gerçek Zamanlı Ses Modu'dur. Bu, daha doğal ve uyarlanabilir bir konuşma deneyimi yaratır. Görsel işleme de geliştirilerek görüntülerin, diyagramların ve grafiklerin yorumlanmasında veya oluşturulmasında halüsinasyonlar azaltılmıştır. Bir diğer ilerleme ise sistemin önceki girdileri hatırlamasını ve uzun etkileşimler boyunca bağlamı korumasını sağlayan bellek yeteneklerindedir.

Bu iyileştirmeler, GPT-5'i özellikle duyusal bozuklukları olan bireyler için erişilebilir çok modlu arayüzler açısından değerli kılar.

Google DeepMind’ın robotik odaklı çok modlu modelleri

Google DeepMind, robotik sistemler içinde görüntü, dil ve eylemi entegre etmek için tasarlanmış modeller olan Gemini Robotics ve Gemini Robotics-ER'i geliştirmiştir. Bu modeller, robotların kağıt katlamak veya şişe kapaklarını açmak gibi yapılandırılmamış ortamlarda görevler gerçekleştirmesini sağlar.

Bu modellerin temel özelliği güvenlik mekanizmalarıdır. Eylemleri gerçekleştirmeden önce sistem, riskleri en aza indirmek ve görevlerin uygun şekilde yürütülmesini sağlamak için yerleşik kontroller yapar. Bu yaklaşım, robotiğin en önemli zorluklarından birini çözer: gelişmiş yapay zeka akıl yürütmesini, güvenli ve güvenilir gerçek dünya uygulamalarıyla birleştirmek.

Llama 4 Scout ve Llama 4 Maverick (Meta AI)

Llama 4 Scout, 17 milyar aktif parametreye ve 16 uzmana sahip çok modlu bir modeldir. Bu model, önceki nesil Llama modellerinden daha iyi performans gösterir ve tek bir H100 GPU üzerinde çalışacak şekilde tasarlanmıştır. Büyük miktarda bilgiyi işlemek için 10 milyon token'lık bir bağlam penceresine sahiptir. Benchmark sonuçları, Llama 4 Scout'un yaygın olarak rapor edilen bir dizi benchmark'ta Gemma 3, Gemini 2.0 Flash-Lite ve Mistral 3.1'den daha iyi sonuçlar elde ettiğini göstermektedir.

Llama 4 Maverick, 17 milyar aktif parametreye ve 128 uzmana sahip çok modlu bir modeldir. Bu model, bir dizi benchmark'ta GPT-4o ve Gemini 2.0 Flash'ı geride bırakarak sınıfının en iyi performans gösterenlerinden biri olarak sunulmaktadır. Akıl yürütme ve kodlamada DeepSeek v3 ile karşılaştırılabilir performans sergilerken daha az aktif parametre kullanır. Llama 4 Maverick'in deneysel bir sohbet versiyonu, LMArena platformunda 1417 ELO puanı elde etmiştir.

OpenAI tarafından 4o Görüntü Oluşturma

OpenAI’nin GPT-4o içine yerleştirilmiş en yeni görüntü oluşturma modeli, metin ve görsel oluşturmayı birleşik bir sisteme entegre eder. Bu çok modlu yetenek, GPT-4'ün metin tabanlı bilgisinden ve sohbet bağlamından yararlanarak görüntüler oluşturmasını sağlar ve dil ile görseller arasında bir etkileşim yaratır.

Çok turlu oluşturma sayesinde kullanıcılar, aşağıdaki şekillerde gösterildiği gibi, görüntüleri konuşma yoluyla geliştirebilirler. Model, tutarlılığı korumak için önceki metin girdilerini ve yüklenen görüntüleri temel alır. Kullanıcı tarafından sağlanan görselleri analiz ederek ve bağlam içinde öğrenerek GPT-4o belirli detaylara uyum sağlar ve bağlama duyarlı imgeler üretme yeteneğini artırır.

Şekil 3: Referanslar kullanarak bir çizim oluşturulması için prompt verme ve görüntü için metin özellikleri hakkında talimat verme.

Şekil 4: Çizimden bir fotoğraf oluşturulması için prompt verme ve onu bir sahneye yerleştirme.¹³

Alibaba tarafından Qwen3-VL

Alibaba'nın Eylül 2025'ten itibaren yayınlanan Qwen3-VL serisi, daha derin görsel algı ve akıl yürütme yetenekleri ekleyerek Qwen3 dil modelinin üzerine inşa edilmiştir. Aile, 2B'den 32B parametreye kadar yoğun varyantlar ve toplam 235B parametreye (22B aktif) kadar Mixture-of-Experts varyantları içerir ve tamamı Apache 2.0 lisansı altında yayınlanmıştır.

Temel özellikler arasında 256K yerel bağlam penceresi (1 milyon token'a kadar genişletilebilir), 32 dilde genişletilmiş çok dilli OCR, uzamsal akıl yürütme ve embodied AI için 2D ve 3D nesne temellendirme, saniye düzeyinde indeksleme ile saatlerce süren video anlayışı ve GUI kontrolü için görsel ajan yetenekleri yer alır.

Thinking varyantları STEM ve çok modlu akıl yürütme için optimize edilmişken, Instruct varyantları belge ayrıştırma, grafik çıkarma ve görsel soru yanıtlama gibi genel görüntü-dil görevlerini hedefler.

Gemma 3 (Google)

Google’ın Gemma 3'ü, Gemini 2.0 modellerinden gelen teknoloji üzerine inşa edilmiştir. Farklı donanım gereksinimleri için dört boyutta (1B, 4B, 12B ve 27B) sunulur ve 128k-token bağlam penceresi sağlar. Gemma 3, tek hızlandırıcı kurulumlarında iyi performans gösterir; metin ve görsel akıl yürütme, fonksiyon çağırma ve 140'tan fazlası için ön eğitim yapılmış 35'ten fazla dil desteğini içerir. Kuantize edilmiş versiyonlar model boyutunu ve hesaplama ihtiyaçlarını azaltır. ShieldGemma 2 sistemi içerik güvenliği sınıflandırması sağlar.

Phi-4-multimodal (Microsoft)

Microsoft’un Phi-4-multimodal'ı, konuşmayı, görüntüyü ve metni birleşik bir mimaride işleyen 5.6B parametreli bir modeldir. Farklı girdi türleri arasında bağlama duyarlı etkileşimler için çapraz modlu öğrenmeyi kullanır. Model, ayrı işleme sistemlerine ihtiyaç duymadan birden fazla girdi formatını yönetir ve cihaz dağıtımı ile uç bilişim için tasarlanmıştır. Uygulamalar arasında akıllı telefon yapay zekası, otomotiv sistemleri ve çok dilli hizmetler yer alır.

Büyük çok modlu model (LMM) nedir?

Büyük bir çok modlu model, birden fazla veri modalitesini işleyebilen ve anlayabilen gelişmiş bir yapay zeka model türüdür. Bu çok modlu veriler metin, görüntü, ses, video ve potansiyel olarak diğerlerini içerebilir. Çok modlu bir modelin temel özelliği, bu farklı veri kaynaklarından gelen bilgileri genellikle eş zamanlı olarak entegre etme ve yorumlama yeteneğidir.

Bunlar, metinle çalışabilen ve aynı zamanda çeşitli veri türleri üzerinde işlem yapabilen büyük dil modellerinin (LLM'ler) daha gelişmiş versiyonları olarak anlaşılabilir. Ek olarak, çok modlu dil modeli çıktıları sadece metinsel değil, aynı zamanda görsel, işitsel ve benzeri olacak şekilde tasarlanmıştır.

Çok modlu dil modelleri, yapay genel zekaya ulaşma yolunda bir sonraki adım olarak kabul edilmektedir.

Çok modlu yapay zeka ajanı nedir?

Çok modlu yapay zeka ajanları, görüntüler, videolar ve metinler dahil olmak üzere çeşitli veri türlerini kullanarak dünyayla etkileşime girmek için tasarlanmış sistemlerdir ve bu sayede hem dijital hem de fiziksel ortamlarda çalışabilirler. Çok modlu modeller, bu ajanların temel bileşenidir ve onların çeşitli kaynaklardan gelen bilgileri algılamasını ve anlamasını sağlar.

Örneğin, Magma gibi modeller, çok modlu dataset'ler üzerindeki ön eğitim sırasında Set-of-Mark ve Trace-of-Mark gibi tekniklerle elde edilen görüntü-dil anlayışını ve uzamsal zekayı kullanır.

Bu, ajanın video içeriğini anlamaktan ve soruları yanıtlamaktan, kullanıcı arayüzlerinde gezinmeye ve robotları kontrol etmeye kadar uzanan görevleri gerçekleştirmesini sağlar ve çok modlu modellerin farklı veri modalitelerinden yararlanarak yapay zeka ajanlarına kazandırdığı çok yönlü yetenekleri kanıtlar. Aşağıdaki illüstrasyon, Magma'nın görevleri tamamlamak için robot yörüngelerini planlamasını göstererek uzamsal zekasını eylemde sergilemektedir.¹⁴

LMM'ler ve LLM'ler arasındaki fark nedir?

1. Veri modaliteleri

• LMM'ler: Birden fazla veri girişi veya modalite türünü anlamak ve işlemek için tasarlanmışlardır. Buna metin, görüntü, ses, video ve bazen duyusal veriler gibi diğer veri türleri dahildir. LMM'lerin temel yeteneği, bu farklı veri formatlarını genellikle eş zamanlı olarak entegre etme ve anlamlandırma becerileridir.
• LLM'ler: Bu modeller metinsel verileri işleme ve oluşturma konusunda uzmanlaşmıştır. Öncelikle büyük metin korpusları üzerinde eğitilmişlerdir ve insan dilini çeşitli bağlamlarda anlama ve oluşturma konusunda yetkindirler. Doğal olarak görüntü veya ses gibi metin dışı verileri işlemezler.

2. Uygulamalar ve görevler

• LMM'ler: Çok modlu doğaları gereği, bu modeller farklı veri türleri genelinde bilgilerin anlaşılmasını ve entegre edilmesini gerektiren görevlere uygulanabilir. Örneğin, bir LMM kapsamlı bir anlayış kazanmak için bir haber makalesini (metin), ona eşlik eden fotoğrafları (görüntü) ve ilgili video klipleri analiz edebilir.
• LLM'ler: Uygulamaları; makale yazma, dil çevirisi, soru yanıtlama, belge özetleme ve metin tabanlı içerik oluşturma gibi metin içeren görevler etrafında toplanmıştır.

Google Arama'da daha fazla kıyaslamamızı ve veri odaklı içgörülerimizi görün.

Tercih edilen kaynak olarak ekle

Büyük çok modlu modellerin veri modaliteleri nelerdir?

Metin

Bu; kitaplar, makaleler, web sayfaları ve sosyal medya gönderileri gibi her türlü yazılı içeriği içerir. Model; çeviri, özetleme ve soru yanıtlama gibi doğal dil işleme görevleri dahil olmak üzere metinsel içeriği anlayabilir, yorumlayabilir ve oluşturabilir.

Görüntüler

Bu modeller görsel verileri analiz edebilir ve oluşturabilir. Bu, fotoğrafların, illüstrasyonların ve diğer grafik temsillerin içeriğini ve bağlamını anlamayı içerir. görüntü sınıflandırma, nesne tespiti ve metinsel açıklamalardan görüntü oluşturma gibi görevler bu kategoriye girer.

Ses

Bu; ses kayıtlarını, müziği ve konuşma dilini kapsar. Modeller; konuşmayı tanımak, müziği, ortam seslerini ve diğer işitsel girdileri tanımak için eğitilebilir. Konuşmaları yazıya dökebilir, sözlü komutları anlayabilir ve hatta sentetik konuşma veya müzik oluşturabilirler.

Video

Hem görsel hem de işitsel unsurları birleştiren video işleme, hareketli görüntüleri ve onlara eşlik eden sesleri anlamayı içerir. Bu; video içeriğini analiz etmeyi, videolardaki eylemleri veya olayları tanımayı ve video klipleri oluşturmayı içerebilir.

Mevcut büyük çok modlu dil modellerinin çoğu yalnızca metin ve görüntüleri işleyebilse de, gelecekteki araştırmalar ses ve video veri girdilerini dahil etmeyi amaçlamaktadır.

Büyük çok modlu modeller nasıl eğitilir?

Büyük çok modlu modellerin (LMM'ler) eğitimi, birkaç temel açıdan büyük dil modellerinin (LLM'ler) eğitiminden önemli ölçüde farklıdır:

1. Veri toplama ve hazırlama

• LLM'ler: LLM eğitim veri kaynakları için dilsel çeşitliliğe vurgu yaparak kitaplar, web siteleri ve yazılı kaynaklardan gelen metin verilerine odaklanır.
• LMM'ler: Metin, görüntü, ses ve video verileri gerektirir. Çeşitli formatlar nedeniyle toplama işlemi daha karmaşıktır. Veri açıklama ve modaliteler arası hizalama esastır.

2. Model mimari tasarımı

• LLM'ler: Ardışık metin işleme için optimize edilmiş transformer mimarilerini kullanır.
• LMM'ler: Birden fazla nöral ağ türünü (görüntüler için CNN'ler, metin için transformer'lar) ve bu modaliteleri birbirine bağlayan mekanizmaları entegre eden daha karmaşık mimariler kullanır.

3. Ön eğitim

• LLM'ler: Maskelenmiş dil modelleme gibi teknikler kullanarak metin korpusları üzerinde ön eğitim yapılır.
• LMM'ler: Metni görüntülerle ilişkilendirmeyi veya video dizilerini anlamayı öğrenerek birden fazla veri türü üzerinde ön eğitim yapılır.

4. Fine-tuning

• LLM'ler: Belirli görevler için uzmanlaşmış metin dataset'leri üzerinde fine-tune edilir.
• LMM'ler: Farklı veri türleri arasında ilişkiler kurmak için hem modaliteye özgü dataset'ler hem de çapraz modlu dataset'ler üzerinde fine-tuning gerektirir.

5. Değerlendirme ve yineleme

• LLM'ler: Değerlendirme metrikleri; akıcılık, tutarlılık ve ilgililik dahil olmak üzere dil anlama ve oluşturma görevlerine odaklanır.
• LMM'ler: Görüntü tanıma, ses işleme ve çapraz modlu entegrasyon yeteneklerini kapsayan daha geniş metrikler üzerinden değerlendirilir.

LMM'ler nasıl çalışır?

Büyük çok modlu modeller; eğitim süreçleri, tasarımları ve operasyonları açısından büyük dil modelleriyle benzerlikler paylaşır. Aynı transformer mimarisini ve eğitim stratejilerini kullanırlar. Büyük çok modlu modeller şunlar üzerinde eğitilir:

• Metin verileri
• Metin açıklamalarıyla birlikte milyonlarca veya milyarlarca görüntü
• Video klipler
• Ses parçaları
• Kod gibi diğer girdi verileri

Bu eğitim, birden fazla veri modalitesinin eş zamanlı olarak öğrenilmesini içerir ve modelin şunları yapmasını sağlar:

• Bir kedi fotoğrafını tanımak
• Bir ses klibindeki bir kelimeyi tanımlamak
• Metnin ötesindeki kavramları ve duyusal detayları anlamak

Bu sayede kullanıcılar şunları yükleyebilir:

• Şunlar için bir görüntü:
  • Neler olduğunu anlatan bir açıklama almak
  • Görüntüyü, metin veya görüntüler oluşturmak için bir prompt'un parçası olarak kullanmak
  • Görüntünün belirli unsurları hakkında takip soruları sormak
  • Görüntüdeki metni farklı bir dile çevirmek (örneğin, Menü)

Şekil 5: Tanımlamak için ChatGPT'ye bir kedi görüntüsü yükleme.

• Şunlar için grafikler ve şemalar:
  • Gösterdikleri hakkında karmaşık takip soruları sormak
• Şunlar için tasarım maketi:
  • Onu oluşturmak için gerekli HTML ve CSS kodlarını almak.

Şekil 6: Görüntüyü Wes Anderson film stilinde prompt etme. ChatGPT, prompt'u bir görüntü oluşturma modeline (DALL·E gibi) iletir, model isteği yorumlar ve stillendirilmiş görüntüyü üretir.

Eğitim sürecinden sonra modeller, sağlıksız stereotipler ve toksik fikirler içerebilir. Bunları düzeltmek için şu teknikler kullanılabilir:

• İnsan geri bildirimiyle pekiştirmeli öğrenme (RLHF)
• Denetleyici yapay zeka modelleri
• Red teaming (modelin dayanıklılığını test etme)

Ek olarak, yapay zeka yönetişim araçları ve sorumlu yapay zeka araçları, yapay zeka uyumluluk çözümleri olarak işlev görerek, yapay zeka envanter optimizasyonunu sağlayabilir, yapay zeka yanlılığını ve diğer etik ikilemleri önlemeye yardımcı olabilir. İşte bu araçların üretken yapay zeka telif hakkı endişelerini nasıl ele aldığına dair bir örnek:

Şekil 7: ChatGPT, telif haklarını korumak için içerik politikası yönergeleri nedeniyle isteğimi reddediyor.

Hedef, şunları yönetebilen işlevsel bir çok modlu sistem geliştirmektir:

• Metinden görüntüye sentez
• Görüntü altyazı oluşturma
• Metin tabanlı görüntü geri çağırma
• Görsel soru yanıtlama.

Bu şekilde, çok modlu yapay zeka çeşitli modaliteleri entegre ederek, hem dil hem de görmeyi içeren görevler için gelişmiş yetenekler sağlayabilir.

Büyük dil modellerinin sınırlamaları nelerdir?

1. Veri gereksinimleri ve yanlılık: Bu modeller eğitim için devasa ve çeşitli dataset'ler gerektirir. Ancak, bu tür dataset'lerin kullanılabilirliği ve kalitesi bir zorluk olabilir. Dahası, eğitim verileri yanlılıklar içeriyorsa, modelin bu yanlılıkları miras alması ve muhtemelen artırması olasıdır, bu da adaletsiz veya etik dışı sonuçlara yol açabilir.
2. Hesaplama kaynakları: Büyük çok modlu modelleri eğitmek ve çalıştırmak önemli hesaplama kaynakları gerektirir, bu da onları küçük organizasyonlar veya bağımsız araştırmacılar için pahalı ve daha az erişilebilir kılar.
3. Yorumlanabilirlik ve açıklanabilirlik: Karmaşık yapay zeka modellerinde olduğu gibi, kararları nasıl verdiklerini anlamak zor olabilir. Bu şeffaflık eksikliği, özellikle sağlık hizmetleri veya kolluk kuvvetleri gibi hassas uygulamalarda kritik bir sorun olabilir.
4. Modalitelerin entegrasyonu: Farklı veri türlerini (metin, görüntü ve ses gibi), her modalitenin nüanslarını gerçekten anlayacak şekilde etkili bir şekilde entegre etmek son derece zordur. Model, bu modalitelerin birleşiminden gelen bağlamı veya insan iletişiminin inceliklerini her zaman doğru şekilde kavrayamayabilir.
5. Genelleme ve aşırı öğrenme (overfitting): Bu modeller devasa dataset'ler üzerinde eğitilse de, yeni, görülmemiş verilere veya eğitim verilerinden önemli ölçüde farklı senaryolara genelleme yapmakta zorlanabilirler. Aksine, eğitim verilerine aşırı uyum sağlayarak gürültü ve anomalileri örüntü olarak yakalayabilirler.

Daha fazlasını öğrenmek için üretken ve dil modelleriyle ilişkili zorlukları ve riskleri keşfedin.

LMM'ler için benchmark metodolojisi

Büyük Çok Modlu Modellerin (LMM'ler) performansını, finansal çok modlu akıl yürütme yeteneklerini değerlendirmek için tasarlanmış kapsamlı bir benchmark olan FinMME dataset'inin¹⁵ bir alt kümesini kullanarak değerlendirdik. FinMME, 18 finansal alan ve 6 varlık sınıfında 11.000'den fazla yüksek kaliteli finansal örnekten oluşarak, LMM'lerin finansal alanda değerlendirilmesi için sağlam bir framework sağlar.

Bu benchmarking için, modellerin çok modlu finansal verileri işleme ve bunlar üzerinden akıl yürütme yeteneğini analiz etmek amacıyla FinMME dataset'inden özenle seçilmiş 100 örneği kullandık.

Sorumluluk Reddi

Bu değerlendirme, LMM'leri benchmark etmek için daha büyük bir dataset'ten seçilmiş 100 örneklik bir alt kümeyi kullanmıştır. Model performansının kapsamlı bir değerlendirmesi için, tam benchmark dataset'indeki tüm örnekler dikkate alınmalıdır.

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Büyük Çok Modlu Modeller (LMM'ler) ve LLM'ler}},
  year   = {2026},
  month  = may,
  howpublished    = {\url{https://aimultiple.com/large-multimodal-models}},
  note   = {AIMultiple. Erişim tarihi: 22 Mayıs 2026}
}

Referans Linkleri

1.

Gemma 3: Google’s new open model based on Gemini 2.0

Google

2.

GitHub - deepseek-ai/Janus: Janus-Series: Unified Multimodal Understanding and Generation Models · GitHub

3.

GitHub - QwenLM/Qwen3-VL: Qwen3-VL is the multimodal large language model series developed by Qwen team, Alibaba Cloud. · GitHub

4.

https://qwen.ai/blog?id=qwen2.5-vl-32b

5.

CLIP: Connecting text and images | OpenAI

6.

https://qwen.ai/blog?id=qwen2.5-vl-32b

7.

[2204.14198] Flamingo: a Visual Language Model for Few-Shot Learning

8.

Multimodality and Large Multimodal Models (LMMs)

9.

GitHub - bytedance/vidi: The official repo for "Vidi: Large Multimodal Models for Video Understanding and Editing" · GitHub

10.

Client Challenge

Financial Times

11.

GitHub - MoonshotAI/Kimi-VL: Kimi-VL: Mixture-of-Experts Vision-Language Model for Multimodal Reasoning, Long-Context Understanding, and Strong Agent Capabilities · GitHub

12.

Gemini 3: Introducing the latest Gemini AI model from Google

Google

13.

Introducing 4o Image Generation | OpenAI

14.

Magma: A Foundation Model for Multimodal AI Agents

15.

luojunyu/FinMME · Datasets at Hugging Face

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple'da baş analist olarak görev yapmaktadır. AIMultiple, her ay Fortune 500 şirketlerinin %55'i de dahil olmak üzere yüz binlerce işletmeye (benzer Web'e göre) bilgi sağlamaktadır. Cem'in çalışmaları, Business Insider, Forbes, Washington Post gibi önde gelen küresel yayınlar, Deloitte, HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslararası kuruluşlar tarafından alıntılanmıştır. AIMultiple'ı referans gösteren daha fazla saygın şirket ve kaynağı görebilirsiniz. Kariyeri boyunca Cem, teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yapmıştır. On yıldan fazla bir süre McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararları konusunda danışmanlık yapmıştır. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayınlamıştır. Bir telekom şirketinin CEO'suna bağlı olarak teknoloji stratejisi ve tedarikini yönetmiştir. Ayrıca, 2 yıl içinde sıfırdan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetmiştir. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınlarında yer aldı. Cem düzenli olarak uluslararası teknoloji konferanslarında konuşmacı olarak yer almaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisliği diplomasına ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder