Sağlık Hizmetlerinde 9 Büyük Dil Modelini Karşılaştırın

MedQA dataset'ini kullanarak 9 LLM'i benchmark ettik; bu, USMLE sorularından türetilen lisansüstü düzeyde bir klinik sınav benchmark'ıdır. Her model, standart bir prompt kullanarak aynı çoktan seçmeli klinik senaryoları yanıtladı; bu da doğrulukların doğrudan karşılaştırılmasını sağladı.

Ayrıca, toplam çalışma süresini tamamlanan MedQA öğesi sayısına bölerek soru başına gecikme süresini kaydettik.

Sağlık Hizmetlerinde LLM'ler benchmark sonuçları

Benchmark metodolojisi: Bu benchmark, sağlık hizmetlerindeki LLM'lerin denetimli fine-tuning performansını büyük genel amaçlı modellere karşı (GPT-4) medikal soru-cevaplama görevlerinde değerlendirir. Bkz. benchmark veri kaynakları.

MedQA: Amerika Birleşik Devletleri Tıp Lisanslama Sınavı'na dayanan çoktan seçmeli tıbbi sınav soruları.

Şekil 1: USMLE tarzı çoktan seçmeli klinik soru örneği.

MedMCQA: Gerçek dünyadaki tıbbi giriş sınavı sorularını ele almak için tasarlanmış büyük ölçekli, Çoktan Seçmeli Soru Cevaplama (MCQA) dataset'tir.

Şekil 2: Modelin doğru cevabı seçmesini ve klinik bulgularla ilgili açıklamaları yorumlamasını gerektiren büyük ölçekli bir tıbbi giriş sınavı çoktan seçmeli sorusu.

PubMedQA: Evet/hayır/belki yanıtları kullanan biyomedikal soru-cevaplama benchmark'ıdır.

Şekil 3: Modelin, verilen çalışma bağlamını kullanarak klinik bir iddianın doğruluğunu değerlendirmesi gereken biyomedikal bir evet/hayır/belki sorusu.

Sağlık Hizmetlerinde LLM Örnekleri

BERT benzeri (Yalnızca Encoder)

Biyomedikal metni kodlamak ve temsil etmek için optimize edilen bu modeller, sınıflandırma gibi görevler için özellik çıkarmada mükemmeldir.

ChatGPT / LLaMA benzeri (Decoder, talimat/sohbet ince ayarlı)

LLaMA tarzı mimarilere dayalıdır ve etkileşimli görevler ile klinik diyaloglar için optimize edilmiştir.

GPT / PaLM benzeri (Yalnızca Decoder, üretken)

GPT-3 veya PaLM'e benzer şekilde oluşturulan bu modeller, genel amaçlı metin üretimi ve özetleme için fine-tune edilmiştir.

Sağlık Hizmetlerinde Genel Amaçlı LLM'ler

*Llama 3.1 Instruct Turbo, 405B parametreli. Bkz. benchmark metodolojisi.

Önemli çıkarımlar:

• o1: En iyi performans gösteren model
• 03 mini: En iyi bütçe seçeneği
• GPT 4.1: En iyi hız ve yanıt süresi
• Doğruluk ve girdi maliyetinin ötesinde, modeller aynı zamanda tıbbi soru cevaplamaya yönelik temel yaklaşımlarında da farklılık gösterir.

Şekil 4: GPT-5 ile o3 yanıtları arasındaki farkları gösteren şekil.

Tıbbi LLM'lerde Fine-Tuning

Varsayılan ChatGPT (4o modeli) performansı, mevcut 'Clinical Medicine Handbook' asistanı ile karşılaştırılmıştır. Her iki modele aynı prompt verilmiş ve yanıtları analiz edilmiştir:

GPT 4o

Şekil 5: Şekil, GPT 4o varsayılan modelinin yanıtının doğru ancak aynı zamanda oldukça özetlendiğini göstermektedir.¹

Fine-tuned tıbbi LLM

Şekil 6: Şekil, uzman ajanın yanıtını göstermektedir.¹

Genel Amaçlı LLM'lerin Uygulamaları

Bu modelleri sağlık hizmetlerinde şunlardan yararlanarak kullanabilirsiniz:

• Tıbbi veriler üzerinde sürekli ön eğitim, modeli klinik notlara ve biyomedikal literatüre (PubMed gibi) maruz bırakarak tıbbi dili daha iyi tanımasına yardımcı olur.
• RAG çalışma anında doğru yanıtlar üretmek için doğrulanmış klinik belgelerden veri çekmeyi sağlar.
• Instruction fine-tuning, modelin klinik soruları yanıtlamayı veya metinden semptomları çıkarmayı öğrenmesini sağlar.

Şekil 7: Uzmanlaşmış kullanım durumları için LLM fine-tuning'in genel iş akışı.

Sağlık Kuruluşlarının LLM'leri Kullandığı Yerler

Sağlık kuruluşları, LLM'leri hem klinik hem de idari iş akışlarında test etmektedir. Yaygın uygulamalar arasında klinik dokümantasyon ve transkripsiyon, EHR özetleme, literatür taraması, hasta mesajı taslağı oluşturma, tıbbi kodlama, ön onay, klinisyen eğitimi ve hastaya yönelik açıklamalar yer alır.

Uygun model, kullanım durumu etiketinden çok iş yükü gereksinimlerine bağlıdır. Hastaya yönelik ve klinik karar destek uygulamaları genellikle daha güçlü tıbbi doğruluk, güvenlik değerlendirmesi, denetlenebilirlik ve veri koruma kontrolleri gerektirirken; idari iş yükleri maliyet, gecikme süresi, bağlam uzunluğu ve mevcut sistemlerle entegrasyona daha fazla ağırlık verebilir.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

Sağlık Hizmetlerinde Büyük Dil Modelleri Metodolojisi

Benchmark metodolojisi: Bu benchmark, lisansüstü düzeydeki tıbbi sorularda 9 popüler genel LLM'i, MedQA dataset'ini kullanarak değerlendirir; bu dataset içeriğini United States Medical Licensing Examination (USMLE)'den alır. Her soru bir klinik senaryo ve çoktan seçmeli yanıt seçenekleri içerir.

LLM çıktıları: Her modele yapılandırılmış bir yanıt döndürmesi için prompt verildi (ör. “Cevap: C”).⁸

Gecikme süresi: Bir modelin tek bir MedQA prompt'una yanıt üretmek için harcadığı ortalama süre. Örneğin, 100 soru toplam 1.115 saniye sürüyorsa, ortalama gecikme süresi soru başına 11.15 saniyedir.

Sağlık Hizmetlerindeki LLM'ler için Benchmark Veri Kaynakları

• Me-LLaMA 70B sonuçları⁹
• Meditron 70B sonuçları¹⁰
• Med-PaLM 2 sonuçları¹¹
• ChatGPT & GPT-4¹¹

Bu araştırmayı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Ermut, Sıla},
  title  = {{Sağlık Hizmetlerinde 9 Büyük Dil Modelini Karşılaştırın}},
  year   = {2026},
  month  = sep,
  howpublished    = {\url{https://aimultiple.com/large-language-models-in-healthcare}},
  note   = {AIMultiple. Erişim tarihi: 4 Eylül 2026}
}

Değişiklik günlüğü

14 güncelleme

Tümü14Genel13Metodoloji1

1. 202623 Oca

   MedGemma ve yeni bir şekil ile "Klinik karar desteği" bölümü genişletildi.

2. 20253 Ara

   MedQA bölümüne Şekil 1 eklendi.

3. 17 Eki

   GPT 4.1 – En iyi hız ve yanıt süresi bölümündeki karşılaştırma metodolojisi değiştirildi.

4. 17 Eki

   Metodoloji bölümüne karşılaştırma metodolojisi eklendi.

5. 15 Ağu

   Use cases of general purpose LLMs bölümüne ince ayar tıbbi LLM'ler eklendi.

6. 4 Tem

   LLM çıktıları bölümüne gecikme verileri eklendi.

7. 27 Haz

   Sağlık Hizmetleri LLM'leri kıyaslama bölümüne bir kıyaslama metodolojisi eklendi.

8. 20 Haz

   “Sağlık hizmetlerinde genel amaçlı Büyükl Dil Modelleri” bölümü kaldırıldı.

9. 10 Haz

   Makaleden Med-PaLM 2, MEDITRON-70B, Me-LLaMA, Radiology-Llama2, Health Acoustic Representations (HeAR), Hippocratic AI'dan Polaris 3.0 ve Med-PaLM M kaldırıldı.

10. 5 Haz

    Makalenin sonuna karşılaştırma veri kaynakları eklendi.

11. 4 Haz

    Açık kaynak sağlık LLM'leri bölümüne sağlık görevlerinde açık LLM'lerin bir karşılaştırması eklendi.

12. 14 Nis

    Llama 2 bölümündeki Llama-2-70B ve GPT-3.5-turbo için doğruluk puanları güncellendi.

13. 20245 Eyl

    Açık kaynak sağlık odaklı LLM'ler bölümüne Med-PaLM 2 ve Radiology-Llama2 eklendi.

14. 30 Ağu

    Hipokrat AI modelini "Sağlık Hizmetleri LLM'leri" bölümüne ekledi.

Referans Linkleri

1.

Generative Medical AI: A Journey with Fine-Tuned Language Models | by Eluney Hernandez | Medium

Medium

2.

https://arxiv.org/abs/2509.21450

3.

https://medium.com/llmed-ai/summarizing-patient-histories-with-gpt-4-9df42ba6453c

4.

https://arxiv.org/abs/2403.12140

5.

https://www.datacamp.com/tutorial/fine-tuning-qwen3

6.

https://cohere.com/blog/command-r-plus

7.

https://arxiv.org/abs/2404.04110

8.

https://www.vals.ai/benchmarks/medqa

9.

Medical foundation large language models for comprehensive text analysis and beyond | npj Digital Medicine

Nature Publishing Group UK

10.

[2311.16079] MEDITRON-70B: Scaling Medical Pretraining for Large Language Models

11.

[2305.09617] Towards Expert-Level Medical Question Answering with Large Language Models

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple bünyesinde baş analisttir. Cem'in AIMultiple'daki çalışmaları; Business Insider, Forbes, Morning Brew ve Washington Post gibi önde gelen küresel yayınlar, Deloitte ve HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslarüstü kuruluşlar tarafından alıntılanmıştır. [1], [2], [3], [4], [5] Kariyeri boyunca Cem; teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yaptı. On yılı aşkın süre boyunca McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararlarında danışmanlık yaptı. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayımladı. CEO'ya rapor verirken bir telekom şirketinin teknoloji stratejisini ve satın alma süreçlerini yönetti. Ayrıca 2 yıl içinde 0'dan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetti. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınları tarafından ele alındı. Cem, uluslararası teknoloji konferanslarında düzenli olarak konuşma yapmaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisi olarak mezun oldu ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Araştıran

Sıla Ermut

Sektör Analisti

Takip Et

Sıla Ermut, AIMultiple'da yapay zeka model'lerini, yapay zeka altyapısını, yapay zeka yönetişimini ve kurumsal yapay zeka uygulamalarını ele alan bir sektör analistidir. Araştırmaları çoğunlukla yapay zekanın pazarlama, sağlık hizmetleri, tedarik zincirleri ve sürdürülebilirlik alanlarındaki kullanımına odaklanmaktadır.
Daha önce proje yönetimi ve danışmanlık firmalarında işe alım uzmanı olarak çalıştı. Sıla, Sosyal Psikoloji alanında yüksek lisans derecesine ve Uluslararası İlişkiler alanında lisans derecesine sahiptir.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder