Sağlık Hizmetlerinde 9 Büyük Dil Modelini Karşılaştırın
USMLE sorularından türetilen lisansüstü düzeyde bir klinik sınav benchmark'ı olan MedQA dataset'ini kullanarak 9 LLM'leri benchmark'a tabi tuttuk. Her model, doğruluğun doğrudan karşılaştırılmasını sağlamak için standartlaştırılmış bir prompt kullanarak aynı çoktan seçmeli klinik senaryoları yanıtladı.
Ayrıca, toplam çalışma süresini tamamlanan MedQA maddelerinin sayısına bölerek soru başına gecikme süresini kaydettik.
Sağlık Hizmetleri LLM'leri benchmark sonuçları
Benchmark metodolojisi: Bu benchmark, sağlık hizmetleri LLM'lerinin denetimli fine-tuning performansını genel amaçlı büyük modellere (GPT-4) karşı tıbbi soru-cevaplama görevlerinde değerlendirir. benchmark veri kaynaklarına bakın.
MedQA: Amerika Birleşik Devletleri Tıbbi Lisanslama Sınavı'na dayalı çoktan seçmeli tıbbi sınav soruları.
Şekil 1: USMLE tarzı çoktan seçmeli klinik soru örneği.
MedMCQA: Gerçek dünyadaki tıbbi giriş sınavı sorularını ele almak için tasarlanmış büyük ölçekli, Çoktan Seçmeli Soru Cevaplama (MCQA) dataset'i.
Şekil 2: Modelin doğru cevabı seçmesini ve klinik bulgularla ilgili ilişkili açıklamaları yorumlamasını gerektiren büyük ölçekli bir tıbbi giriş sınavı çoktan seçmeli sorusu.
PubMedQA: evet/hayır/belki cevaplarını kullanan biyomedikal soru-cevaplama benchmark'ı.
Şekil 3: Modelin, sağlanan çalışma bağlamını kullanarak klinik bir iddianın doğruluğunu yargılaması gereken biyomedikal bir evet/hayır/belki sorusu.
Sağlık Hizmetleri LLM örnekleri
BERT-benzeri (Yalnızca Kodlayıcı)
Biyomedikal metinlerin kodlanması ve temsil edilmesi için optimize edilen bu modeller, sınıflandırma gibi görevler için özellik çıkarma konusunda mükemmeldir.
ChatGPT / LLaMA-benzeri (Kod çözücü, talimat/sohbet ayarlı)
LLaMA tarzı mimarilere dayalı ve etkileşimli görevler ile klinik diyaloglar için optimize edilmiştir.
GPT / PaLM-benzeri (Yalnızca Kod çözücü, üretken)
GPT-3 veya PaLM'a benzer şekilde oluşturulan bu modeller, genel amaçlı metin üretimi ve özetleme için fine-tune edilmiştir.
Sağlık hizmetlerinde genel amaçlı LLM'ler
*405B parametreli Llama 3.1 Instruct Turbo. benchmark metodolojisine bakın.
Temel çıkarımlar:
- o1: En iyi performans gösteren model
- 03 mini: En iyi bütçe seçeneği
- GPT 4.1: En iyi hız ve yanıt süresi
Doğruluk ve giriş maliyetinin ötesinde, modeller tıbbi soru cevaplamaya yönelik temel yaklaşımlarında da farklılık gösterir. Örneğin, o3 daha adım adım, analitik bir yaklaşım kullanırken, GPT-5 empatik yanıtlar verir, bilgileri düzenler ve uzman olmayanlar için net bir şekilde açıklar:
Şekil 4: GPT-5 ve o3 yanıtları arasındaki farkları gösteren şekil.
Tıbbi LLM'lerin fine-tuning'i
Varsayılan ChatGPT'nin (4o modeli) performansı, mevcut 'Klinik Tıp El Kitabı' asistanı ile karşılaştırılmıştır. Her iki modele de aynı prompt verilmiş ve yanıtları analiz edilmiştir:
GPT 4o
Şekil 5: Şekil, GPT 4o varsayılan modelinin cevabının doğru olduğunu ancak oldukça özetlendiğini göstermektedir.1
Fine-tune edilmiş tıbbi LLM
Şekil 6: Şekil, uzmanlaşmış ajandan gelen cevabın daha iyi açıklandığını ve detaylandırıldığını göstermektedir.2
Daha fazlası için LLM fine-tuning ve LLM eğitimi yazılarını okuyun.
Genel amaçlı LLM'lerin uygulamaları
Bu modeller, klinik görevleri doğru bir şekilde yerine getirmek için alan adaptasyonu gerektiren genel fine-tune edilmiş modellerdir. Bu modelleri sağlık hizmetlerinde şunlardan yararlanarak kullanabilirsiniz:
- Tıbbi veriler üzerinde sürekli ön eğitim, modelin klinik notlar ve biyomedikal literatüre (PubMed gibi) maruz kalarak tıbbi dili daha iyi tanımlamasına yardımcı olur.
- RAG , çalışma anında doğru yanıtlar üretmek için doğrulanmış klinik belgelerden veri çekmek için kullanılır.
- Talimat fine-tuning'i, modelin klinik soruları nasıl yanıtlayacağını veya metinden semptomları nasıl çıkaracağını öğrenmesini sağlar.
Şekil 7: Uzmanlaşmış kullanım durumları için LLM fine-tuning'inin genel iş akışı.9
Klinik ortamlarda LLM'lerin kullanım durumları
1. Tıbbi transkripsiyon
LLM'ler şunları yaparak tıbbi transkripsiyonlar oluşturmaya yardımcı olabilir:
- Bir hasta ve klinisyen arasındaki doğal diyaloğu dinlemek.
- Kritik tıbbi detayları çıkarmak.
- Tıbbi verileri, bir EHR'nin ilgili bölümleriyle uyumlu, mevzuata uygun tıbbi kayıtlara dönüştürmek.
Gerçek hayat örneği: Google’ın MedLM'i, hasta-klinisyen konuşmasını yakalayabilir ve tıbbi transkripsiyona dönüştürebilir.10
2. Elektronik sağlık kayıtlarının (EHR) geliştirilmesi
Elektronik sağlık kayıtlarının (EHR'ler) yaygın kullanımı, etkili kullanıldığında sağlık hizmetlerini önemli ölçüde iyileştirebilecek çok büyük miktarlarda hasta verisi üretmiştir.
Örneğin, EHR verilerinin analizi; teşhislerde, tedavilerde ve sonuçlarda kalıpları ortaya çıkararak klinisyenlerin daha iyi kararlar vermesine yardımcı olabilir. Ayrıca, risk faktörlerini belirleyerek ve tedavileri bireysel hastalara göre uyarlayarak daha erken hastalık tespitini ve daha kişiselleştirilmiş bakımı destekleyebilir.
Sistem düzeyinde EHR verileri; gereksiz testleri azaltarak, bakım boşluklarını vurgulayarak ve kaliteyi artıran ve maliyetleri düşüren politikaları bilgilendirerek verimliliği artırabilir.
Gerçek hayat örneği: Google’ın MedLM'i, elektronik sağlık kayıtlarını (EHR'ler) geliştirmek için BenchSci, Accenture ve Deloitte tarafından kullanılmaktadır.
- BenchSci , preklinik araştırmaların kalitesini artırmak için MedLM'i ASCEND platformuna entegre etmiştir.
- Accenture , birden fazla kaynaktan gelen yapılandırılmamış verileri düzenlemek için MedLM'i kullanarak, daha önce zaman alan ve hataya açık manuel işlemleri otomatikleştirir.
- Deloitte, tedavi bulmadaki sürtünmeyi en aza indirmek için MedLM ile çalışır. Sağlık planı katılımcılarının sağlayıcı alternatiflerini daha iyi anlamalarına yardımcı olan etkileşimli bir chatbot kullanırlar.11
3. Klinik karar desteği
LLM'ler, klinik yargının yerini almadan, teşhis veya tedavi planlaması sırasında ilgili hususları ortaya çıkararak klinisyenlerin mevcut tıbbi kanıtlarda yer alan hastaya özgü bilgileri yorumlamasına yardımcı olur.
Gerçek hayat örneği: MedGemma (Google DeepMind), Google’ın Gemma 3 mimarisi üzerine inşa edilmiş açık ağırlıklı tıbbi modeller koleksiyonudur. Doğrudan tüketiciye yönelik bir teşhis aracı olarak işlev görmek yerine MedGemma, geliştiricilerin klinisyenlere yönelik tıbbi uygulamalar oluşturması için bir temel görevi görür.
Hem tıbbi metin hem de görüntü analizi için tasarlanan MedGemma; göğüs röntgenleri, MRI'lar ve BT taramaları dahil olmak üzere karmaşık tıbbi görüntüleri yorumlayabilir. Ayrıca, hasta notlarını özetlemek veya tıbbi kurul tarzı soruları yanıtlamak gibi klinik akıl yürütme görevlerini de destekler.
ABD kurul onaylı bir kardiyotorasik radyolog tarafından yapılan incelemeye göre, MedGemma göğüs röntgeni raporlarının %81'i, orijinal radyolog raporlarına dayananlarla benzer hasta yönetim kararlarına yol açacaktır (aşağıdaki grafiğe bakın).
Şekil 8: Grafik, AI tarafından oluşturulan göğüs röntgeni raporlarının ve orijinal radyolog raporlarının normal, anormal ve tüm vakalarda ne sıklıkla benzer veya farklı klinik sonuçlara yol açtığını göstermektedir.12
Gerçek hayat örneği: Memorial Sloan Kettering Kanser Merkezi, kanıta dayalı tedavi seçenekleri önermek için hasta verilerini ve tıbbi literatürü analiz ederek onkologlara yardımcı olmak üzere IBM Watson Oncology'yi kullanmaktadır.13
4. Tıbbi araştırma yardımı
Tıbbi araştırmalarda, LLM'lerin temel değeri, literatür taramasını ve sentezini hızlandırma yeteneklerinde yatar.
Sadece makaleleri özetlemek yerine LLM'ler; ilgili çalışmaları belirleyerek, temel bulguları çıkararak ve birden fazla kaynaktaki içgörüleri sentezleyerek araştırmacıların hızla genişleyen biyomedikal literatüre ayak uydurmasına yardımcı olur.
Gerçek hayat örneği: John Snow’un sağlık chatbot'u, araştırmacıların ilgili bilimsel makaleleri bulmasına, temel içgörüleri çıkarmasına ve araştırma trendlerini belirlemesine yardımcı olur. Özellikle çok büyük miktardaki biyomedikal literatürde gezinmek için değerlidir.14
5. Otomatik hasta iletişimi
Sağlık hizmetlerindeki büyük dil modelleri, hastaların sorularına bilgilendirici ve şefkatli yanıtlar taslaklayabilir. Bazı örnekler şunlardır:
- İlaç yönetimi ve hatırlatıcılar: Bir chatbot, hastalara diyabet ilaçlarını almaları için düzenli hatırlatıcılar sağlar ve onay ister.
- Sağlık izleme ve takip bakımı: Ameliyat sonrası bir hasta, ağrı ve yara durumunu bir chatbot'a gönderir ve chatbot iyileşme sürecinin ilerleyip ilerlemediğini belirler.
- Bilgilendirici ve eğitici iletişim: Bir hasta, bir chatbot'a yüksek tansiyonun nasıl yönetileceğini sorar ve chatbot beslenme ve yaşam tarzı ipuçlarıyla yanıt verir.
Gerçek hayat örneği: ChatGPT Health, kullanıcıların tıbbi kayıtlarını ve sağlık verilerini (örneğin, Apple Health veya MyFitnessPal) güvenli bir şekilde bağlamasına olanak tanır. Kullanıcılar daha sonra ChatGPT'ye kendi verileri hakkında, “Kolesterolüm nasıl seyrediyor?” veya “Son laboratuvar sonuçlarımı özetle” gibi sorular sorabilirler.15
Gerçek hayat örneği: Boston Çocuk Hastanesi, hastalara sağlıkla ilgili sorulara anında yanıtlar ve ilk konsültasyonlar sağlayan AI destekli çevrimiçi bir semptom kontrol chatbot'u olan Buoy Health'i kullanmaktadır.
Chatbot, semptomlarını analiz ederek ve bir doktora görünmeleri gerekip gerekmediği konusunda tavsiyelerde bulunarak hastaları triyaj edebilir.16
6. Öngörücü sağlık sonuçları
LLM'ler, sağlık hizmetlerinde risk sınıflandırması ve öngörüye olanak tanıyacak şekilde konumlandırılabilir. Yapılandırılmış ve yapılandırılmamış klinik verilerin analizini destekleyerek LLM'ler, yüksek riskli hastaların (örneğin hastaneye yeniden yatış) belirlenmesine yardımcı olabilir ve genellikle geleneksel öngörücü modellerle kombinasyon halinde proaktif bakım planlamasını destekleyebilir.
Gerçek hayat örneği: WVU eczacıları, yeniden yatış riskini belirlemek için öngörücü bir algoritma kullanır. Bu yaklaşım; hasta demografisini, klinik geçmişi ve sağlığın sosyoekonomik belirleyicilerini içeren elektronik sağlık kayıtlarından (EHR'ler) gelen verileri inceleyecektir.
Bu araştırmaya dayanarak, WVU eczacıları yeniden yatış riski yüksek olan hastaları belirler ve taburcu olduktan sonra onlarla takip yapması için bakım koordinatörleri atar. Bu, yeniden yatış oranlarının azaltılmasına yardımcı olabilir.17
7. Kişiselleştirilmiş tedavi planları
Tıbbi geçmişi, semptomları ve boylamsal sağlık verilerini entegre ederek LLM'ler, karmaşık hasta bilgilerini bireyselleştirilmiş bakım hususlarına dönüştürmeye yardımcı olabilir ve klinisyenler ile hastalar arasında daha kişiselleştirilmiş ve bağlama duyarlı tedavi tartışmalarını destekleyebilir.
Gerçek hayat örneği: Babylon Health’in AI chatbot'u, kullanıcının semptomlarına ve tıbbi geçmişine dayalı bireyselleştirilmiş sağlık önerileri sunar. Sorunlarını daha iyi analiz etmek için ilgili sorular sorarak ve özelleştirilmiş öneriler vererek kullanıcıları bir konuşmaya dahil eder.18
8. Tıbbi kodlama ve faturalandırma
Büyük dil modelleri, hasta kayıtlarını ve EHR'leri analiz ederek denetim süreçlerini otomatikleştirebilir.
Gerçek hayat örneği: Bir EHR sağlayıcısı olan Epic Systems, kodlama ve faturalandırmaya yardımcı olmak için yazılımına LLM'leri entegre eder. LLM'ler, hassas hasta bilgilerine erişim modellerindeki anomalileri veya kodlama ve faturalandırma uygulamalarındaki tutarsızlıkları izleyebilir.19
Gerçek hayat örneği: Sağlık Hizmetleri için Claude (Anthropic), sağlık kuruluşları, sağlayıcılar ve sigortacılar için tasarlanmış kurumsal odaklı bir platformdur. Büyük dil modellerini ICD-10 ve CMS Kapsam Veritabanı gibi profesyonel tıbbi veritabanlarına bağlayarak hastanelerin idari iş akışlarını otomatikleştirmesini sağlar. Bu iş akışları; sigorta ön onaylarını, hasta çizelgesi özetlemeyi ve hasta portalı mesajlarının triyajını içerir.20
Ancak, LLM'ler tıbbi kodlama için henüz tamamen hazır değildir, ancak katkıları gelecek vaat etmektedir: Araştırmacılar, dört LLM'in (GPT-3.5, GPT-4, Gemini Pro ve Llama2-70b Chat) ne sıklıkla doğru CPT, ICD-9-CM ve ICD-10-CM kodlarını verdiğini incelemiştir.
Bulguları, iyileştirme için önemli bir fırsat olduğunu göstermektedir. Araştırmacılar, LLM'lerin genellikle yanlış bilgi ileten kodlar ürettiğini ve maksimum doğruluğun %50 olduğunu bulmuştur.21
9. Eğitim ve öğretim
Büyük dil modelleri ve üretken AI, klinisyenlerin ve hastaların karmaşık tıbbi kavramları daha iyi anlamalarına ve kafa karıştırıcı bilgileri netleştirmelerine yardımcı olan etkileşimli eğitim araçları olarak kullanılabilir.
Gerçek hayat kullanım durumu: Oxford Medical Simulation , sürükleyici sanal hasta simülasyonları oluşturmak için VR teknolojisiyle entegre edilmiş LLM'ler kullanır.
Bu simülasyonlar, öğrencilerin gerçek dünyada herhangi bir sonuç doğurmadan, kardiyak arrest hastasını yönetmek gibi yüksek basınçlı senaryoları deneyimlemelerine olanak tanır.
LLM'ler sanal hastaların yanıtlarını güçlendirerek onları daha gerçekçi ve öngörülemez hale getirir ve öğrencileri gerçek klinik ortamların değişkenliğine hazırlar.22
10. İlaç keşfi ve geliştirme
LLM'ler, geliştirme döngülerini kısaltarak ve yeni bileşiklerin piyasaya sürülme maliyetini azaltarak farmasötik araştırmaları hızlandırmaktadır. Bu modeller şunları yapabilir:
- Karmaşık moleküler yapıları analiz etmek ve terapötik potansiyeli olan bileşikleri işaretlemek.
- Aday ilaçların etkinliğini ve güvenlik profilini laboratuvar testlerinden önce tahmin etmek.
- Belirli terapötik hedeflere yönelik yeni moleküler konfigürasyonlar önermek.
- Farmakokinetiği iyileştirmek ve yan etkileri azaltmak için öncü bileşikleri optimize etmek.
Özellikle farmasötik uygulamalar için oluşturulmuş LLM'lerin bir alt kümesi olan kimyasal dil modelleri, de novo ilaç tasarımında ölçülebilir sonuçlar üretmiştir. Araştırmalar, warm-started modellerin (önceden eğitilmiş biyokimyasal dil modellerinden başlatılanlar), temel yaklaşımlardan daha yüksek kaliteli bileşikler ürettiğini göstermektedir.23
11. Radyoloji ve tıbbi görüntüleme
Hem metinleri hem de görüntüleri işleyen Multimodal LLM'ler, anormallik tespitini desteklemek ve daha kesin tanısal yorumlara katkıda bulunmak için tıbbi görüntüleri klinik verilerle birlikte inceleyebilir.
- Görüntü yorumlama: Med-Flamingo ve LLaVA-Med gibi modeller, tıbbi görüntüleri klinik bir bağlamda analiz ederek radyologları göğüs röntgenleri, MRI'lar ve BT taramalarında görünen durumların erken tespitinde destekler.
- Otomatik rapor üretimi: ChatCAD gibi sistemler, görüntüleme verilerinden doğrudan radyoloji raporları oluşturarak, yüksek hacimli görüntüleme departmanlarındaki en zaman alıcı görevlerden birini çözer.
12. Sağlık okuryazarlığı ve dil erişilebilirliği
Hasta bakımındaki pratik bir boşluk, klinik dil ile hastaların kendi sağlıklarını tanımlamak için kullandıkları dil arasındaki mesafedir. LLM'ler şu yollarla bu boşluğu kapatmaya yardımcı olabilir:
- Tıbbi terminolojiyi ve jargonları, hastanın okuma seviyesindeki sade bir dile çevirmek.
- Çok dilli bakım ortamlarında hastalar ve sağlayıcılar arasındaki dil farklılıklarını gidermek.
- Tedavi seçeneklerini, test sonuçlarını ve bakım planlarını hastaların harekete geçebileceği formatlarda açıklamak.
İyileştirilmiş hasta anlayışı, daha iyi tedavi uyumu ve sonuçlarıyla ilişkilidir; bu da bunu bir iletişim uygulaması olduğu kadar bir bakım kalitesi uygulaması haline getirir.
Tercih edilen kaynak olarak ekleSağlık hizmetlerinde LLM'lerin zorlukları
Gizlilik endişeleri
Tıbbi kullanım için uygun şekilde geliştirilmemiş, test edilmemiş veya onaylanmamış LLM tabanlı sağlık uygulamalarını kullanmak, özellikle veri gizliliği konusunda kullanıcılar için önemli riskler oluşturabilir.
Bu araçlar genellikle hassas, kullanıcı tarafından sağlanan sağlık bilgilerini işler, ancak bu verilerin nasıl saklandığı, paylaşıldığı veya uygulamaların mevcut veri koruma yasalarına ve düzenlemelerine tam olarak uyup uymadığı her zaman net değildir.24
Doğruluk ve güvenilirlik
LLM'ler ayrıca, kulağa makul gelen ancak yanlış veya yanıltıcı bilgiler olan halüsinasyonlara yatkındır.
Örneğin, tıbbi bir sorgu verildiğinde, GPT-3.5, fetüs üzerindeki potansiyel zararını doğru bir şekilde açıklamasına rağmen, hamile bir hasta için yanlışlıkla tetrasiklin önermiştir.25
Şekil 8: Bir ilacın yanlış önerilmesini gösteren GPT-3.5'ten bir örnek.
Genelleştirme ve uzmanlaşma
Genel tıbbi verilerle eğitilmiş bir LLM, belirli tıbbi uzmanlıklar için gereken ayrıntılı uzmanlığa sahip olmayabilir.
Önyargılar ve etik hususlar
Doğruluğun ötesinde, LLM'lerin eğitim verilerindeki önyargıları sürdürme potansiyeli gibi etik endişeler vardır. Bu, farklı demografik gruplar için eşit olmayan bakım önerileriyle sonuçlanabilir.
Büyük dil modellerinin zorlukları hakkında daha fazla ayrıntı için üretken AI'nın risklerini ve üretken AI etiğini okuyun.
Sağlık hizmetlerinde LLM'lerin geleceği
Stanford'un analizi, sağlık hizmetlerinde LLM'ler için değerlendirilmemiş önemli bir potansiyel olduğunu göstermektedir.26
Birçok LLM teşhisleri artırmak veya hasta iletişimi gibi görevler için kullanılmış olsa da, klinisyen tükenmişliğine katkıda bulunan idari görevlere odaklananların sayısı daha azdır.
Gelecekte LLM'ler davranış, daha fazla bağlam ve duygular ile etkileşime girecek şekilde gelişerek daha kişiselleştirilmiş ve empatik destek sağlamalarına olanak tanıyabilir.
Sağlık hizmetlerinde büyük dil modelleri metodolojisi
Benchmark metodolojisi: Bu benchmark, içeriğini Amerika Birleşik Devletleri Tıbbi Lisanslama Sınavı'ndan (USMLE) alan MedQA dataset'ini kullanarak 9 popüler genel LLM'i lisansüstü düzeydeki tıbbi sorular üzerinde değerlendirir. Her soru bir klinik senaryo ve çoktan seçmeli cevap seçenekleri içerir.
LLM çıktıları: Her model, yapılandırılmış bir cevap (örneğin, “Cevap: C”) döndürmesi için prompt edilmiştir.27
Gecikme: Bir modelin tek bir MedQA prompt'una yanıt üretmek için harcadığı ortalama süre. Örneğin, 100 sorunun tamamlanması toplam 1.115 saniye sürerse, ortalama gecikme soru başına 11,15 saniyedir.
Sağlık hizmetlerinde LLM'ler benchmark veri kaynakları
Bu araştırmayı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Sağlık Hizmetlerinde 9 Büyük Dil Modelini Karşılaştırın}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/large-language-models-in-healthcare}},
note = {AIMultiple. Erişim tarihi: 21 Mayıs 2026}
}Referans Linkleri
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.