Vergleich von 9 großen Sprachmodellen im Gesundheitswesen
Wir verglichen neun LLM-Modelle anhand des MedQA-Datensatzes, einem Benchmark für klinische Prüfungen auf Hochschulniveau, der auf USMLE-Fragen basiert. Jedes Modell beantwortete dieselben klinischen Multiple-Choice-Szenarien mit standardisierten Aufgabenstellungen, was einen direkten Vergleich der Genauigkeit ermöglichte.
Wir haben außerdem die Latenz pro Frage erfasst, indem wir die Gesamtlaufzeit durch die Anzahl der abgeschlossenen MedQA-Items geteilt haben.
Benchmark-Ergebnisse für LLM-Studiengänge im Gesundheitswesen
Benchmark-Methodik : Dieser Benchmark evaluiert die Leistung des überwachten Feinabstimmens von LLMs im Gesundheitswesen im Vergleich zu großen allgemeinen Modellen (GPT-4) bei Aufgaben zur Beantwortung medizinischer Fragen. Siehe Benchmark-Datenquellen .
MedQA : Multiple-Choice-Fragen zur medizinischen Prüfung, basierend auf der medizinischen Zulassungsprüfung der Vereinigten Staaten.
Abbildung 1: Beispiel einer klinischen Multiple-Choice-Frage im USMLE-Stil.
MedMCQA : Ein umfangreicher Datensatz für Multiple-Choice-Fragen (MCQA), der entwickelt wurde, um Fragen aus realen medizinischen Aufnahmeprüfungen zu beantworten.
Abbildung 2: Eine groß angelegte Multiple-Choice-Frage aus einer medizinischen Aufnahmeprüfung, bei der das Modell die richtige Antwort auswählen und die zugehörigen Erläuterungen zu den klinischen Befunden interpretieren muss.
PubMedQA : Benchmark für die Beantwortung biomedizinischer Fragen mit Ja/Nein/Vielleicht-Antworten.
Abbildung 3: Eine biomedizinische Ja/Nein/Vielleicht-Frage, bei der das Modell die Richtigkeit einer klinischen Aussage anhand des vorgegebenen Studienkontexts beurteilen muss.
Beispiele für LLM-Studiengänge im Gesundheitswesen
BERT-ähnlich (nur Encoder)
Diese Modelle wurden für die Kodierung und Darstellung biomedizinischer Texte optimiert und eignen sich hervorragend zur Extraktion von Merkmalen für Aufgaben wie die Klassifizierung.
ChatGPT / LLaMA-ähnlich (Decoder, auf Anweisungen/Chat abgestimmt)
Basierend auf Architekturen im LLaMA-Stil und optimiert für interaktive Aufgaben und klinische Dialoge.
GPT / PaLM-ähnlich (nur Decoder, generativ)
Ähnlich wie GPT-3 oder PaLM sind diese Modelle aufgebaut und für die allgemeine Textgenerierung und -zusammenfassung optimiert.
Allgemeine LL.M.-Studiengänge im Gesundheitswesen
*Llama 3.1 Instruct Turbo mit 405B-Parametern. Siehe Benchmark-Methodik.
Wichtigste Erkenntnisse:
- o1 : Bestes Modell
- 03 mini : Beste Budget-Option
- GPT 4.1 : Beste Geschwindigkeit und Reaktionszeit
Neben Genauigkeit und Inputkosten unterscheiden sich die Modelle auch in ihren zugrunde liegenden Ansätzen zur Beantwortung medizinischer Fragen. Beispielsweise verwendet o3 einen eher schrittweisen, analytischen Ansatz, während GPT-5 empathisch reagiert, Informationen strukturiert und für Nicht-Experten verständlich erklärt.
Abbildung 4: Abbildung, die die Unterschiede zwischen den Antworten GPT-5 und o3 zeigt.
Feinabstimmung medizinischer LLMs
Die Leistung des Standard-ChatGPT (4o-Modell) wird mit dem bestehenden Assistenten „Clinical Medicine Handbook“ verglichen. Beide Modelle erhalten dieselbe Eingabeaufforderung, und ihre Antworten werden analysiert:
GPT 4o
Abbildung 5: Die Abbildung zeigt, dass die Antwort des GPT 4o-Standardmodells zwar genau, aber auch sehr stark zusammengefasst ist. 1
Feinabgestimmter medizinischer LLM
Abbildung 6: Die Abbildung zeigt, dass die Antwort des spezialisierten Mitarbeiters besser erklärt und detaillierter ist. 2
Weitere Informationen finden Sie unter LLM-Feinabstimmung und LLM-Ausbildung .
Anwendungsbereiche von allgemeinen LLM-Studiengängen
Diese Modelle sind allgemeine, feinabgestimmte Modelle, die eine Domänenanpassung erfordern , um klinische Aufgaben präzise auszuführen. Sie können diese Modelle im Gesundheitswesen nutzen, indem Sie Folgendes verwenden:
- Kontinuierliches Vortraining mit medizinischen Daten , um dem Modell zu helfen, medizinische Fachsprache besser zu erkennen, indem es klinischen Notizen und biomedizinischer Literatur (wie PubMed) ausgesetzt wird.
- RAG-Algorithmus zur Datenextraktion aus verifizierten klinischen Dokumenten, um zur Laufzeit präzise Ergebnisse zu liefern.
- Feinabstimmung der Anweisungen , damit das Modell lernt, klinische Fragen zu beantworten oder Symptome aus Texten zu extrahieren .
Abbildung 7: Ein allgemeiner Arbeitsablauf der LLM-Feinabstimmung für spezielle Anwendungsfälle. 9
Anwendungsbeispiele von LLMs im klinischen Umfeld
1. Medizinische Transkription
LLMs können bei der Erstellung medizinischer Transkriptionen helfen, indem sie:
- Dem natürlichen Dialog zwischen Patient und Arzt zuhören.
- Gewinnung kritischer medizinischer Daten.
- Medizinische Daten werden zu konformen medizinischen Datensätzen zusammengefasst, die den relevanten Abschnitten einer elektronischen Patientenakte entsprechen.
Ein Beispiel aus der Praxis: MedLM von Google kann das Gespräch zwischen Patient und Arzt erfassen und in eine medizinische Transkription umwandeln. 10
2. Verbesserung der elektronischen Patientenakte (EHR).
Die weitverbreitete Nutzung elektronischer Patientenakten (EHRs) hat riesige Mengen an Patientendaten generiert, die, wenn sie effektiv genutzt werden, die Gesundheitsversorgung erheblich verbessern können.
Die Analyse von Daten aus elektronischen Patientenakten kann beispielsweise Ärzten helfen, bessere Entscheidungen zu treffen, indem sie Muster in Diagnosen, Behandlungen und Behandlungsergebnissen aufdeckt. Sie kann auch eine frühere Erkennung von Krankheiten und eine individuellere Versorgung unterstützen, indem sie Risikofaktoren identifiziert und Behandlungen auf einzelne Patienten abstimmt.
Auf Systemebene können EHR-Daten die Effizienz verbessern, indem sie redundante Tests reduzieren, Versorgungslücken aufzeigen und die Entwicklung von Richtlinien unterstützen, die die Qualität steigern und die Kosten senken.
Ein Beispiel aus der Praxis: Googles MedLMis wird von BenchSci, Accenture und Deloitte zur Verbesserung elektronischer Patientenakten (EHRs) eingesetzt.
- BenchSci hat MedLM in seine ASCEND-Plattform integriert, um die Qualität der präklinischen Forschung zu verbessern.
- Accenture nutzt MedLM, um unstrukturierte Daten aus verschiedenen Quellen zu organisieren und so zuvor zeitaufwändige und fehleranfällige manuelle Vorgänge zu automatisieren.
- Deloitte arbeitet mit MedLM zusammen, um die Suche nach Behandlungsmöglichkeiten zu vereinfachen. Dabei kommt ein interaktiver Chatbot zum Einsatz, der den Teilnehmern von Krankenversicherungen hilft, die verschiedenen Anbieteroptionen besser zu verstehen. 11
3. Unterstützung bei klinischen Entscheidungen
LLMs helfen Klinikern, patientenspezifische Informationen aus der aktuellen medizinischen Evidenz zu interpretieren und relevante Aspekte bei der Diagnose oder Behandlungsplanung aufzuzeigen, ohne jedoch das klinische Urteilsvermögen zu ersetzen.
Praxisbeispiel: MedGemma (DeepMind) ist eine Sammlung offener medizinischer Modelle, die auf der Gemma-3-Architektur von DeepMind basieren. Anstatt als direkt für Endverbraucher entwickeltes Diagnosetool zu fungieren, dient MedGemma Entwicklern als Grundlage für die Erstellung von medizinischen Anwendungen für Kliniker.
MedGemma wurde sowohl für die Analyse medizinischer Texte als auch Bilder entwickelt und kann komplexe medizinische Bilder, darunter Röntgenaufnahmen des Brustkorbs, MRT- und CT-Scans, interpretieren. Es unterstützt außerdem klinische Entscheidungsprozesse, wie das Zusammenfassen von Patientenakten oder das Beantworten von Fragen im Stil von medizinischen Prüfungen.
Laut einer Überprüfung durch einen in den USA zertifizierten kardiothorakalen Radiologen würden 81 % der MedGemma-Röntgenberichte des Brustkorbs zu ähnlichen Behandlungsentscheidungen führen wie die ursprünglichen Radiologenberichte (siehe Grafik unten).
Abbildung 8: Die Grafik zeigt, wie häufig KI-generierte Röntgenberichte des Brustkorbs und die ursprünglichen Radiologenberichte zu ähnlichen oder unterschiedlichen klinischen Ergebnissen bei normalen, abnormalen und allen Fällen führen. 12
Ein Beispiel aus der Praxis: Das Memorial Sloan Kettering Cancer Center nutzt IBM Watson Oncology, um Onkologen zu unterstützen, indem es Patientendaten und medizinische Literatur analysiert, um evidenzbasierte Behandlungsoptionen zu empfehlen. 13
4. Unterstützung bei medizinischen Forschungsprojekten
In der medizinischen Forschung liegt der Kernnutzen von LLM-Absolventen in ihrer Fähigkeit, die Literaturrecherche und -synthese zu beschleunigen.
Anstatt lediglich Artikel zusammenzufassen, helfen LLMs Forschern dabei, mit der rasant wachsenden biomedizinischen Literatur Schritt zu halten, indem sie relevante Studien identifizieren, wichtige Erkenntnisse extrahieren und Einblicke aus verschiedenen Quellen synthetisieren.
Praxisbeispiel: Der Healthcare-Chatbot von John Snow unterstützt Forscher bei der Suche nach relevanten wissenschaftlichen Artikeln, der Gewinnung wichtiger Erkenntnisse und der Identifizierung von Forschungstrends. Er ist besonders wertvoll für die Navigation durch die immense Menge an biomedizinischer Literatur. 14
5. Automatisierte Patientenkommunikation
Große Sprachmodelle im Gesundheitswesen können informative und einfühlsame Antworten auf Patientenanfragen erstellen. Beispiele hierfür sind:
- Medikamentenmanagement und Erinnerungen: Ein Chatbot erinnert Patienten regelmäßig an die Einnahme ihrer Diabetesmedikamente und bittet um Bestätigung.
- Gesundheitsüberwachung und Nachsorge: Ein Patient nach der Operation übermittelt seine Schmerzen und den Wundstatus an einen Chatbot, der feststellt, ob der Heilungsprozess fortschreitet.
- Informations- und Aufklärungskommunikation: Ein Patient fragt einen Chatbot, wie er seinen Bluthochdruck behandeln kann, und der Chatbot antwortet mit Tipps zu Ernährung und Lebensstil.
Praxisbeispiel: ChatGPT Health ermöglicht Nutzern die sichere Verbindung ihrer medizinischen Daten und Gesundheitsdaten (z. B. von Apple Health oder MyFitnessPal). Anschließend können Nutzer ChatGPT Fragen zu ihren eigenen Daten stellen, etwa „Wie entwickelt sich mein Cholesterinspiegel?“ oder „Fassen Sie meine letzten Laborergebnisse zusammen.“ 15
Ein Beispiel aus der Praxis: Das Boston Children's Hospital nutzt Buoy Health, einen KI-gesteuerten Online-Chatbot zur Symptomprüfung, der Patienten sofortige Antworten auf gesundheitsbezogene Fragen und erste Beratungen bietet.
Der Chatbot kann Patienten triagieren, indem er ihre Symptome analysiert und ihnen rät, ob sie einen Arzt aufsuchen müssen. 16
6. Vorhersage von Gesundheitsergebnissen
LLMs können zur Risikostratifizierung und Prognose im Gesundheitswesen eingesetzt werden. Durch die Unterstützung der Analyse strukturierter und unstrukturierter klinischer Daten können LLMs dazu beitragen, Patienten mit erhöhtem Risiko (z. B. für eine erneute Krankenhauseinweisung) zu identifizieren und eine proaktive Behandlungsplanung zu unterstützen, oft in Kombination mit traditionellen Vorhersagemodellen.
Praxisbeispiel: Die Apotheker der WVU nutzen einen prädiktiven Algorithmus, um das Risiko einer Wiedereinweisung ins Krankenhaus zu bestimmen. Dieser Ansatz analysiert Daten aus elektronischen Patientenakten (EHRs), die Patientendemografie, Krankengeschichte und sozioökonomische Gesundheitsdeterminanten umfassen.
Auf Grundlage dieser Forschung identifizieren die Apotheker der WVU Patienten mit hohem Risiko einer Wiedereinweisung und weisen ihnen Pflegekoordinatoren zu, die sie nach ihrer Entlassung weiter betreuen. Dies kann dazu beitragen, die Wiedereinweisungsrate zu senken. 17
7. Individuelle Behandlungspläne
Durch die Integration von Krankengeschichte, Symptomen und longitudinalen Gesundheitsdaten können LLMs dazu beitragen, komplexe Patienteninformationen in individualisierte Behandlungsüberlegungen zu übersetzen und so personalisiertere und kontextbezogenere Behandlungsgespräche zwischen Ärzten und Patienten zu unterstützen.
Praxisbeispiel: Der KI-Chatbot von Babylon Health bietet individuelle Gesundheitsempfehlungen basierend auf den Symptomen und der Krankengeschichte des Nutzers. Er bindet die Nutzer in ein Gespräch ein, indem er relevante Fragen stellt, um ihre Beschwerden besser zu analysieren und maßgeschneiderte Empfehlungen zu geben. 18
8. Medizinische Kodierung und Abrechnung
Große Sprachmodelle können Prüfprozesse automatisieren, indem sie Patientenakten und elektronische Patientenakten analysieren.
Praxisbeispiel: Epic Systems, ein Anbieter von elektronischen Patientenakten, integriert LLMs in seine Software, um die Kodierung und Abrechnung zu unterstützen. Die LLMs können Anomalien im Zugriffsverhalten auf sensible Patientendaten oder Inkonsistenzen in den Kodierungs- und Abrechnungspraktiken erkennen. 19
Praxisbeispiel: Claude for Healthcare (Anthropic) ist eine unternehmensorientierte Plattform für Gesundheitsorganisationen, Leistungserbringer und Versicherer. Sie verbindet große Sprachmodelle mit professionellen medizinischen Datenbanken wie ICD-10 und der CMS Coverage Database und ermöglicht Krankenhäusern so die Automatisierung administrativer Arbeitsabläufe. Zu diesen Arbeitsabläufen gehören die Einholung von Vorabgenehmigungen von Versicherungen, die Zusammenfassung von Patientenakten und die Priorisierung von Nachrichten im Patientenportal. 20
Allerdings sind LLMs noch nicht vollständig für die medizinische Kodierung geeignet, ihre Beiträge sind aber vielversprechend: Forscher untersuchten, wie häufig vier LLMs (GPT-3.5, GPT-4, Gemini Pro und Llama2-70b Chat) die korrekten CPT-, ICD-9-CM- und ICD-10-CM-Codes ausgaben.
Ihre Ergebnisse zeigen ein erhebliches Verbesserungspotenzial auf. Die Forscher stellten fest, dass LLMs häufig Code generieren, der ungenaue Informationen übermittelt, mit einer maximalen Genauigkeit von 50 %. 21
9. Ausbildung und Weiterbildung
Große Sprachmodelle und generative KI können als interaktive Lehrmittel eingesetzt werden, die Ärzten und Patienten helfen, komplexe medizinische Konzepte besser zu verstehen und verwirrende Informationen zu klären.
Anwendungsbeispiel aus der Praxis: Oxford Medical Simulation nutzt LLMs in Kombination mit VR-Technologie zur Erstellung immersiver virtueller Patientensimulationen.
Mithilfe dieser Simulationen können Studierende stressige Szenarien erleben, wie zum Beispiel den Umgang mit einem Patienten mit Herzstillstand, ohne dass dies reale Konsequenzen hat.
Die LLMs steuern die Reaktionen der virtuellen Patienten und machen sie dadurch realistischer und unvorhersehbarer. So werden die Studierenden auf die Variabilität realer klinischer Umgebungen vorbereitet. 22
Herausforderungen von LLM-Absolventen im Gesundheitswesen
Datenschutzbedenken
Die Verwendung von LLM-basierten Gesundheitsanwendungen, die nicht ordnungsgemäß entwickelt, getestet oder für den medizinischen Gebrauch zugelassen wurden, kann erhebliche Risiken für die Benutzer bergen, insbesondere im Hinblick auf den Datenschutz.
Diese Tools verarbeiten häufig sensible, vom Benutzer bereitgestellte Gesundheitsdaten, doch es ist nicht immer klar, wie diese Daten gespeichert und weitergegeben werden oder ob die Anwendungen die geltenden Datenschutzgesetze und -vorschriften vollständig einhalten. 23
Genauigkeit und Zuverlässigkeit
LLMs neigen auch zu Halluzinationen , plausibel klingenden, aber falschen oder irreführenden Informationen.
Beispielsweise empfahl GPT-3.5 bei einer medizinischen Anfrage fälschlicherweise Tetracyclin für eine schwangere Patientin, obwohl er die potenziellen Schäden für den Fötus korrekt erläuterte. 24
Abbildung 8: Ein Beispiel aus GPT-3.5, das die falsche Empfehlung eines Medikaments zeigt.
Generalisierung vs. Spezialisierung
Ein LLM-Absolvent mit Schwerpunkt auf allgemeinen medizinischen Daten verfügt möglicherweise nicht über die detaillierte Expertise, die für spezifische medizinische Fachgebiete erforderlich ist.
Vorurteile und ethische Überlegungen
Neben der Genauigkeit bestehen auch ethische Bedenken, beispielsweise die Möglichkeit, dass LLMs Verzerrungen in ihren Trainingsdaten fortführen. Dies könnte zu ungleichen Behandlungsempfehlungen für verschiedene Bevölkerungsgruppen führen.
Weitere Einzelheiten zu den Herausforderungen großer Sprachmodelle finden Sie im Abschnitt über die Risiken generativer KI und die Ethik generativer KI .
Die Zukunft der LLM-Studiengänge im Gesundheitswesen
Die Analyse der Stanford University deutet darauf hin, dass im Gesundheitswesen ein erhebliches, bisher ungenutztes Potenzial für LLM-Absolventen besteht. 25
Während viele LLMs für Aufgaben wie die Verbesserung der Diagnostik oder der Patientenkommunikation eingesetzt wurden, konzentrierten sich weniger auf administrative Aufgaben, die zur Erschöpfung von Klinikern beitragen.
Zukünftig könnten LLMs so weiterentwickelt werden , dass sie mit Verhalten , Kontext und Emotionen interagieren und dadurch eine persönlichere und empathischere Unterstützung bieten können.
Benchmark-Methodik
Methodik des Benchmarks : Dieser Benchmark bewertet neun gängige allgemeine LLM-Studiengänge anhand von medizinischen Fragestellungen auf Hochschulniveau mithilfe des MedQA-Datensatzes , dessen Inhalte aus dem United States Medical Licensing Examination (USMLE) stammen. Jede Frage umfasst ein klinisches Szenario und Antwortmöglichkeiten im Multiple-Choice-Format.
LLM-Ausgaben : Jedes Modell wurde aufgefordert, eine strukturierte Antwort zurückzugeben (z. B. „Antwort: C“). 26
Latenz : Die durchschnittliche Zeit, die ein Modell benötigt, um eine Antwort auf eine einzelne MedQA-Abfrage zu generieren. Wenn beispielsweise 100 Fragen insgesamt 1115 Sekunden zur Beantwortung benötigen, beträgt die durchschnittliche Latenz 11,15 Sekunden pro Frage.
Benchmark-Datenquellen
Referenzlinks
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich.