OpenAI KI schlägt Ärzte bei Notfall Diagnosen

Eine neue Studie der Harvard Medical School sorgt in der Medizinwelt für Aufsehen. Forscher stellten fest, dass die Reasoning-Modelle von OpenAI erfahrene Notaufnahmeärzte in komplexen Diagnoseszenarien übertrafen. Die KI erreichte eine Triage-Genauigkeit von 67 %, während erfahrene Ärzte zwischen 50 % und 55 % lagen. Dieser Unterschied ist schwer zu ignorieren. Was dies für die Zukunft der Notfallversorgung bedeutet, ist sowohl überraschend als auch eine weitere Untersuchung wert.

Inhaltsverzeichnis

Bahnbrechender KI-Meilenstein in der Medizin

Eine wegweisende Studie der Harvard Medical School hat ergeben, dass das o1-preview-Modell von OpenAI behandelnde Ärzte in jeder Phase der Notaufnahme-Beurteilung übertraf , von den chaotischen ersten Momenten der Triage bis zur formellen Patientenaufnahme. Getestet an 76 echten Notaufnahmefällen des Beth Israel Deaconess Medical Center erzielte die KI bei der ersten Triage eine Diagnosegenauigkeit von 67 %, während zwei erfahrene Ärzte 55 % bzw. 50 % erreichten. Der Abstand vergrößerte sich von da an noch weiter. Die Diagnosen der Studie wurden blind von zwei weiteren Fachärzten überprüft, um sicherzustellen, dass die Ergebnisse frei von Verzerrungen waren.

Detaillierte diagnostische Leistungsdaten

In mehreren Studien haben die Reasoning-Modelle von OpenAI messbare Vorteile gegenüber Ärzten bei der Diagnosegenauigkeit gezeigt, wobei die Leistung je nach Aufgabe und Modellgeneration variiert.

GPT-4^o erreichte unter Standardbedingungen eine Diagnosegenauigkeit von 76,7 %, die auf 83,3 % stieg, wenn Reasoning-Prompts angewendet wurden. Das Modell o1-preview verzeichnete eine Grundgenauigkeit von 74,4 %, die sich mit explizit angeforderten Erklärungen moderat auf 78,9 % verbesserte. Bemerkenswert ist, dass Reasoning-Prompts die Leistung von GPT-4^o steigerten, bei o1 jedoch geringere Verbesserungen erzielten, da dieses Modell bereits eine native Chain-of-Thought-Architektur verwendet, die externe Prompts überflüssig macht.

Das Muster verschärft sich bei neueren Modellen. o3 stimmte in 270 von 300 Fällen mit den Diagnosen überein, eine Rate von 90 %, und übertraf damit DeepSeek-R1’s 85 %. Bei der Vorhersage des Wiederaufnahmerisikos erzielte o3 70,6 % gegenüber DeepSeek-R1’s 72,6 % , der einzige Bereich, in dem das konkurrierende Modell einen Vorteil hatte.

Bei der Klassifizierung in der Notaufnahme verzeichnete o3-mini die höchste ICD-10-Code-Übereinstimmung von 34,40 % bei abschließenden Diagnoseaufgaben und übertraf damit GPT-4^o. Allerdings zeigte o3-mini eine systematische Tendenz zur Überklassifizierung, indem 73,62 % der Patienten als dringend eingestuft wurden, obwohl die tatsächliche Rate bei 54,83 % lag.

Diagnosen, die nicht übersehen werden dürfen, bleiben ein konsistenter Schwachpunkt. Weder o1 noch seine Nachfolger erreichten eine statistische Überlegenheit gegenüber Ärzten oder GPT‑4 bei risikoreichen Sicherheitsdiagnosen in NEJM-Healer-Fällen , eine kritische Lücke für jede klinische Einsatzentscheidung.

Die medizinische Kodierung war die schwächste Leistungskategorie bei allen getesteten Modellen. Die Studie wurde von mehreren Institutionen finanziert, darunter das NIH/NIEHS, die Harvard Medical School, die Macy Foundation und die Moore Foundation.

OpenAI KI schlägt Ärzte bei Notfall Diagnosen

Bahnbrechender KI-Meilenstein in der Medizin

Detaillierte diagnostische Leistungsdaten

Quellenangabe

Empfehlungen

KI Milliardenboom weckt Blasenangst

OpenAI erhält Freigabe für GPT 5.6

Meta gerät bei KI Regulierung unter Druck

Schreibe einen Kommentar Antwort abbrechen