KI-Sekretäre in Arztpraxen: Fehlerhafte Diagnosezusammenfassungen in Ontario entdeckt

Die Digitalisierung der Medizin schreitet voran – doch sie bringt auch neue Risiken mit sich. Eine aktuelle Prüfung der Provinz Ontario offenbart, dass KI-gestützte Arztassistenten, die eigentlich Überlastung reduzieren sollten, stattdessen fehlerhafte und sogar erfundene Notizen in elektronischen Patientenakten hinterlassen. Der oberste Rechnungsprüfer Ontarios warnt vor potenziell gefährlichen Folgen für die Behandlung.

Fehlende Genauigkeit bei allen getesteten Anbietern

Im Rahmen einer Sonderprüfung testete der oberste Rechnungsprüfer Ontarios die Genauigkeit von 20 verschiedenen KI-Sekretären, die von der Provinzregierung für den Einsatz in Krankenhäusern und Arztpraxen zugelassen wurden. Die Prüfung umfasste zwei simulierte Patientengespräche, in denen typische Diagnose- und Behandlungsdaten besprochen wurden.

Das Ergebnis ist alarmierend: Keiner der getesteten Anbieter lieferte durchgehend korrekte und vollständige Zusammenfassungen. Insgesamt wiesen alle 20 Systeme mindestens einen schweren Fehler auf. Besonders gravierend war, dass neun Anbieter erfundene Informationen erzeugten – etwa nicht existente Bluttests oder Therapieempfehlungen. Zwölf Systeme übertrugen Medikamentennamen oder Dosierungen falsch, und 17 verpassten wichtige Details zu psychischen Erkrankungen, die im Gespräch erwähnt wurden.

Ein konkretes Beispiel aus dem Prüfbericht zeigt, wie gefährlich solche Fehler sein können: Ein KI-Sekretär notierte fälschlicherweise die Einnahme eines nicht verschriebenen Medikaments, während ein anderer eine dringend notwendige Überweisung zu einem Psychiater komplett ignorierte. Solche Pannen könnten zu falschen Diagnosen oder verzögerten Behandlungen führen – mit potenziell lebensbedrohlichen Konsequenzen.

Warum KI in der Medizin besonders riskant ist

KI-Systeme in der Medizin versprechen Effizienzsteigerungen und Entlastung für Ärztinnen und Ärzte. Doch die Prüfung zeigt, dass diese Technologien noch weit von einer zuverlässigen Anwendung entfernt sind. Die Hauptprobleme liegen in drei Bereichen:

• Halluzinationen: KI generiert Informationen, die nie besprochen oder vereinbart wurden. Solche Fehler sind besonders tückisch, da sie nicht auf den ersten Blick erkennbar sind.
• Unvollständige Dokumentation: Wichtige Aspekte der Anamnese – etwa psychische Belastungen oder allergische Reaktionen – werden schlicht ignoriert.
• Fehlende Kontextualisierung: KI erkennt nicht immer den Unterschied zwischen relevanten und irrelevanten Gesprächsinhalten, was zu falschen Schlüssen führen kann.

Die Prüfbehörde betont, dass solche Fehler nicht nur administrative Probleme verursachen, sondern direkt die Patientensicherheit gefährden. Krankenhäuser, die solche Systeme einsetzen, müssen daher strengere Kontrollen einführen und regelmäßig die Qualität der KI-generierten Notizen überprüfen.

Handlungsempfehlungen der Prüfbehörde

Der Rechnungsprüfer Ontarios hat konkrete Maßnahmen vorgeschlagen, um die Risiken zu minimieren. Dazu gehören:

• Unabhängige Validierung: Vor dem flächendeckenden Einsatz müssen KI-Systeme in realen Szenarien getestet werden, nicht nur in Simulationen.
• Transparenzanforderungen: Anbieter müssen offenlegen, wie ihre Algorithmen funktionieren und welche Daten sie zur Schulung nutzen.
• Regelmäßige Audits: Krankenhäuser sollten verpflichtet werden, die KI-gestützten Notizen in regelmäßigen Abständen extern prüfen zu lassen.
• Menschliche Kontrolle: KI sollte niemals ohne menschliche Überprüfung eingesetzt werden – besonders bei sensiblen medizinischen Entscheidungen.

Die Prüfbehörde warnt ausdrücklich davor, KI-Systeme als "Allheilmittel" für die Überlastung im Gesundheitswesen zu betrachten. Stattdessen müssten klare Richtlinien und Verantwortlichkeiten definiert werden, um die Patientensicherheit zu gewährleisten.

Ausblick: KI in der Medizin muss verantwortungsvoll eingesetzt werden

Die Erkenntnisse aus Ontario unterstreichen, dass der Einsatz von KI in der Medizin nicht nur eine Frage der Technologie, sondern auch der Ethik und Sicherheit ist. Während KI-gestützte Lösungen das Potenzial haben, die Arbeitsbelastung von Ärztinnen und Ärzten zu verringern, dürfen sie nicht auf Kosten der Behandlungsqualität gehen.

Die kommenden Monate werden zeigen, wie Krankenhäuser und Politik auf diese Warnungen reagieren. Eine Sache ist jedoch klar: Bevor KI in der Breite eingesetzt wird, müssen ihre Grenzen und Risiken noch viel stärker berücksichtigt werden als bisher. Die Priorität liegt nicht darin, so schnell wie möglich auf KI umzusteigen, sondern sicherzustellen, dass jede technologische Innovation den Patienten tatsächlich zugutekommt – und nicht schadet.