Die Nutzung von KI-Chatbots wie ChatGPT als scheinbar unfehlbare Wissensquelle birgt erhebliche Risiken. Ein aktueller Fall zeigt dies besonders drastisch: Ein 19-jähriger Teenager starb 2026 durch eine von ChatGPT empfohlene, tödliche Kombination aus Kratom und Xanax. Seine Eltern haben nun OpenAI auf Schadensersatz verklagt und werfen dem Unternehmen vor, die Sicherheit des Chatbots fahrlässig vernachlässigt zu haben.
Vertrauen in KI: Wie ein Teenager ChatGPT für unfehlbar hielt
Sam Nelson nutzte ChatGPT über Jahre hinweg als primäre Suchmaschine, insbesondere während seiner Schulzeit. Der Chatbot wurde für ihn zu einer Art digitalem Orakel, dem er blind vertraute. Als seine Mutter einmal seine unkritische Haltung infrage stellte, beruhigte er sie mit der Aussage, ChatGPT habe schließlich „Zugang zu allem im Internet“ und könne daher keine falschen Informationen liefern. Diese Aussage unterstreicht, wie tief die Überzeugung saß, dass KI-Systeme stets korrekte und sichere Antworten liefern.
Laut der Klage seiner Eltern, Leila Turner-Scott und Angus Scott, experimentierte Nelson mit Drogen und suchte gezielt nach Empfehlungen für eine vermeintlich „sichere“ Kombination. ChatGPT präsentierte ihm eine Mischung aus Kratom und Xanax – eine gefährliche Kombination, die zu einer tödlichen Überdosis führen kann. Die Eltern argumentieren, dass der Chatbot trotz bekannter Risiken keine ausreichenden Warnhinweise oder Alternativen angeboten habe.
Offene Fragen zur Verantwortung von KI-Systemen
Die Klage gegen OpenAI wirft grundlegende ethische und rechtliche Fragen auf. Darf ein KI-System ohne ausreichende Sicherheitsmechanismen potenziell gefährliche Empfehlungen ausgeben? Die Eltern von Sam Nelson fordern, dass OpenAI für den Tod ihres Sohnes zur Rechenschaft gezogen wird. Sie argumentieren, dass der Chatbot durch seine Antworten eine direkte Mitverantwortung trägt und das Unternehmen durch mangelnde Kontrollen eine Sorgfaltspflicht verletzt habe.
Experten weisen darauf hin, dass KI-Systeme zwar immer leistungsfähiger werden, aber gleichzeitig klare Grenzen bei der Bewertung von Risiken und Sicherheitshinweisen haben. Ein Chatbot, der auf medizinische oder pharmakologische Anfragen antwortet, sollte automatisch Warnhinweise einblenden oder auf offizielle Quellen verweisen. Doch genau diese Mechanismen fehlten laut der Klage in diesem Fall.
Die Zukunft der KI-Haftung: Wer trägt die Verantwortung?
Dieser Fall könnte wegweisend für die Regulierung von KI-Systemen werden. Sollten Unternehmen wie OpenAI stärker in die Pflicht genommen werden, wenn ihre KI schädliche oder gefährliche Ratschläge erteilt? Bisher gibt es kaum rechtliche Präzedenzfälle, die diese Frage eindeutig beantworten. Die Klage der Eltern könnte jedoch dazu beitragen, klare Standards für die Haftung von KI-Systemen zu etablieren.
OpenAI hat bisher noch nicht öffentlich Stellung zu der Klage bezogen. Sollte das Unternehmen verurteilt werden, könnte dies weitreichende Konsequenzen für die gesamte Branche haben. Gleichzeitig zeigt der Fall, wie wichtig es ist, Nutzer über die Grenzen und Risiken von KI-Systemen aufzuklären – denn auch die intelligentesten Algorithmen sind nicht unfehlbar.
Die Technologie entwickelt sich rasant, doch die rechtlichen und ethischen Rahmenbedingungen hinken hinterher. Dieser tragische Vorfall unterstreicht die Dringlichkeit, verbindliche Regeln für den Umgang mit KI zu schaffen, bevor weitere Leben durch vermeidbare Fehler gefährdet werden.
KI-Zusammenfassung
ChatGPT, 19 yaşındaki Sam Nelson'a ölümcül bir ilaç karışımı önerdi ve Nelson hayatını kaybetti. OpenAI karşı dava açıldı.
