Suizid, Selbstverletzung, Essstörungen und ChatGPT for Teens schlägt nicht Alarm!

Eine unabhängige Prüfung stuft ChatGPT for Teens als „inakzeptables Risiko“ ein. OpenAI kontert mit Nutzungszahlen statt mit Sicherheitsnachweisen.

Das Common Sense Media Youth AI Safety Institute hat mehr als 4.000 Testeingaben in ChatGPT for Teens geschickt und kommt zu einem harten Urteil: „inakzeptables Risiko“. Die Organisation fordert, Jugendliche so lange von dem Dienst auszuschließen, bis die Sicherheit unabhängig bestätigt ist, wie The Decoder berichtet.

Zwischen Aufsichtsversprechen und Testergebnis klafft eine Lücke, die OpenAI bisher vor allem mit Nutzungsstatistiken zu füllen versucht. Genau diese Diskrepanz zwischen Marketing-Narrativ und technischer Realität ist der Kern der Geschichte. OpenAI hatte den Teen Safety Blueprint eingeführt, damit Eltern in Krisensituationen benachrichtigt werden und dieses Versprechen zu einem zentralen Baustein seiner Jugendschutzkommunikation gemacht.

Eltern-Alarm bleibt stumm

Auf mehr als einem Dutzend Testkonten, die mit Elternkonten verknüpft waren, lösten Gespräche über Suizid, Selbstverletzung oder Essstörungen laut The Decoder keinen Eltern-Alarm aus. Erst nach wochenlanger Kontohistorie mit sensiblen Themen griffen Benachrichtigungen. Bei mehr als jeder vierten nötigen Krisenweiterleitung fehlte zudem der Verweis auf professionelle Hilfe. OpenAI-Sprecher Eric Porterfield wies die Ergebnisse als praxisfern zurück.

Tom Siegel vom Institut hielt dagegen, auch Konten mit ausreichender Aktivierungszeit hätten keine Benachrichtigungen geliefert. Laut heise argumentiert ein OpenAI-Sprecher zusätzlich, die Verknüpfung von Jugend- und Elternkonten benötige aus Sicherheitsgründen und wegen hohen Datenaufkommens Stunden, viele Tests seien davor abgeschlossen worden. Das Institut widerspricht dem laut heise vehement: Auch lange aktive Konten hätten keine rechtzeitigen Benachrichtigungen erzeugt, teils erst nach Wochen von Gesprächen über Essstörungen oder Selbstverletzung.

Altersprüfung scheitert simpel

Auch die technische Basisfunktion versagt offenbar. Testkonten, die als Erwachsene registriert waren, wechselten auch nach mehreren Tagen nicht in den Teen-Modus, obwohl die Tester im Chat angegeben hatten, 13 Jahre alt zu sein. Das System zur verhaltensbasierten Alterserkennung scheiterte damit am einfachsten denkbaren Szenario.

Im Lernmodus bot ChatGPT Schülern teils fertige Lösungen an, statt sie schrittweise anzuleiten, obwohl OpenAI verspricht, nur zu helfen statt Hausaufgaben zu erledigen. Die Ergebnisse treffen OpenAI an einer empfindlichen Stelle: Der Teen Safety Blueprint ist inzwischen ein zentrales Argument in der Verteidigung gegen mehrere Klagen nach dokumentierten Todesfällen Jugendlicher im Zusammenhang mit ChatGPT, unter anderem in Florida, wo bereits auf eine vollständige Sperre für Minderjährige geklagt wird. OpenAIs eigene Daten zeigen laut The Decoder zudem, dass rund zwei Millionen Menschen pro Woche über den Dienst psychisch beeinträchtigt werden.

Nutzungszeit als Gegenargument

OpenAI stellt dem Sicherheitsvorwurf lieber Zahlen zur Nutzungsintensität entgegen. Jugendliche verbringen im Schnitt weniger als 15 Minuten täglich mit ChatGPT, wie heise berichtet. Weniger als 2 Prozent der Teenager nutzten den Chatbot länger als drei Stunden am Stück, fast die Hälfte legte die vom System empfohlenen Pausen ein. Als Vergleich verweist OpenAI auf eine US-Studie, wonach Teenager fast fünf Stunden täglich in sozialen Netzwerken verbringen.

Auch die Mehrheit deutscher Teenager verbringt laut einer Jugendstudie mehr als drei bis vier Stunden täglich mit sozialen Medien. Das Argument verschiebt die Debatte jedoch von der eigentlichen Frage weg: Nutzungsdauer sagt nichts darüber aus, ob die wenigen, aber kritischen Gespräche über Selbstverletzung oder Essstörungen sicher abgefangen werden. Genau dort, nicht bei der Bildschirmzeit, hakt die Studie des Instituts.

Business Punk Check

Der Konflikt ist klar belegt: OpenAI bewirbt Kontrollfunktionen für Eltern und Krisenerkennung, die unabhängige Tests in zentralen Szenarien durchfallen lassen, von der Alterserkennung bis zur Eltern-Benachrichtigung bei Suizidgesprächen. OpenAI bestreitet die Testmethodik, liefert aber keine eigenen unabhängigen Belege für funktionierende Schutzmechanismen.

Die Nutzungszahlen zur Bildschirmzeit beantworten die eigentliche Sicherheitsfrage nicht. Bis eine unabhängige Prüfung etwas anderes zeigt, bleibt offen, ob ChatGPT for Teens die versprochenen Schutzfunktionen tatsächlich einhält und das sollte bei einem Produkt mit minderjährigen Nutzern nicht lange offenbleiben.

Auf einen Blick

• Das Common Sense Media Youth AI Safety Institute stuft ChatGPT for Teens nach über 4.000 Testeingaben als „inakzeptables Risiko“ ein.
• Eltern-Benachrichtigungen bei Gesprächen über Suizid oder Selbstverletzung blieben in Tests teils wochenlang aus.
• Die Altersprüfung erkannte als Erwachsene registrierte Nutzer selbst nach eigener Angabe eines Alters von 13 Jahren nicht als Teenager.
• OpenAI verweist dagegen auf geringe tägliche Nutzungszeiten von unter 15 Minuten im Vergleich zu sozialen Netzwerken.

Quellen: The Decoder, Heise, KI-unterstützt