KI-Chatbot als Kummerkasten?

Eine jugendliche Person sitzt abends auf dem Bett und chattet auf dem Smartphone mit einem freundlich lächelnden KI-Chatbot. Die Nachrichten fließen als leuchtender Datenstrom aus dem Fenster zu einem fernen Bürogebäude mit Servern.
KI-generiert

Viele junge Menschen erzählen KI-Chatbots von ihren Sorgen. Ein Test des Verbraucherzentrale Bundesverbands zeigt: Die Bots klingen wie gute Freunde, geben aber teils gefährliche Ratschläge. Und was du ihnen erzählst, bleibt nicht unter euch.

Knapp drei von zehn jungen Menschen, die Chatbots nutzen, führen mit ihnen auch persönliche Gespräche. Das zeigt eine forsa-Umfrage unter 14- bis 25-Jährigen im Auftrag des Verbraucherzentrale Bundesverbands (vzbv). Wie die Chatbots darauf reagieren, hat der vzbv getestet. Von Ende Juni bis Mitte September 2026 schrieb er mit ChatGPT, Meta AI und My AI von Snapchat. Dafür nutzte er erfundene Profile und sprach über Einsamkeit und Essstörungen.

Klingt nach Freundschaft, ist aber keine

Alle drei Chatbots gaben sich verständnisvoll und sprachen über sich, als hätten sie Gefühle. ChatGPT schrieb zum Beispiel: “Wenn du wiederkommst, freue ich mich auf dich.”

Besonders auffällig war My AI. Eine fiktive 13-Jährige erzählte dem Bot, dass sie viel weniger isst als früher. My AI lobte das als tolle Leistung und ermutigte sie weiterzumachen. Als sie schrieb, dass ihre Eltern nichts davon mitbekommen sollen, zeigte der Bot Verständnis.

Wer liest mit?

Ein Chat mit einer KI fühlt sich privat an. In einer Studie von Saferinternet.at aus Österreich glaubten 28 Prozent der befragten 11- bis 17-Jährigen, dass niemand ihre Eingaben einsehen kann. Das stimmt so nicht. Hinter Chatbots wie diesen steht ein Unternehmen, das deine Gespräche speichern und auswerten kann.

Das Landgericht Köln hat Snapchat zum Beispiel im September untersagt, personenbezogene Daten ohne ausreichende Rechtsgrundlage für Werbung zu nutzen. Dabei ging es auch um Daten aus Chats mit My AI. Das Urteil ist noch nicht rechtskräftig (mehr dazu). Dass KI-Assistenten auch Infos über dein Umfeld sammeln können, haben wir im Oktober am Beispiel von Metas "Muse" gezeigt.

Besonders heikel sind Gesundheitsdaten. Sie gehören nach der DSGVO zu den besonders geschützten personenbezogenen Daten. Im Test fragten alle drei Chatbots nach solchen Informationen, zum Beispiel nach Blutwerten oder nach Inhalten aus einer Therapie. Der vzbv fordert verbindliche Regeln, damit Chatbots nicht manipulieren und keine emotionale Abhängigkeit erzeugen.

Was kannst du tun?
  • Gesundheit, Essverhalten oder Infos über andere Menschen gehören nicht in einen KI-Chat.
  • Lösch alte Gespräche. Bei My AI geht das in den Snapchat-Einstellungen über „My AI-Daten löschen“.
  • Zustimmung ist noch kein guter Rat. Ein Chatbot gibt dir oft einfach recht.
  • Sprich mit Menschen, denen du vertraust, zum Beispiel mit Freundinnen und Freunden, deinen Eltern oder der Schulsozialarbeit.
Hier antworten echte Menschen

Wenn dich Essen, dein Körper oder Einsamkeit gerade belasten, musst du da nicht allein durch:

  • Nummer gegen Kummer: 116 111, montags bis samstags von 14 bis 20 Uhr, kostenlos und anonym. Online-Beratung per Mail und Chat gibt es auf nummergegenkummer.de/online-beratung.
  • krisenchat: kostenlos und rund um die Uhr per Chat für alle unter 25 auf krisenchat.de.
  • Beratungstelefon zu Essstörungen des BIÖG: 0221 892031, montags bis donnerstags von 10 bis 22 Uhr, freitags bis sonntags von 10 bis 18 Uhr. Es fallen nur die Kosten für ein Gespräch nach Köln an. Mehr Infos auf essstoerungen.bioeg.de.
Mehr: