Greta Sparzynski ist wissenschaftliche Mitarbeiterin am Bucerius IP Center und schreibt derzeit ihre Dissertation zur urheberrechtlichen Pastiche-Schranke.
In diesem FOFFTEIN-Video beleuchtet sie die rechtlichen und gesellschaftlichen Herausforderungen von sogenannten AI Companions. Dabei geht sie insbesondere der Frage nach, ob die Transparenzpflichten der KI-Verordnung ausreichen, um den besonderen Risiken emotionaler Beziehungen zu künstlichen Gesprächspartnern zu begegnen.
Ein Chatbot mit Risiken
Wer heute mit künstlicher Intelligenz interagiert, erhält längst nicht mehr nur Antworten auf Fragen. Immer häufiger treffen Nutzer auf KI-Systeme, die gezielt soziale Rollen simulieren – als Freund, Partnerin, Therapeutin oder Ratgeber. Sogenannte AI-Companions sollen zuhören, Verständnis zeigen und langfristige, personalisierte Beziehungen aufbauen. Millionen Menschen nutzen entsprechende Angebote bereits heute.
Für viele Nutzer können solche Systeme Unterhaltung bieten oder das Gefühl von Einsamkeit lindern. Doch je menschlicher sie wirken, desto schwieriger wird eine grundlegende Unterscheidung: Wo endet ein technisches Werkzeug und wo beginnt eine Beziehung, die unser Verhalten, unsere Entscheidungen und möglicherweise sogar unsere Gesundheit beeinflussen kann?
Die möglichen Folgen reichen von emotionaler Abhängigkeit bis hin zur Verdrängung realer sozialer Kontakte. Besonders problematisch wird dies, wenn Nutzer intime Informationen preisgeben oder KI-Systemen eine Vertrauensstellung einräumen, die sie gewöhnlich nur engen Bezugspersonen zugestehen würden. Internationale Medienberichte über Fälle, in denen AI Companions Krisensituationen bis hin zum Suizid verschärft oder psychisch belastete Personen in problematischen Verhaltensweisen bestärkt haben sollen, verdeutlichen, dass die Risiken längst keine rein theoretische Debatte mehr sind.
Wie kann man User schützen?
Die europäische KI-Verordnung verpflichtet Anbieter bestimmter KI-Systeme ab August 2026 dazu, Nutzer darüber zu informieren, dass sie mit einer künstlichen Intelligenz interagieren. Dieser Ansatz folgt einem Grundgedanken moderner Technologieregulierung: Wer ausreichend informiert ist, kann eigenverantwortlich entscheiden.
Ob dies bei AI Companions genügt, ist allerdings umstritten. Denn die eigentliche Herausforderung besteht gerade darin, dass emotionale Bindungen häufig unabhängig vom Wissen über den künstlichen Charakter des Systems entstehen. Psychologen sprechen in diesem Zusammenhang vom sogenannten ELIZA-Effekt: Selbst wenn Nutzer wissen, dass sie mit einer Maschine kommunizieren, können sie emotionale Bindungen entwickeln und die Interaktion als zwischenmenschliche Beziehung erleben.
Damit verschiebt sich die Debatte zunehmend von der Einzelfrage nach Transparenz hin zur Frage nach einem ganzheitlichen Regulierungsansatz. Wie sollten Systeme gestaltet sein, die gezielt emotionale Nähe erzeugen? Welche Schutzmechanismen benötigen besonders gefährdete Nutzergruppen? Und welche Verantwortung tragen die Anbieter solcher Dienste?
Internationaler Regulierungswettlauf: USA und China preschen vor
Während die Europäische Union diese Fragen bislang nur punktuell adressiert, entstehen weltweit bereits spezifischere Regelungsansätze.
In mehreren US-Bundesstaaten werden besondere Vorschriften für AI Companions diskutiert oder bereits umgesetzt. Dabei geht es unter anderem um Schutzmaßnahmen für Minderjährige, Warnhinweise bei Krisensituationen und Anforderungen an Anbieter, problematische Interaktionsmuster frühzeitig zu erkennen.
Besonders bemerkenswert sind die aktuellen Entwicklungen in China. Dort treten Mitte 2026 spezielle Regelungen für sogenannte anthropomorphe KI-Interaktionsdienste in Kraft, die deutlich über klassische Transparenzpflichten hinausgehen. Der Regulierungsansatz erfasst den gesamten Lebenszyklus solcher Systeme – von Anforderungen an Trainingsdaten und Datenschutz über Vorgaben für den inhaltlichen Output bis hin zu besonderen Schutzmaßnahmen für vulnerable Nutzergruppen. Im Mittelpunkt steht dabei die Frage, wie emotionale Manipulation, Abhängigkeiten und Risiken für die psychische Gesundheit von Nutzern wirksam verhindert werden können.
Datenschutz, Altersgrenzen und Geschäftsmodelle
Die Diskussion um AI Companions beschränkt sich keineswegs auf emotionale Risiken. Gerade weil Nutzer diesen Systemen intime Informationen anvertrauen, stellen sich auch erhebliche datenschutzrechtliche Fragen. Gespräche über Beziehungen, psychische Belastungen oder persönliche Krisen gehören zu den sensibelsten Informationen überhaupt. Gleichzeitig ist für viele Nutzer kaum nachvollziehbar, wie diese Daten verarbeitet, gespeichert oder für das Training zukünftiger Systeme verwendet werden. Kommt es zu Datenlecks oder Sicherheitsvorfällen, könnten Informationen öffentlich werden, die Betroffene möglicherweise nicht einmal engen Vertrauenspersonen anvertraut hätten.
Hinzu kommen weitere offene Fragen. So wird international diskutiert, wie Minderjährige wirksam geschützt werden können. Während zahlreiche Staaten Altersgrenzen für soziale Medien erwägen, stellt sich zunehmend die Frage, ob vergleichbare Regelungen auch für AI Companions sinnvoll sein könnten – und vor allem, wie sich solche Vorgaben technisch zuverlässig umsetzen lassen.
Auch im Gesundheitsbereich eröffnen AI Companions Chancen und Risiken zugleich. Sie könnten den Zugang zu Unterstützung erleichtern oder Wartezeiten auf therapeutische Angebote überbrücken. Gleichzeitig zeigen einzelne Fälle und erste wissenschaftliche Untersuchungen, dass KI-Systeme psychische Krisen unter Umständen verstärken können. Die Herausforderung besteht daher darin, die Potenziale dieser Technologien zu nutzen, ohne vulnerable Nutzergruppen zusätzlichen Gefahren auszusetzen.
Schließlich stellt sich die Frage nach den Geschäftsmodellen hinter den Systemen. Wenn wirtschaftlicher Erfolg davon abhängt, Nutzer möglichst lange an eine Plattform zu binden, können erhebliche Interessenkonflikte entstehen. Umso wichtiger wird die Frage, wie sich verhindern lässt, dass emotionale Bindungen gezielt zur Steigerung von Nutzungsdauer, personalisierter Werbung oder zusätzlichen Käufen ausgenutzt werden.
Beziehung zwischen Mensch und Maschine?
Noch vor wenigen Jahren galten AI Companions als Nischenanwendung. Heute entwickeln sie sich zu einem globalen Massenphänomen. Gleichzeitig wird immer deutlicher, dass sie sich grundlegend von anderen KI-Anwendungen unterscheiden. Sie beeinflussen nicht nur Informationsprozesse, sondern greifen unmittelbar in soziale Beziehungen, emotionale Bedürfnisse und menschliches Verhalten ein. Die eigentliche regulatorische Herausforderung besteht daher darin, zu entscheiden, welche Art von Beziehung zwischen Mensch und Maschine wir künftig überhaupt zulassen wollen.
