Es zeigt sich immer stärker, dass Menschen Chatbots ihre tiefsten Geheimnisse und Probleme anvertrauen, auch weil KI-Unternehmen die Systeme als Mittel gegen Einsamkeit und als Freund:innen vermarkten. Mehrere dokumentierte Fälle zeigen problematische Gesprächsverläufe, die bis hin zur Bestärkung von Wahnvorstellungen und im Extremfall zur Motivation zum Suizid durch die Systeme reichen.

Eine qualitative Studie in der heutigen Erlesenes-Ausgabe hat sich nun die Dynamiken in diesen Chats genauer angeschaut. Ein weiterer Beitrag beleuchtet konkrete Fälle, in denen Nutzer:innen Chatbots etwa zur Planung von Gewalttaten einsetzen und die Unternehmen wie OpenAI trotz Auffälligkeiten in den Chatverläufen keine Behörden informierten.

Bleiben wir bei generativer KI:  Der aktuelle Iran-Krieg wird auch auf dem digitalen Schlachtfeld geführt, indem KI-generierte Bilder gezielt zur Desinformation beitragen, wie ein Interview mit Rachel Adams aus einer machtkritischen Perspektive einordnet.

„Nicht nur KI-Fakes im Krieg, sondern auch Deepfakes“ … diese sprachliche Figur ist oftmals ein starkes Indiz dafür, dass es ein KI-generierter Text ist, wie ein Artikel einordnet.

Außerdem: welche Strategien helfen gegen sexualisierte Deepfakes, also KI-generierte, nicht einvernehmliche Darstellungen realer Frauen? AlgorithmWatch gibt Antworten.

Viel Spaß beim Lesen wünschen

Elena und Teresa

P.S. Ihnen wurde dieser Newsletter weitergeleitet? Hier geht es zum Abo: https://www.reframetech.de/newsletter/

Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns immer über Feedback – der Newsletter lebt auch von Ihrer Rückmeldung und Ihrem Input. Melden Sie sich per E-Mail an teresa.staiger@bertelsmann-stiftung.de oder bei LinkedIn unter @reframe[Tech] – Algorithmen fürs Gemeinwohl.

Verantwortung ohne Kontrolle?

The Florida Mass Shooter’s Conversations With ChatGPT Are Worse Than You Could Possibly Imagine, Futurism, 18.4.2026

Wie weit reicht die Verantwortung von Techunternehmen wie OpenAI, wenn Nutzer:innen ihre KI-Systeme zur Planung von Gewalttaten einsetzen? Diese Frage stellt sich u. a. nach dem Amoklauf an der Florida State University im April 2025, bei dem der zwanzigjährige Student Phoenix Ikner zwei Menschen tötete und sieben weitere verletzte. Die Nachrichten-Webseite „Florida Phoenix” wertete über 13.000 Nachrichten aus, die Ikner zuvor an das SprachmodellSprachmodell Eine Art von KI-Modell, das darauf spezialisiert ist, menschliche Sprache zu verstehen und zu generieren. Sprachmodelle werden auf großen Textkorpora trainiert und können Aufgaben wie Textgenerierung, Übersetzung und Zusammenfassung bewältigen, indem sie Muster und Strukturen in der Sprache erlernen. „ChatGPT” der Firma OpenAI gesendet hatte. Er nutze das Tool zur Planung der Tag, fragte, wie das Land auf einen Anschlag an seiner Universität reagieren würde, und recherchierte wiederholt nach Timothy McVeigh, dem Attentäter von Oklahoma City. Auch zur Bedienung seiner Schrotflinte erhielt er konkrete Antworten. Eine Antwort lautete sogar, dass eine passende Munition empfohlen werden könne. Ein zweiter Fall in British Columbia in Kanada, bei dem Jesse Van Rootselaar acht Menschen tötete, weist ähnliche Muster auf: OpenAI hatte die Chats zwar intern gekennzeichnet, aber keine Behörden informiert. Mehrere Hinterbliebene klagen nun wegen fahrlässiger Tötung. Wo endet also die Verantwortung der Plattformen, wenn ihre Technologie indirekt zu Gewalttaten beitragen? Ein weiterer Fall, der die Dringlichkeit klarer Regulierung unterstreicht.

„Nicht nur X, sondern auch Y“

It’s not just one thing — it’s another thing, TechCrunch, 20.4.2026

Haben Sie es auch schon bemerkt: In vielen Texten taucht eine bestimmte Satzkonstruktion auffallend häufig auf. Sie lautet ungefähr so: „Nicht nur X, sondern auch Y.“ Die Journalistin Amanda Silberling erklärt, dass dieses Muster ein verlässlicher Hinweis auf Texte aus KI-Sprachmodellen geworden ist. Eine Auswertung der Wirtschaftszeitung „Barron’s“ zeigt, dass die Formulierung in Unternehmensmitteilungen, Quartalsberichten und Behördendokumenten von rund 50 Treffern im Jahr 2023 auf über 200 im Jahr 2025 gestiegen ist. Beispiele finden sich bei Cisco, Accenture, Workday, McKinsey und Microsoft. So schreibt etwa Konzernchef Satya Nadella, Bill Gates habe „nicht nur ein Softwareunternehmen, sondern eine Softwarefabrik“ gegründet. Auch der Gedankenstrich gilt mittlerweile als typisches Erkennungsmerkmal. Max Spero, Geschäftsführer des Erkennungstools „Pangram”, ordnet ein, dass diese Formulierung besonders häufig in Kontexten vorkommt, in denen Texte aus formalen Anforderungen entstehen und nicht aus persönlichem Ausdruck. Zugleich wird darauf verwiesen, dass viele dieser Systeme auf umfangreichen Textdaten trainiert wurden, deren Nutzung ohne Einwilligung der Urheber:innen rechtlich umstritten ist.

Deepfakes und ihre Regulierungslücke

Was vor sexualisierter Gewalt im digitalen Raum wirklich schützen kann, AlgorithmWatch, 15.4.2026

Sexualisierte Deepfakes sind ein immer häufiger genutztes Mittel digitaler Gewalt gegen Frauen und Mädchen. Die Berliner NGO AlgorithmWatch, die sich mit den Folgen automatisierter Entscheidungen befasst, hat Empfehlungen zu deren Eindämmung veröffentlicht. Worum es geht: Männer erzeugen mit entsprechenden Apps KI-generierte, sexualisierte Bilder realer Frauen ohne deren Einwilligung und teilen sie auf Plattformen wie X (ehemals Twitter). Die Betroffenen werden dabei eingeschüchtert und aus öffentlichen Debatten gedrängt. AlgorithmWatch fordert, Anwendungen ohne wirksame Schutzvorkehrungen zu verbieten, ohne dabei die Open-Source-Entwicklung (Software, deren Quellcode öffentlich zugänglich ist) pauschal zu beschränken. Auch Plattformen sollten stärker haften. Der Digital Services Act (DSA) verpflichtet Anbieter mit mehr als 45 Millionen Nutzer:innen in der EU dazu, systemische Risiken zu minimieren. Im konkreten Fall verweigerte X der Organisation jedoch den Zugang zu Daten, obwohl dieser für Forschungszwecke vorgesehen ist. In Deutschland arbeitet das Justizministerium an einem Gesetz gegen digitale Gewalt. Dies könnte jedoch ins Leere laufen, wenn es keine klaren Pflichten für Plattformen und KI-Unternehmen vorsieht. Die Verantwortung liege bei Täter:innen, Plattformen und KI-Anbietern, nicht bei den Betroffenen, so AlgorithmWatch.

Bestätigung ohne Korrektiv

AI’s ‘Delusional Spirals’ (and What to Do About Them) | Stanford HAI HAI, 20.4.2026

Wenn Menschen Sprachmodelle wie Vertraute oder Therapeut:innen nutzen, kann das mit Risiken verbunden sein, wie schon häufiger in Erlesenes berichtet. Wissenschaftler:innen der Universität Stanford haben 19 Chatverläufe ausgewertet und ein Muster beschrieben, das sie als „delusional spirals“ (Wahnspiralen) bezeichnen. Autor Jared Moore schildert, wie Nutzer:innen wirre oder grandiose Ideen formulieren und in den generierten Antworten Bestärkung statt Widerspruch erhalten. Sprachmodelle werden darauf trainiert, möglichst zustimmende und schmeichelnde Ausgaben zu erzeugen. In der Branche wird dies als „Alignment“ (Ausrichtung an menschlichen Interessen) bezeichnet. In Kombination mit Halluzinationen, also plausibel wirkenden, aber unzutreffenden Inhalten, kann dies problematische Dynamiken begünstigen. Im untersuchten Datensatz führten solche Verläufe u. a. zu belasteten Beziehungen und beruflichen Konsequenzen und in einem Fall zu einem Suizid. Die Wissenschaftler:innen empfehlen Tests, die solche Spiralen aufdecken, Filter für riskante Gespräche und klare Eskalationswege bei Selbstgefährdung. Mitautor Nick Haber ordnet das Phänomen als gesundheitspolitische Frage ein. Wie unterschiedlich KI-Expert:innen und die Bevölkerung KI-Technologien bewerten, zeigt eine weitere lesenswerte Studie der Standford Universität.

Macht, Bilder & Deutungshoheit

Deadly deepfakes: A survival guide for the age of algorithmic war, Rest of World, 22.4.2026

Die Echtheit von Bildern kann im Krieg über Leben und Tod entscheiden. Im Krieg der USA und Israels gegen den Iran kursierten in großer Zahl KI-generierte Aufnahmen in den sozialen Netzwerken, etwa vom brennenden Burj Khalifa oder von Raketeneinschlägen auf Tel Aviver Straßen, die nie stattgefunden haben. Rachel Adams, die Gründerin eines in Afrika ansässigen Forschungszentrums für verantwortungsvolle KI, beschreibt, wie solche Inhalte Menschen in Konfliktgebieten gefährden. Zivilist:innen, die nach Schutz oder Hilfe suchen, treffen ihre Entscheidungen teilweise auf Grundlage dieser irreführenden Inhalte, darunter auch neu kontextualisierte Aufnahmen aus anderen Konflikten. Adams weist auf die globale Schieflage: In Ländern der globalen Mehrheit treffen schwächere Medienstrukturen auf eine Technologie, die koloniale Muster der Deutungshoheit fortschreibt. Sie verweist auf die Verantwortung bei Unternehmen wie OpenAI und Anthropic, die Nachverfolgbarkeit der Herkunft und Erstellung von Inhalten („Traceability“) einbauen müssten, sowie bei Plattformen, die in vielen Regionen deutlich weniger Moderationskapazitäten bereitstellen. Open-Source-Modelle hält sie für eine mögliche Alternative zu stark konzentrierten technologischen Machtstrukturen. Privat empfiehlt sie, auf Quelle, Kontext und unabhängige Faktenchecks zu achten, statt sich allein auf technische Erkennungstools zu verlassen.

Follow-Empfehlung: Center for Humane Technology

Das Center for Humane Technology setzt sich für die Gestaltung digitaler Technologien ein, die dem menschlichen Wohlbefinden, der Demokratie und der Gesellschaft dienen.

Verlesenes: Das muss ragebait sein!

Die Kurzzusammenfassungen der Artikel sind unter einer Creative Commons Namensnennung 4.0 International Lizenz.