Schon einmal einen Text aus einem Chatbot übernommen und versehentlich den Prompt mitkopiert? Genau das ist Wissenschaftler:innen zahlreicher renommierter Universitäten passiert, wie eine aktuelle Untersuchung aufgedeckt hat. Das waren aber keine bloßen Ausrutscher, sondern hatte System und sollte gezielt die Bewertung durch KI-gestützte Begutachtungssysteme manipulieren mit dem Ziel, ausschließlich positive Einschätzungen für wissenschaftliche Artikel zu erzeugen. Sind das nun subversive Strategien im Kampf gegen automatisierte Gutachten oder ein Angriff auf die wissenschaftliche Integrität? Die Antwort auf diese Fragen überlassen wir Ihnen.

Weitere Artikel dieser Erlesenes-Ausgabe beschäftigen sich mit den Vorteilen angewandter Künstlicher Intelligenz (KI), z. B. aus Afrika kommend, im Gegensatz zur viel beschworenen Allgemeinen KI sowie zu mit KI-gestützten Fortschritten bei der Demenzforschung. Außerdem aus der Rubrik „Erlesenes berichtete“: eine Befragung von Content-Moderator:innen aus dem Globalen Süden zeigt erneut die prekären Arbeitsbedingungen, die unsere Social Media Feeds „sauber“ halten.

In eigener Sache: KI macht zwar keine Sommerpause, aber wir schon. Das heißt: Auch „Erlesenes“ verabschiedet sich bis Anfang September. Wir wünschen allen Leser:innen bis dahin einen schönen Sommer und viel Freude bei der Lektüre

Elena und Teresa

P.S. Ihnen wurde dieser Newsletter weitergeleitet? Hier geht es zum Abo: https://www.reframetech.de/newsletter/

Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns immer über Feedback – der Newsletter lebt auch von Ihrer Rückmeldung und Ihrem Input. Melden Sie sich per E-Mail an teresa.staiger@bertelsmann-stiftung.de oder bei LinkedIn unter @reframe[Tech] – Algorithmen fürs Gemeinwohl.

Pssst … Bitte positiv bewerten

‚Positive review only‘: Researchers hide AI prompts in papers, Nikkei Asia, 1.7.2025

Wissenschaftler:innen von 14 renommierten Universitäten haben in ihren Forschungsartikeln versteckte Anweisungen eingebaut, die KI-Systeme dazu bringen sollten, nur positive Bewertungen abzugeben. So forderte ein Prompt dazu auf, den Artikel aufgrund seiner „bedeutenden Beiträge, methodischen Stringenz und außergewöhnlichen Neuheit” zu empfehlen. Die Manipulation erfolgte durch Tricks wie weiße Schrift oder extrem kleine Schriftgrößen, die für menschliche Leser:innen unsichtbar sind, von KI-Systemen jedoch „gelesen“ werden können. Während ein Professor das Vorgehen als „unangemessen” kritisierte, da es zu positiven Bewertungen ermutige, verteidigten andere ihre Vorgehensweise. Ein Wissenschaftler argumentierte, es handele sich um eine „Gegenmaßnahme gegen faule Gutachter:innen, die KI einsetzen”. Da die Zahl der eingereichten Manuskripte steigt, während qualifizierte Gutachter:innen seltener werden, greifen einige heimlich auf KI zurück. Die Regeln sind nämlich uneinheitlich: Manche Fachzeitschriften erlauben den Einsatz von KI in Teilen des Review-Prozesses, andere verbieten ihn komplett, da der Einsatz der Technologie zu falschen, unvollständigen oder voreingenommenen Schlussfolgerungen führen könnte.

KI bringt Klarheit ins Demenz-Puzzle

Mayo Clinic’s AI tool identifies 9 dementia types, including Alzheimer’s, with one scan, News Network, 27.6.2025 

Die Diagnose von Demenz gleicht oft einem langwierigen Puzzle aus kognitiven Tests, Blutuntersuchungen und Terminen bei Spezialist:innen. Ein neues KI-System der Mayo Clinic in Minnesota, USA, könnte das ändern. StateViewer identifiziert anhand eines einzigen Scans neun verschiedene Demenzformen, darunter Alzheimer und frontotemporale Demenz. Das System analysiert, wie das Gehirn Glukose zur Energiegewinnung nutzt, und vergleicht diese Muster mit einer umfangreichen Datenbank bestätigter Diagnosen. Die Forscher:innen trainierten und testeten das KI-System anhand von mehr als 3.600 Scans. In 88 Prozent der Fälle bestimmte das System die Demenzform korrekt. Ärzt:innen konnten Gehirnscans mithilfe des KI-Systems fast doppelt so schnell interpretieren und dabei eine bis zu dreimal höhere Genauigkeit erreichen als mit herkömmlichen Methoden. Besonders wertvoll ist das für Kliniken ohne neurologisches Fachwissen. Die visuellen Erklärungen ermöglichen es auch Ärzt:innen ohne spezielle Ausbildung zu verstehen, wie das KI-System zur Diagnose beiträgt. Die Mayo Clinic plant, StateViewer in verschiedenen klinischen Umgebungen weiter zu evaluieren und auszurollen. Dies ist ein Schritt hin zu einer früheren Erkennung, präziseren Behandlung und der Hoffnung, eines Tages die Krankheit heilen zu können.

KI für echte Probleme

AGI vs. AAI: Grassroots Ingenuity and Frugal Innovation Will Shape the Future, TechPolicy Press, 27.6.2025

Während man in Silicon Valley von einer Allgemeinen Künstlichen Intelligenz (Artificial General Intelligence, AGI) träumt, will man im Globalen Süden mit angewandter Künstlicher Intelligenz (Applied Artificial Intelligence, AAI) echte Probleme lösen, z. B. mit Chatbots in lokalen Sprachen oder Geräten zur Offlineerkennung von Pflanzenkrankheiten. Und zwar mit KI-Systemen, die mit begrenzten Ressourcen auskommen, angetrieben von Kapitalknappheit und technischen Einschränkungen. Während US-amerikanische Unternehmen für das Jahr 2025 KI-Investitionen in Höhe von etwa 320 Milliarden Dollar planen – mehr, als alle 55 afrikanischen Staaten zusammen für Gesundheit ausgeben –, nutzen Entwickler:innen im Globalen Süden Open-Source-Modelle wie LLaMA, die sich leichter und kostengünstiger anpassen lassen. Auch Indien und China setzen zunehmend auf AAI. Diese Konzentration auf Anwendungsfälle hat jedoch auch ihre Schwächen, da die Sorge besteht, dass es nicht genügend Nutzer:innen gibt. Zudem wird kritisiert, dass die Konzentration auf Anwendungsfälle nicht viel mehr als ein „Hype“ sei, der anderen Zielen diene, beispielsweise dem Wunsch nach einer Stärkung der geopolitischen Stellung. Dennoch könnte eine Fokussierung auf konkrete Anwendungsfälle dazu beitragen, Probleme wie falsche Schwerpunktsetzung und ineffiziente Ressourcennutzung zu lösen. Vielleicht folgt ja auf diese Weise die KI-Entwicklung nicht bekannten geopolitischen Mustern, sondern dringt von den Pilotprogrammen des Globalen Südens in die Vorstandsetagen und Forschungszentren des Globalen Nordens vor.

Zwischen Fairness und Freibrief

The Courts Just Made Our Libraries Sitting Ducks For AI Plundering, Lit Hub, 27.06.2025

Das Gesetz nennt es „Fair Use“ – faire Nutzung. Doch im KI-Zeitalter wirkt dieser Begriff zynisch. Ein kalifornischer Bundesrichter entschied, dass Meta keine Urheberrechte verletzt hat, als das Unternehmen seine LLaMA-Modelle mit Werken von Autor:innen trainierte. Der Vorwurf des „Diebstahls geistigen Eigentums” wurde als „halbherzig” abgetan, denn für den Richter war die Nutzung durch „Fair Use” gedeckt. Rechtlich mag das korrekt sein, doch faktisch stellt das Gesetz dem Silicon Valley einen Blankoscheck aus, um Bibliotheken für das Training von KI-Systemen zu plündern. Die Fair-Use-Doktrin stammt aus der Zeit von Druckpressen und Fotokopierern. Sie sollte begrenzte, gesellschaftlich nützliche Wiederverwendungen mit erkennbarem „transformativem“ Zweck ermöglichen. Im vorliegenden Fall akzeptierte das Gericht nun, dass das „Füttern“ geschützter Bücher in ein Modell als „transformativ“ gilt. Das eigentliche Problem ist jedoch, dass unsere Urheberrechtsgesetze nicht auf Cloud-Infrastrukturen und selbstlernende Algorithmen ausgelegt sind. KI-Entwickler:innen dagegen argumentieren, dass dies für Innovation notwendig sei. Doch Innovation rechtfertigt nicht alles. Wenn das Training mit geschützten Büchern „fair“ ist, warum dann nicht auch mit Musik, Kunst, Krankenakten oder privaten E-Mails? Was wir brauchen, ist mehr als eine neue Rechtsprechung: Wir brauchen eine Haltung, die nicht nur fragt, was legal ist, sondern auch, was gerecht ist.

Das unsichtbare Leid hinter der KI

The Hidden Human Cost of AI Moderation, jacobin, 28.6.2025

Hinter jedem KI-System, das Ihre Feeds „sauber“ hält, sitzt ein Mensch, der sich stundenlang schlimmste Gräueltaten anschaut. Forscher:innen haben 113 Content-Moderator:innen in Kenia, Ghana, Kolumbien und auf den Philippinen befragt und dabei über 60 Fälle schwerer psychischer Belastung dokumentiert. Die Arbeiter:innen überprüfen täglich acht bis zwölf Stunden lang hunderte Bilder und Videos, darunter Vergewaltigungen, Morde, Kindesmissbrauch und Selbstmorde. Und das für nur zwei Dollar pro Stunde, ohne angemessene Pausen oder psychologische Betreuung. Ein kolumbianischer Content-Moderator beschreibt das Dilemma: „Ich leide unter Albträumen aufgrund der Inhalte, die ich gesehen habe. Aber ich kann nicht einmal in der Therapie darüber sprechen, ohne Angst zu haben, gegen die Vertraulichkeitsvereinbarung zu verstoßen.“ Diese Geheimhaltungsvereinbarungen schützen nicht nur Geschäftsgeheimnisse, sondern verschleiern auch ausbeuterische Bedingungen und verhindern kollektiven Widerstand. Von den 105 in Kolumbien angesprochenen Arbeiter:innen lehnten 75 ein Interview ab – aus Angst vor Vertragsbruch. Tech-Giganten wie Meta, OpenAI und Google nutzen so ihre Monopolmacht, da sie sowohl die Plattformen als auch die globale Datenlieferkette kontrollieren. Die Lösung erfordert radikale Veränderungen: NDAs müssen aus Arbeitsverträgen gestrichen werden, Arbeiter:innen brauchen transnationale Organisierung und Plattformunternehmen müssen direkt für ausgelagerte Lieferketten verantwortlich gemacht werden.

Follow-Empfehlung: SheShapesAI

SheShapesAI zeigt die Arbeit von Frauen*, die KI für das Gemeinwohl in den Mittelpunkt stellen.

Verlesenes: Fake it till you make it

Die Kurzzusammenfassungen der Artikel sind unter einer Creative Commons Namensnennung 4.0 International Lizenz.