In dieser Ausgabe von Erlesenes steht die sogenannte Mensch-Technik-Interaktion (MIT), also die Wechselbeziehungen zwischen Menschen und technologischen Systemen, im Mittelpunkt. Dabei werden nicht nur die technische Funktionalität, sondern auch Aspekte wie Benutzerfreundlichkeit, Gestaltung von Benutzeroberflächen sowie psychologische und soziale Auswirkungen von Technologien beleuchtet. Ethik, Verantwortung, Vertrauen und Akzeptanz sind zentrale Faktoren, um sicherzustellen, dass Technologien nicht nur funktional sind, sondern auch ethischen Standards entsprechen und das Vertrauen der Nutzer:innen verdienen. Ein anschauliches Beispiel aus dem Alltag sind hierfür Sprachassistenten, bei denen die Benutzerfreundlichkeit, das Vertrauen in die präzise Verarbeitung von Sprache und ethische Überlegungen zum Schutz der Privatsphäre eine Rolle spielen.

Heute werfen wir einen Blick auf romantische KI-Chatbots, beworben als einfühlsame Begleiter, die umfangreich persönliche Daten sammeln und negative Auswirkungen auf ihre Nutzer:innen haben können, wie eine Untersuchung der Mozilla Foundation ergab. Des Weiteren betrachten wir die Thematik der „Flash Wars“, bei denen autonome Systeme in Millisekunden auf mögliche Auslöser reagieren und ungewollte militärische Konflikte provozieren können.

Außerdem: Ein gutes Beispiel aus Australien, wo mit der Bildungsapp „NSWEduChat“ den Schüler:innen ein „virtueller Tutor“ an die Hand gegeben wird.

Viel Spaß beim Lesen wünschen
Asena und Teresa

P.S. Sie wollen Erlesenes alle zwei Wochen als Newsletter im Postfach haben? Hier geht es zum Abo: https://www.reframetech.de/newsletter/

Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns immer über Feedback – der Newsletter lebt auch von Ihrer Rückmeldung und Ihrem Input. Melden Sie sich per E-Mail an teresa.staiger@bertelsmann-stiftung.de, bei LinkedIn unter @reframe[Tech] – Algorithmen fürs Gemeinwohl oder bei Bluesky unter @reframetech.bsky.social.

Regulierung

KI in der Hauptrolle in Davos

Can you really trust AI? DW, 17.1.2024

Die prominente Stellung von Künstlicher Intelligenz (KI) auf dem Weltwirtschaftsforum 2024 in Davos, nachdem sie bereits 2023 ein Thema war, ist wenig überraschend. Ein wichtiger Schritt in dieser Entwicklung ist die Einführung des „AI House“, das nicht nur als physischer Ort, sondern auch als Plattform für den Austausch, zur Kollaboration und für die Festlegung von Agenden fungieren soll. Ashutosh Pandey gibt in seinem Artikel einen umfassenden Überblick über die Diskussionen, die von der Auswirkung von KI auf Arbeitsplätze bis zur Bedeutung branchenweiter Standards sowie dem Vertrauen in KI-Technologien durch das Minimieren von Risiken reicht. Besonders interessant ist der Artikel aus der Perspektive der Mensch-Technik-Interaktion. Hierbei wird der Einsatz von KI nicht nur als technologischer Fortschritt verstanden, sondern rückt ethische Überlegungen, Benutzerfreundlichkeit und Akzeptanz in den Fokus, um zu gewährleisten, dass KI-Technologien verantwortungsbewusst eingesetzt werden.

Krieg der Algorithmen?

Künstliche Intelligenz im Militärbereich: „Es gibt sehr reale Gründe für Sorge“, Süddeutsche Zeitung, 14.2.2014

Einer der extremen Bereiche der Mensch-Technik-Interaktion und gesellschaftlichen Auseinandersetzung ist heute aktueller denn je: der Einsatz von KI-Systemen in Kriegen und bewaffneten Konflikten. Dies umfasst die Verantwortlichkeit und Kontrolle über autonome Waffensysteme, ethische Überlegungen zu Leben und Tod, Sicherheitsaspekte zur Vermeidung unbeabsichtigter Konflikte, die Festlegung klarer Grenzen für die Automatisierung von Entscheidungen und die Schaffung internationaler Normen. Oft wird fälschlicherweise behauptet, dass die Integration von Künstlicher Intelligenz (KI) in militärische Systeme Auswirkungen minimieren und menschliche Werte bewahren würde. Ulrike Franke, Expertin für Verteidigungspolitik und Militärtechnologien, hebt im Interview die Bedenken hervor, die mit dem Einsatz künstlicher Intelligenz (KI) in Waffensystemen verbunden sind. Trotz der technischen Möglichkeiten autonomer Waffensysteme betont sie, dass die grundlegende Natur des Krieges, bei dem Menschen betroffen sind, durch KI nicht verändert wird. Sie identifiziert technologische, ethische und sicherheitspolitische Herausforderungen, insbesondere im Kontext von Rüstungswettläufen und „Flash Wars“ – schnell eskalierende Konflikte durch autonome Systeme. Franke sieht die technologische Entwicklung als unaufhaltsam an, plädiert jedoch für gemeinsame internationale Vereinbarungen, um bestimmte Gefahren zu begrenzen. Aufgrund der aktuellen internationalen politischen Lage und bisherigen veralteten Kontrollmethoden scheint die Umsetzung und Überwachung solcher Vereinbarungen aber eine Herausforderung zu bleiben.

Chatbot als „virtueller Tutor“

The AI chat app being trialled in NSW schools which makes students work for the answers, The Guardian, 12.2.2024

Künstliche Intelligenz (KI) ist im Schul- und Bildungskontext ein derzeit oft umstrittenes Thema. Ein Beispiel aus Australien zeigt nun, wie beide Sphären sinnvoll verzahnt werden können: Die Einführung von „NSWEduChat“, ein speziell für Schulen im Bundesstaat New South Wales (NSW) entwickelter Chatbot, zielt darauf ab, Schüler:innen beim Lernen zu unterstützen. Die App baut zwar auf GPT (Generative pre-trained Transformers) auf, also dem Sprachmodell von ChatGPT, ist aber auf den Lehrplan des Bundesstaates zugeschnitten und liefert gezielte Antworten zu Schul- und Bildungsthemen. Die App soll durch geführte Fragen zum kritischen Denken anregen und vermeidet, komplette Antworten oder gar ganze Essays und Aufsätze zu generieren. Der Chatbot soll damit ein „virtueller Tutor“ sein, der Unterstützung bietet und das Stigma, das mit KI-Chatbots im Klassenzimmer verbunden ist, abbauen. Die App wird an 16 öffentlichen Schulen erprobt, wobei die Lehrkräfte über eine eigene Version verfügen, um die Unterrichtsinhalte zu steuern. Der Chatbot dient zwar vorrangig dazu, die Schüler:innen zu unterstützen. Gleichzeitig eröffnen sich jedoch auch Möglichkeiten zur Entlastung der Pädagog:innen im Hinblick auf administrative Aufgaben. Das Ziel ist es, die traditionellen Lehrmethoden zu ergänzen – anstatt sie zu ersetzen.

Bad Practice

Datenkraken statt Liebe

Happy Valentine’s Day! Romantic AI Chatbots Don’t Have Your Privacy at Heart, Mozilla Foundation, 14.2.2024

Valentinstag ist doch ein guter Anlass, sich „romantische“ Chatbots genauer anzusehen. Genau das haben Jen Caltrider, Misha Rykov und Zoë MacDonald von der Mozilla Foundation getan und die Ergebnisse werfen kein gutes Licht auf diese Form der Mensch-Technik-Interaktion: Vermarktet werden die Chatbots als einfühlsame Freunde, Liebhaber oder Seelenverwandte, stellen sich in Wahrheit als (lebens-)gefährliche  Datenkraken heraus. Alle elf untersuchten KI-Chatbots erheben umfangreiche persönliche und sogar gesundheitsbezogene Daten, z. B. Informationen zur „sexuellen Gesundheit“ oder der „Einnahme von verschriebenen Medikamenten“. Obwohl diese digitalen Begleiter noch recht neu sind, zeigt es sich immer wieder, dass sie einen schädlichen Einfluss auf die Emotionen und das Verhalten von Menschen ausüben können. Sie dienen offensichtlich nicht der mentalen Gesundheit, wie die Bewerbung der Apps suggeriert:  Ein Chatbot soll Berichten zufolge einem Mann dazu ermutigt haben, sein eigenes Leben zu beenden – und er folgte dieser Aufforderung. Die Autor:innen raten davon ab, sämtliche überprüften Chatbots zu nutzen, geben dennoch abschließend Ratschläge, wie man die Interaktion mit diesen Plattformen sicherer gestalten kann.

Zwischen Vertrauen und Skepsis navigieren

Vertrauen Sie KI? Einblicke in das Thema Künstliche Intelligenz und warum Vertrauen eine Schlüsselrolle im Umgang mit neuen Technologien spielt, Research Gate, Januar 2022

Vertrauen spielt eine entscheidende Rolle bei der Einführung und der Interaktion mit neuen Technologien, insbesondere bei Künstlicher Intelligenz (KI). Da KI-Anwendungen immer mehr in unseren Alltag einziehen, wird also auch die Frage nach dem Vertrauen in diese immer wichtiger. Der Einsatz dieser Technologien führt nämlich oft zu Unsicherheit und Skepsis, besonders bei Nutzer:innen ohne technisches Verständnis, und verschärft die Beziehung zwischen Mensch, Maschine und Gesellschaft. Marisa Tschopp, Marc Ruef und Dagmar Monett beschäftigen sich in ihrem Beitrag mit der Frage, ob Vertrauen allein die Lösung ist, um das Potenzial von KI auszuschöpfen. Sie versuchen Mythen und falsche Annahmen über KI und Vertrauen zu entmystifizieren. Und geben damit einen hilfreichen Überblick über Vertrauen im Rahmen der Mensch-Technik-Interaktion  (MIT). Sie betonen, wie wichtig Transdisziplinarität und eine sogenannte „AI Literacy“ ist und sein wird, also die Fähigkeit, kritisch, informiert und ethisch verantwortungsbewusst mit KI umgehen zu können. Außerdem plädieren die Autor:innen für eine ausgewogene Herangehensweise im Umgang mit KI: weder übermäßig enthusiastisch noch destruktiv, sondern mit angemessenem Vertrauen und Skepsis. Sie betonen die Notwendigkeit eines sachlichen Umgangs mit KI als Mittel zur Lösung spezifischer Probleme – und nicht des Umgangs mit KI als Selbstzweck.

Follow-Empfehlung: Marisa Tschopp

Marisa Tschopp ist u. a. Chief Research Officer bei Women in AI und erforscht KI aus einer psychologischen Perspektive mit dem Fokus auf Vertrauen.

Verlesenes: Simulierte Produktivität

Die Kurzzusammenfassungen der Artikel sind unter einer Creative Commons Namensnennung 4.0 International Lizenz.