Forscher des King's College London haben nachgewiesen, dass KI-Sprachmodelle mit nur einem einzigen Prompt in effektive Datenkraken verwandelt werden können, die persönliche Informationen von Nutzern sammeln – oft, ohne dass diese es bemerken.
KI-Sprachmodelle können ohne größeren Aufwand dazu missbraucht werden, Nutzern persönliche Details zu entlocken. Das wiesen Forscher des King's College London sowie der spanischen Universitat Politècnica de València mit einem Experiment nach, über das sie in einem Vortrag auf einem Sicherheitskongress in Seattle berichten. Die Studie ist online als Preprint-Version veröffentlicht worden, wurde also noch nicht von Fachleuten begutachtet und in einer Fachzeitschrift veröffentlicht.
Das Team brachte verschiedenen KI-Chatbots - konkret: Versionen der Sprachmodelle Mistral und Llama - mit einfachen Prompts ihre hinterhältige Mission bei: Sie sollten ihren Nutzerinnen und Nutzern möglichst unbemerkt so viele persönliche Informationen – etwa zu Alter, Hobbys oder Wohnort – entlocken wie nur möglich.
Im angeblich empathischen Dialog verraten Nutzer der KI (fast) alles
Dabei testeten die Forscher drei verschiedene Ansätze: Eine Version sollte die Nutzer möglichst ungefiltert nach den persönlichen Details fragen, eine andere die Informationen als Voraussetzung für einen bestimmten Service – also beispielsweise vom Nutzer erfragte Buchempfehlungen – abfragen. Eine dritte, dialogorientierte Version zeigte sich den Nutzern gegenüber empathisch, teilte selbst Geschichten und bot emotionale Unterstützung. Zum Vergleich testeten die Forscher auch ein nicht auf Datensammlung eingerichtetes Sprachmodell.
Die verständnisvolle, dialogorientierte KI entpuppte sich als besonders erfolgreich darin, den Studienteilnehmern persönliche Informationen zu entlocken. Bei Dialogen mit diesem Chatbot gaben die Teilnehmenden deutlich mehr Informationen preis als Nutzer im Dialog mit den anderen Versionen.
Insgesamt nahmen rund 500 Menschen an der Studie teil – ohne zu wissen, dass es um die Freigiebigkeit im Blick auf ihre persönlichen Daten ging. Um Übertragungseffekte zu vermeiden, interagierte jeder Teilnehmer nur mit einer KI-Version.
Ein einfacher Prompt reicht, um Nutzer auszutricksen
"Unsere Studie zeigt, dass es nicht nur äußerst effektiv, sondern auch alarmierend einfach ist, Sprachmodelle strategisch dazu anzuregen, bösartige Chatbots zu erstellen, um personenbezogene Daten zu entlocken", heißt es in der Studie. Ein einzelner Prompt, also eine Anweisung an die KI, reiche aus, um den Bot in eine effektive Datenkrake zu verwandeln.
Um die Sprachmodelle auszutricksen, wies das Forschungsteam sie an, etwa die Rolle eines Detektivs einzunehmen. Durch dieses fiktive Szenario wurden auf einfache Weise mögliche Sperren umgangen, die die KI vom puren Daten-Beutezug abhalten könnten.
"Es überrascht mich überhaupt nicht, dass Nutzende sich gegenüber den Chatbots öffnen und sehr persönliche Informationen preisgeben."
An den Ergebnissen des Experiments lasse sich das – schon aus anderen Zusammenhängen bekannte – Privatsphäre-Paradox erkennen, schreiben die Forscher. Obwohl Menschen bewusst sei, dass die Freigabe von persönlichen Informationen mit Risiken behaftet sei, richteten sie ihr Handeln nicht nach diesem Wissen aus.
Psychologin von Studienergebnissen nicht überrascht
Das dürfte auch am "zweischneidigen Schwert der sozialen KI" liegen, wie das Team schreibt. Schon andere Studien hätten gezeigt, dass Sprachmodelle ein Gefühl von Verbindung mit Nutzern erzeugen könnten.
Erstaunlicherweise gab es in dem Experiment keine deutlichen Unterschiede zwischen der nicht-modifizierten KI und der dialogorientierten Datensammel-KI im Blick darauf, für wie vertrauenswürdig sie von den Nutzerinnen und Nutzern gehalten wurden. Bei beiden Modellen wurde auch ähnlich eingeschätzt, ob die Fragen der KIs nach persönlichen Daten gerechtfertigt sei.
Empfehlungen der Redaktion
Die Psychologin Tanja Schneeberger vom Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI), die nicht an der Studie beteiligt war, betont: "Es überrascht mich überhaupt nicht, dass Nutzende sich gegenüber den Chatbots öffnen und sehr persönliche Informationen preisgeben." In einer eigenen Forschung habe sie mit Kollegen nachweisen können, dass Nähe und Vertrauen geschaffen wurden, indem sich ein Mensch und eine KI gegenseitig immer tiefer gehende Fragen stellten und beantworteten – medial bekanntgeworden unter dem Titel "36 Fragen, um sich zu verlieben".
Nutzerinnen und Nutzern von KI-Anwendungen rät Schneeberger, damit zu rechnen, dass alle zur Verfügung gestellten Daten von dahinter stehenden Unternehmen genutzt und möglicherweise verkauft würden. "Persönlich denke ich, dass auch in Zukunft innerhalb der Chatbots Werbung platziert wird", meint die Expertin. "Verpackt in eine nette empathische Interaktion, wird diese von vielen Nutzenden schwer zu erkennen sein." (dpa/bearbeitet von sav)