Durch KI entblößt

Durch KI entblößt

Der Fall Fernandes hat sexualisierten Deepfake-Missbrauch schlagartig in die öffentliche Debatte gerückt. Die Meinungen sind gespalten: Während einige lautstark protestieren, verharmlosen andere die Taten. Doch welche Folgen hat sexualisierter Deepfake-Missbrauch – und was bedeutet er für die Betroffenen?

– Linda Fränken, Gruppe Deepfakes und Digitale Körper

Wenige Klicks reichen. Auf Plattformen wie Reddit tauchen unter Beiträgen Angebote auf. Unauffällig, auf den ersten Blick leicht zu übersehen. Kommentare wie „Nudes/deepfakes? dm me!“. Wie selbstverständlich stehen sie neben ganz alltäglicher Kommunikation. etwa einem Lob des Stils oder einem Kompliment für ein Outfit. Solche vermeintlichen „Serviceangebote“ finden sich unter Beiträgen über Influencer:innen oder Prominente.

Und das ist erst der Anfang. Eine kurze Recherche auf Reddit genügt: Wer Begriffe wie „Deepfake“ in die Suchleiste eingibt, stößt schnell auf Beiträge, in denen die Erstellung von Deepfakes angeboten wird. Nutzende fragen außerdem nach Deepfakes bestimmter Personen oder suchen jemanden, der ihnen entsprechendes Material gegen Bezahlung erstellt.

Was macht Deepfakes so gefährlich

Deepfakes sind manipulierte Medieninhalte, die mithilfe von künstlicher Intelligenz erstellt werden. Hierbei ist es möglich, Stimmen, Gesagtes, Gesichter und Körper zu verändern oder einzelne Bereiche auszutauschen. Neuere Technologien sind in der Lage, täuschend echt erscheinende Inhalte zu erzeugen. Neben harmlosen Anwendungen im Unterhaltungsbereich können Deepfakes auch für sexualisierte Bild- und Videomanipulationen, Desinformation, Betrug oder Rufschädigung genutzt werden. Manipulationen und Betrügereien gibt es schon immer, doch moderne Technologien schaffen neue Möglichkeiten. Veränderte Bildinhalte lassen sich schneller und einfacher erstellen, während ihre Glaubwürdigkeit erhöht. Dies stellt die Strafverfolgung vor neue Herausforderungen. Auch Taten, die in die Persönlichkeitsrechte eingreifen, werden dadurch niederschwelliger und können leichter umgesetzt und verbreitet werden. Manipulation und Betrügereien gibt es schon immer, doch moderne Technologien schaffen laut dem Sozialarbeiter Patrick Stemmer, neue Möglichkeiten. Veränderte Bildinhalte sollen sich schneller und einfacher erstellen lassen, während ihre Glaubwürdigkeit erhöht wird. Dies stellt die Strafverfolgung vor neue Herausforderungen. Auch taten, die in die Persönlichkeitsrechte eingreifen, werden seiner Ansicht nach dadurch niedrigschwelliger und können leichter umgesetzt und verbreitet werden.

Die Rechtslage bezüglich des sexualisierten Bildern. Sie decken laut dem Bayerischen Staatsministerium der Justiz häufig nur Teilaspekte ab. Zivilrechtlich besteht die Möglichkeit, sich auf das allgemeine Persönlichkeitsrecht zu berufen. Doch auch hier ist es für Betroffene häufig schwierig, zu ihrem Recht zu kommen. Dies bestätigt auch Anna-Lena von Hodenberg. Mitgründerin von HaiteAid, gegenüber der WELT. Eine weitere Herausforderung besteht darin, dass Täter:innen auf Online-Plattformen häufig anonym agieren. Grundsätzlich bestehen weiterhin zahlreiche Herausforderungen, um sexualisierte Deepfake-Missbrauch wirksam zu bekämpfen. Das Bayerische Staatsministerium der Justiz sieht jedenfalls noch Anpassungsbedarf.

Die Rechtslage bezüglich sexualisiertem Deepfake-Missbrauch entwickelt sich aktuell weiter, weist jedoch noch Lücken auf. Ein wichtiges Beispiel ist die Tatsache, dass es in Deutschland bislang keinen eigenen Straftatbestand für sexualisierte Deepfakes gibt. In manchen Fällen können gesetzliche Vorschriften, etwa aus dem Bereich der Beleidigungs- oder Verleumdungsdelikte, herangezogen werden. Diese Tatbestände passen jedoch nicht immer zu KI-generierten sexualisierten Bildern. Zivilrechtlich besteht die Möglichkeit, sich auf das allgemeine Persönlichkeitsrecht zu berufen. Doch auch hier ist es häufig schwierig für Betroffene, zu ihrem

Recht zu kommen. Täter:innen agieren oft anonym auf Online-Plattformen. Grundsätzlich bestehen weiterhin zahlreiche Herausforderungen, um sexualisierten Deepfake-Missbrauch wirksam zu bekämpfen.

Auf bestimmten Plattformen wie Reddit entsteht der Eindruck eines fortlaufenden Zusammenspiels zwischen Angebot und Nachfrage. Da viele dieser Taten über Direktnachrichten begangen werden, bleibt ein Teil der Betroffenen möglicherweise lange unbemerkt. Sie wissen vielleicht gar nicht, dass sexualisierte Deepfakes mit ihrer Darstellung erstellt und verbreitet wurden.

Verharmlosung des Missbrauchs

Die mittlerweile sehr reale Gefahr sexualisierter Deepfakes zeigt unter anderem der Fall Collien Fernandes. Dieser rückte die Problematik stärker ins öffentliche Bewusstsein und trug dazu bei, dass in sozialen Medien vermehrt über sexualisierte Deepfakes und ihre Folgen diskutiert wurde und wird. Scrollt man durch Kommentare auf Instagram unter Beiträgen von Collien Fernandes oder anderen Personen, die das Thema aufgreifen, stößt man immer wieder auf Verharmlosungen, Unglauben oder Täter-Opfer-Umkehr. Relativierungen des Schadens, der durch sexualisierte Deepfakes entsteht, finden sich auch in Argumenten, die hervorheben, die Bilder seien schließlich nicht echt. Es entsteht der Eindruck, dass einige Menschen diese Form des Missbrauchs nicht als Problem wahrnehmen. Ähnliche Kommentare finden sich auch unter Beiträgen anderer Betroffener. Häufig wird ihnen nicht geglaubt und schlicht eine Lüge unterstellt. Besonders schwierig ist dies, wenn zusätzlich zur Unterstellung einer Lüge auch noch verschwörerische Motive der Betroffenen zugeschrieben werden. Solche Behauptungen finden sich unter Posts von Collien Fernandes oder anderen bekannten Personen, die das Thema Deepfakes öffentlich behandeln.

Hierzu passt die Kommunikation auf Reddit, wo sexualisierte Deepfakes so unaufgeregt und beiläufig angeboten werden, als handle es sich um aussortierte Kleidung auf einem Online-Marktplatz. Diese Beobachtungen fügen sich zu einem Bild zusammen, das darauf hindeutet, dass das Problembewusstsein für diese Thematik offenbar noch kein gesellschaftlicher Konsens ist.

Diese scheinbare Banalität im Internet steht in einem harten Kontrast zu den Folgen eines solchen Übergriffs für Betroffene. Während die Inhalte online oft beiläufig behandelt werden, sind die Auswirkungen für Betroffene real und belastend.

Die Folgen sind real – die Forschung erst am Anfang

Deepfake-Missbrauch betrifft Körper und Geist: Der eigene Körper wird auf Bildebene verändert und bearbeitet, beispielsweise indem das eigene Gesicht auf einen fremden Körper gesetzt wird. Diese Veränderung der körperlichen Darstellung gegen den eigenen Willen kann starke Reaktionen auf psychischer Ebene auslösen. Da das Ausmaß und damit auch die Relevanz des Themas noch vergleichsweise neu sind, steht die Forschung hierzu noch am Anfang.

Diesen Mangel zu beheben, ist ein Anliegen von Frau Dr. Emma Halfmann. Sie forscht als wissenschaftliche Mitarbeiterin am Fachbereich Psychologie und Sportwissenschaft der Justus-Liebig-Universität Gießen mit Schwerpunkt im Bereich Sozialpsychologie. Sie und ihre Abteilung führen in Kooperation mit der Ludwig-Maximilians-Universität München eine Studie zu digitalen Gewalterfahrungen durch Deepfakes durch. Frau Halfmann sind die psychologischen Konsequenzen für Betroffene von digitaler Gewalt in Form von Deepfakes bisher ein sehr unerforschtes Forschungsfeld. Aus diesem Grund möchte sie mit ihrer Forschung aus sozialpsychologischer Perspektive insbesondere die psycho-emotionalen und sozialen Effekte untersuchen. Dies beinhaltet beispielsweise die Fragestellung, ob der Selbstwert nach solchen Taten betroffen ist. Im Fokus steht dabei auch die erlebte Ungerechtigkeit.  Frau Dr. Halfmann erläutert auf Anfrage: „Erkenntnisse aus unseren Forschungsbemühungen werden helfen zu verstehen, welche Faktoren Personen gegebenenfalls resilienter gegenüber den negativen Effekten machen, welche Faktoren ein Coping begünstigen und gezielte Therapie-Angebote entwickeln zu können.“

Forschung zu bildbasiertem digitalem sexuellem Missbrauch existiert bereits. Eine systematische Übersichtsarbeit von Hellevik und Kolleg:innen aus dem jahr 2025 zeigt. Dieser hat für Betroffene weitreichende soziale und psychische Folgen. Nach der Verbreitung intimer Bilder gegen ihren Willen leiden viele Betroffene unter einem Verlust des Sicherheitsgefühls, Angst, Scham und Stress. Soziale Effekte wie Mobbing oder Rufschädigung können eine zusätzliche Belastung sein. In einigen Fällen berichten Betroffene sogar von schwerwiegenderen Folgen wie Depressionen oder posttraumatischen Belastungen. Wie Übertragbar solche Auswirkungen auf sexualisierten Deepfake-Missbrauch sind, ist noch nicht ausreichend erforscht. Aufgrund der ähnlichen Verletzung der sexuellen Selbstbestimmung erscheint es jedoch plausibel, dass auch hier vergleichbare Belastungen auftreten könnten.

Prävention statt Reaktion

Ein Mensch, der versucht, sich solchen Problematiken entgegenzustellen, ist Patrik Stemmer. Der Sozialpädagoge und Jugendsozialarbeiter arbeitet seit vielen Jahren mit Kindern und Jugendlichen verschiedenen Alters. Ein Herzensthema ist für ihn die medienpädagogische Bildung. Seit etwa zehn Jahren arbeitet er selbstständig, leitet Workshops und hält Vorträge aus diesem Themenbereich. Jüngeren Jahrgangsstufen wird zum Beispiel geholfen, ein ungutes Bauchgefühl bei Online-Chats mit anderen besser einordnen zu können oder auch Gefahren durch das Preisgeben persönlicher Informationen besser einschätzen zu können. Kindliche Neugier und Arglosigkeit können bei Straftaten ausgenutzt werden. Seine Workshops mit älteren Kindern behandeln vermehrt auch Themen wie Deepfakes, KI und künstlich erstellte Inhalte. „Sexualisierte Deepfakes sind tatsächlich immer ein Teil, das kommt oft von den Schüler:innen selbst. Es kommt in jedem Modul ein bisschen vor.“ Der Familienvater zeigt in diesen Workshops anhand harmloser Bilder, wie mühelos diese manipuliert werden können. Ein Kleidungsstück kann hierfür beispielsweise durch Befehle an die KI in ein Weihnachtskostüm verwandelt werden. Für eine Konfrontation mit der realen Gefahr erklärt Stemmer dann zum Beispiel: „Jetzt überlegt euch mal, ich würde hier jetzt kein Weihnachtskostüm draus machen, sondern ich sage: ,Mach mir hier ein Kleid!‘ oder ,Mach mir hier einen Bikini!‘ oder ,Mach das Kleid weg!‘ oder ,Mach den Bikini weg!‘ Das ist ja alles möglich.“ Die Teilnehmenden seien dann häufig sichtlich schockiert.

Um mit seiner Arbeit einen umfassenden Mehrwert zu schaffen, hält Stemmer auch Vorträge für Eltern. Dabei wird meist zu Beginn aufgezeigt, was heute mit KI schon alles möglich ist und welche Gefahren dies für ihre Kinder birgt. Dabei spielen auch sexualisierte Deepfakes eine wichtige Rolle. Durch diese verschiedenen Schwerpunkte seiner Arbeit kann Medienkompetenz umfassend gefördert werden.

Stemmer sieht digitalen Missbrauch durch neue technische Möglichkeiten als ein wachsendes Problem. Kinder und Eltern darüber aufzuklären, was sie tun können und wie sie im Ernstfall Unterstützung bekommen, ist darum ein wichtiges Lernziel seiner Workshops und Vorträge. Häufig befinden sich Menschen laut Stemmer in einer „erlernten Hilflosigkeit“. Wichtig ist ihm, aufzuzeigen, was erste Schritte sein können: Wo kann der Missbrauch gemeldet werden und wo gibt es Unterstützung für Betroffene? Dabei werden auch Organisationen wie HateAid oder der Weiße Ring vorgestellt, die unter anderem Beratungen für Betroffene anbieten.

Manchmal entstehen Taten oder Vorfälle zwischen Kindern. Dies geschieht meist ohne schädigende Absicht aus Unwissenheit. Bei älteren Kindern und Jugendlichen kommen bewusste Taten häufiger vor.

Ein weiterer wichtiger Teil der Arbeit von Patrik Stemmer sind verpflichtende Kurse für straffällige Jugendliche und junge Erwachsene. Bei diesen Veranstaltungen kommen verurteilte Straftäter:innen zusammen, die Delikte im digitalen Raum begangen haben. Die Bandbreite an Straftaten, denen Stemmer in diesen Kursen begegnet, ist groß. „Da war bereits alles dabei. es waren alles Straftaten im digitalen Raum. Da war alles dabei –von Kleinanzeigenbetrügereien bis hin zum Eindringen in den höchsten Persönlichkeitsraum, also zum Beispiel dem Filmen von Geschlechtsverkehr und dem anschließenden Verteilen in der Gruppe oder auch dem Photoshoppen einer Person.“

Warum werden Menschen Täter:innen

Die Gründe für Deepfake-Taten und andere Bildmanipulationen sind in den Kursen sehr unterschiedlich. „Manche sind sich der Tragweite gar nicht bewusst“. Diese senden beispielsweise sexualisierte manipulierte Bilder als Sticker auf WhatsApp und denken, sie erlaubten sich einen Gag. Zwar einen verletzenden, doch in ihren Augen trotzdem nur einen Scherz. Eine tiefergehende bösartige Intention ist in einem solchen Fall nicht vorhanden. Es gibt jedoch auch Taten, hinter denen Böswilligkeit oder Arglist steckt. Herr Stemmer beobachtet, dass Deepfakes häufig von dem Wunsch getrieben sind, das Opfer gezielt zu erniedrigen. Entgegen seiner ursprünglichen Vermutung sind Fälle, in denen die Täter:innen eigene Gewaltfantasien ausleben wollten, eher selten. Zumindest gab es nach seinem Wissen bislang in seinen Kursen keinen Fall, bei dem dies ein explizites Motiv war. Der Jugendsozialarbeiter betont jedoch, dass sein Arbeitsbereich ein sehr spezieller ist und seine Erfahrungen auf einer relativ kleinen Stichprobe beruhen. Noch seien sexualisierte Deepfakes, bei denen reale Personen in manipulierte Darstellungen eingefügt werden, ein vergleichsweise begrenztes Phänomen, das sich vor allem auf Pornoseiten und in einschlägigen Online-Foren abspielt. Doch Stemmer geht davon aus, dass dieses Phänomen künftig größere Ausmaße annehmen könnte.

Die Grenzen der Strafverfolgung

Die Altersspanne der Teilnehmenden seiner Kurse für straffällige Jugendliche liegt bei etwa 14 bis 23 Jahren. Stemmer beschreibt die jungen Erwachsenen im Kurs als häufiges Resultat der langsamen Justiz. Wenn die Jugendgerichtshilfe erst vier Jahre nach einer Tat vor der Haustür steht, um die Straffälligen zu verordneten Kursen einzusammeln, dann ist der Lerneffekt gering. Dies ist zumindest die Erfahrung des Sozialpädagogen.

Probleme in der Strafverfolgung haben auch Auswirkungen auf die Opfer eines solchen Missbrauchs. Nicht nur langsame Prozesse sind hier eine Erschwernis. Kinder und Jugendliche wissen häufig nicht, welche Rechte sie haben und wie sie ihre Rechte durchsetzen können. Oft wenden sie sich laut Stemmer noch nicht einmal an ihre Eltern. Aus Scham. Erwachsene kennen ihre Handlungsmöglichkeiten häufig besser, doch auch sie haben nach seiner Einschätzung oft Hemmungen. Auch gesellschaftliche Erfahrungen mit der Strafverfolgung und dem Justizsystem prägen das Verhalten von Betroffenen. Der Sozialpädagoge sieht darin einen möglichen Grund dafür, dass Betroffene selbst keine Anzeige erstatten, wenn sie häufiger von Fällen gehört haben, die eingestellt wurden oder bei denen der Strafverfolgungsprozess ein langer belastender Weg war. Auch wenn Täter:innen verurteilt wurden, aber kein ausreichender Schutz für Betroffene angeordnet wurde, kann dies verunsichernd wirken. Dies kann zum Beispiel sein, wenn Schutzmaßnahmen, Kontaktverbote, Annäherungsverbote oder andere Maßnahmen nicht erfolgen. Stemmer sieht die Strafverfolgungsbehörden und die Justiz als überlastet an. Vielleicht könnte hierbei die KI in Zukunft sogar helfen. Er glaubt jedoch, dass die Zustände eher noch schlimmer werden.

Blick nach vorn

Das Thema sexualisierte Deepfakes, die mithilfe von KI erstellt werden, ist sehr relevant, wird aber nach Einschätzung von Herrn Stemmer noch deutlich an Bedeutung gewinnen. Gründe dafür sind die rasante Entwicklung von KI und die immer besseren Ergebnisse mit geringerem technischem Aufwand. Er sieht darin eine mögliche Gefahr: „Wenn es sehr einfach ist und sehr breit verfügbar ist, senkt das die Schwelle zur Bereitschaft zu einer Straftat.“ Positiv könnte hier das vom Europäischen Parlament am 16. Juni 2026 beschlossene Verbot bestimmter Apps wirken, die zur Erstellung sexualisierter Inhalte eingesetzt werden können.

Die Arbeit von Stemmer könnte dazu beitragen, die Zahl möglicher zukünftiger Taten zu reduzieren und Kinder und Jugendliche für potenzielle Risiken zu sensibilisieren. Dies kann sie auch später noch schützen oder sie zumindest darauf vorbereiten, wie sie mit digitalem Missbrauch umgehen können.

Mehr aus der Gruppe Deepfakes und Digitale Körper