Verbreitung über Social Media Wie KI für Kinderpornografie missbraucht wird
Künstliche Intelligenz wird zunehmend missbraucht, um Kinderpornografie zu erstellen, wie Vollbild-Recherchen zeigen. Manche Abbildungen sind künstlich generiert, andere basieren auf echten Kinderbildern oder gar echtem Kindesmissbrauch.
Über die Social-Media-Plattform Instagram werden unter bestimmten Hashtags tausende künstlich generierte Bilder von Kindern und Jugendlichen verbreitet. Viele werden in knapper Unterwäsche, Badebekleidung oder sexualisierten Posen dargestellt. Das zeigen Recherchen des SWR-Investigativformats Vollbild.
Einige Accounts, die solche Bilder teilen, verlinken auf Handels-, Crowdfunding- oder Community-Plattformen. Dort werden teilweise auch Abbildungen von explizitem sexuellem Kindesmissbrauch verbreitet, die mit künstlicher Intelligenz (KI) erstellt wurden. Expertinnen und Experten warnen vor der Gefahr der KI-generierten Missbrauchsabbildungen: Sie erschwerten die Ermittlungsarbeiten und könnten bei pädophilen Menschen die Bereitschaft erhöhen, reale Übergriffe zu begehen.
Handel mit KI-generierten Bildern von Kindesmissbrauch
Unter den verlinkten Community-Plattformen befindet sich Vollbild-Recherchen zufolge eine japanische Website, über die explizite KI-generierte Abbildungen von Kindesmissbrauch geteilt werden. Sie ist auch dem BKA bekannt und scheint den User-Kommentaren zufolge Menschen mit pädophiler Störung zur Vernetzung zu dienen.
Mehrere Nutzer verlinken von dort auf eine Website, die echte Abbildungen von Kindesmissbrauch enthält. Das bestätigt die "Internet Watch Foundation", eine internationale Meldestelle für sexuellen Kindesmissbrauch mit Sitz in Großbritannien.
Zudem kursieren KI-generierte Abbildungen, die auf echtem Kindesmissbrauch basieren. Darauf deuten Userkommentare unter KI-generierten Bildern hin, aber auch Beobachtungen der Internet Watch Foundation.
Fehlende Sicherheitsmechanismen
"Leute verkaufen Zugang zu solchen Bildern oder lassen sich fürs Erstellen bezahlen", sagt Dan Sexton von der britischen NGO. Die meisten Abbildungen von KI-generiertem Kindesmissbrauch fand die Organisation bislang im Dark Web. Mit steigender Anzahl erhöht sich laut Sexton aber das Risiko, dass immer mehr davon im Open Web landen. "Das ist nichts, was vielleicht in der Zukunft passieren könnte, sondern etwas, das bereits jetzt passiert."
Hergestellt werden die künstlichen kinder- und jugendpornografischen Abbildungen Vollbild-Recherchen zufolge vor allem mit einer Version des KI-Programms Stable Diffusion. Im Gegensatz zu den zwei großen konkurrierenden KI-Programmen DALL-E und Midjourney, die zur Bilderstellung dienen, ist Stable Diffusion eine Open Source Software, ihr Code ist öffentlich einsehbar. Die Software-Version umfasst keine Sicherheitsmechanismen, die beispielsweise die Erstellung von Nacktbildern verhindern. Das zeigt ein Selbstversuch der Vollbild-Redaktion.
Potenzielle Überlastung bei Behörden
Das BKA erfasst Fälle von KI-generierter Pornografie nicht gesondert, stuft die Gefahr bei Kinder- und Jugendpornografie insgesamt aber als hoch ein. Im Jahr 2022 seien die Fallzahlen um 7,4 Prozent bei Kinderpornografie sowie um 32,1 Prozent bei Jugendpornografie gestiegen. Hinzu komme, dass alltägliche, echte Fotos als Grundlage für KI-generierte Pornografie dienen könnten. Die künstlichen Abbildungen sind laut BKA schon jetzt kaum von echten zu unterscheiden.
"Was ich als Besorgnis empfinde, ist, dass sich die Zahl des verfügbaren Materials erhöhen wird, aber vor allen Dingen auch die inhaltliche Qualität", sagt Oberstaatsanwalt Markus Hartmann. Er leitet die Zentral- und Ansprechstelle Cybercrime (ZAC) in Nordrhein-Westfalen. Die Entwicklung könnte laut Hartmann dazu führen, dass Ermittlungsbehörden KI-generierte Bilder fälschlicherweise als neuen tatsächlichen Missbrauch bewerten und dadurch ressourcentechnisch an ihre Grenzen kommen.
KI-Kinderpornografie kann Täter triggern
Aber auch für Menschen mit pädophiler Störung sei das Angebot von künstlich generierter Kinderpornografie eine Gefahr, sagt Professor Klaus Michael Beier, Direktor des Instituts für Sexualwissenschaften und Sexualmedizin an der Charité in Berlin. Er leitet außerdem den Berliner Standort von "Kein Täter werden", ein Hilfsangebot für pädophile Menschen.
Das Problem: Wie echte Kinderpornografie führten auch KI-generierte Bilder zu einer Wahrnehmungsverzerrung, sagt Beier. Sie täuschten pädophilen Menschen vor, dass sexuelle Kontakte zwischen Kindern und Erwachsenen möglich seien und diese von Kindern sogar begehrt würden.
Seine Warnung stützt eine internationale Studie der finnischen NGO "Protect Children". An dieser haben mehr als 8.000 Menschen teilgenommen, die im Darknet Abbildungen von Kindesmissbrauch konsumieren. Rund ein Drittel der Befragten gibt an, nach dem Betrachten der Abbildungen tatsächlich Kontakt zu Kindern gesucht zu haben.
Mögliche Gesetzeslücke in Deutschland?
In Deutschland ist die Verbreitung, der Erwerb und der Besitz von kinder- oder jugendpornografischen Abbildungen nach Paragraf 184 b und c des Strafgesetzbuchs verboten. Doch da es bislang kaum eine Rechtsprechung zu KI-generierter Kinder- und Jugendpornografie gebe, sorgt das laut dem Justizminister von Rheinland-Pfalz, Herbert Mertin (FDP) für Ungewissheiten: "Ein Problem könnte sein, dass das bloße Herstellen, ohne es vertreiben zu wollen, gegebenenfalls straflos bleibt, wenn sie es mit künstlicher Intelligenz machen. Stellen Sie es mit echten Kindern her, dann ist es strafbar."
Daher habe die Justizministerkonferenz Bundesjustizminister Marco Buschmann (FDP) gebeten, eine Expertenkommission einzusetzen, die sich mit den neuen Entwicklungen auseinandersetzt, sagt Mertin.
EU-Gesetz verpflichtet Plattformanbieter
Eine Sprecherin des Bundesjustizministeriums schreibt auf Vollbild-Anfrage, man prüfe fortlaufend das "strafrechtliche Instrumentarium". Neben echten seien auch "regelmäßig mittels KI generierte kinder- und jugendpornografische Darstellungen” strafbar. Würden rechtswidrige Inhalte über Online-Plattformen wie Instagram oder der genannten japanischen Website verbreitet, greife der Digital Services Act. Das EU-Gesetz verpflichtet Plattformen, Meldeverfahren einzurichten und gegen die missbräuchliche Verwendung ihrer Dienste vorzugehen.
Sprecherinnen von Instagram und der japanischen Community-Plattform positionieren sich auf Vollbild-Anfrage klar gegen Kinderpornografie. Instagram gehe nicht nur gegen explizite sexuelle Inhalte vor, sondern auch gegen Profile, Seiten oder Kommentare, die nicht eindeutig sexuell konnotierte Bilder von Kindern teilen, wenn die Bildunterschriften, Hashtags oder Kommentaren unangemessene Zeichen der Zuneigung enthalten.
Plattformen reagieren unzureichend
Vollbild-Recherchen zeigen jedoch, dass Instagram und die japanische Website der Pflicht, rechtswidrige Inhalte zu entfernen, unzureichend nachkommen. Die Redaktion meldete im Zuge der Recherche mehrere Dutzend Instagram-Accounts, deren Besitzer damit werben, echte Kinder- und Jugendpornografie zu verkaufen.
Nur ein Drittel der Accounts wurden von Instagram innerhalb von 48 Stunden gelöscht. Bei den anderen konnte zunächst kein Verstoß gegen die Community-Richtlinien festgestellt werden. Erst auf nochmaligen Hinweis wurden auch die übrigen Accounts gelöscht.
Eine Sprecherin der japanischen Website schreibt, dass die von Vollbild gemeldeten KI-generierten kinder- und jugendpornografischen Abbildungen gelöscht worden seien. Doch auch nach ihrer Antwort sind vergleichbare KI-generierte Abbildungen von Kindesmissbrauch auf der Community-Plattform zu finden.
"Wir haben entsprechende rahmenrechtliche Regelungen in Deutschland, mit denen so etwas aus dem Netz entfernt werden kann", sagt der rheinland-pfälzische Justizminister Mertin. "Unser Problem ist immer nur, den Verursacher handhabbar zu machen."
Viele Täter säßen im Ausland und seien dadurch schwer greifbar. Außerdem sei die internationale Zusammenarbeit zum Teil schwierig. Oberstaatsanwalt Hartmann sieht das Problem vor allen Dingen darin, dass es für Plattformbetreiber nicht leicht sei, entsprechendes Bildmaterial zu erkennen.
Eine Fernseh-Dokumentation zu diesem Thema können Sie ab Montag, 8. Januar um 6 Uhr in der ARD-Mediathek abrufen.