Amazon meldet Hunderttausende von Bildern sexuellen Kindesmissbrauchs in KI-Trainingsdaten

Ama­zon hat kürz­lich etwas zutiefst Beun­ru­hi­gen­des in den rie­si­gen Bil­der­samm­lun­gen ent­deckt, die zum Trai­nie­ren künst­li­cher Intel­li­genz­sys­te­me ver­wen­det wer­den. Der Tech­no­lo­gie­kon­zern fand Hun­dert­tau­sen­de von Bil­dern mit sexu­el­lem Miss­brauch von Kin­dern, die in Daten­sät­ze für die KI-Ent­wick­lung ein­ge­mischt waren. Die­se Ent­de­ckung wirft erns­te Fra­gen dar­über auf, woher Trai­nings­da­ten tat­säch­lich stam­men und ob Straf­ver­fol­gungs­be­hör­den die Quel­len effek­tiv auf­spü­ren kön­nen. Da KI-Sys­te­me grö­ßer wer­den und hung­ri­ger nach Infor­ma­tio­nen sind, wird es immer dring­li­cher zu ver­ste­hen, was in die­se digi­ta­len Köp­fe ein­ge­speist wird, doch die Spur wird oft kalt, bevor Ermitt­ler ihr fol­gen können.

Amazon fand 1 Million Kindesmissbrauchsbilder in KI-Trainingsdaten : Das ist passiert

Ama­zon bau­te ein aus­ge­klü­gel­tes Erken­nungs­sys­tem auf, das maschi­nel­les Ler­nen, Key­word-Fil­ter und mensch­li­che Prü­fer kom­bi­niert, um Daten­sät­ze zu scan­nen. Das Unter­neh­men ent­fern­te alle schäd­li­chen Inhal­te, bevor sie ihre Model­le kor­rum­pie­ren konn­ten, und mel­de­te jeden Fund an das Natio­nal Cen­ter for Miss­ing and Exploi­ted Child­ren. Die­se Daten­schutz­be­den­ken ver­deut­li­chen eine wach­sen­de Her­aus­for­de­rung : Da KI-Sys­te­me immer grö­ße­re Tei­le des Webs kon­su­mie­ren, wird es selbst für die größ­ten Tech­no­lo­gie­un­ter­neh­men zuneh­mend schwie­ri­ger sicher­zu­stel­len, dass Daten sicher blei­ben. NCMEC berich­te­te von einem fünf­zehn­fa­chen Anstieg bei KI-bezo­ge­nen Mel­dun­gen im Jahr 2025, was das Aus­maß die­ses auf­kom­men­den Pro­blems widerspiegelt.

Wie Material sexuellen Kindesmissbrauchs in KI-Trainingsdatensätzen landet

Der Weg von harm­lo­sen Web­in­hal­ten zu kon­ta­mi­nier­ten KI-Trai­nings­da­ten folgt einem beun­ru­hi­gen­den Mus­ter, das For­scher erst zu ver­ste­hen beginnen.

Gro­ße Daten­sät­ze wie LAION-5B sam­meln Mil­li­ar­den von Bil­dern durch auto­ma­ti­sier­tes Web-Scra­ping. Die­se wahl­lo­se Samm­lung zieht Inhal­te ohne sorg­fäl­ti­ge Über­prü­fung. Lei­der erscheint kin­der­por­no­gra­fi­sches Mate­ri­al zuneh­mend auf offe­nen Inter­net­sei­ten, nicht nur in ver­steck­ten Dark-Web-Foren. Dies macht Daten­kon­ta­mi­na­ti­on einfacher.

Die ethi­schen Aus­wir­kun­gen erstre­cken sich über die anfäng­li­che Samm­lung hin­aus. Täter mani­pu­lie­ren Fotos aus den Social-Media-Kon­ten von Kin­dern mit KI-Tools. Die­se ver­än­der­ten Bil­der ver­brei­ten sich dann über das Inter­net und gelan­gen mög­li­cher­wei­se in neue Trai­nings­da­ten­sät­ze. Der Kreis­lauf setzt sich fort, da kon­ta­mi­nier­te Daten zukünf­ti­ge Model­le trai­nie­ren. Eini­ge Daten­sät­ze, wie NudeN­et, ent­hiel­ten Miss­brauchs­ma­te­ri­al, wäh­rend sie in über 250 wis­sen­schaft­li­chen Arbei­ten zitiert wur­den, wodurch das Pro­blem wei­ter durch For­schungs­ge­mein­schaf­ten ver­brei­tet wur­de. Die Her­aus­for­de­rung ver­stärkt sich, da KI-gene­rier­te Bil­der unun­ter­scheid­bar von ech­ten Foto­gra­fien wer­den, wodurch die Erken­nung selbst für geschul­te Ana­lys­ten zuneh­mend schwie­ri­ger wird.

Warum Amazon den Strafverfolgungsbehörden nicht sagen kann, woher die kontaminierten Daten stammen

Ama­zons Schwie­rig­kei­ten bei der Iden­ti­fi­zie­rung der Ursprün­ge der kon­ta­mi­nier­ten Daten resul­tie­ren aus meh­re­ren prak­ti­schen Hin­der­nis­sen. Das Unter­neh­men sieht sich ver­trag­li­chen Beschrän­kun­gen mit Daten­an­bie­tern gegen­über, die das Tei­len bestimm­ter Infor­ma­tio­nen mit Behör­den ver­hin­dern. Neben recht­li­chen Bar­rie­ren macht die schie­re Kom­ple­xi­tät der Nach­ver­fol­gung von Mate­ri­al durch meh­re­re Quel­len, kom­bi­niert mit unvoll­stän­di­gen Auf­zeich­nun­gen dar­über, woher jedes Stück stammt, es nahe­zu unmög­lich, die pro­ble­ma­ti­schen Inhal­te zu ihrem Aus­gangs­punkt zurück­zu­ver­fol­gen. Ama­zons sepa­ra­ter Mel­de­ka­nal, der zur Bear­bei­tung die­ser Fäl­le ein­ge­rich­tet wur­de, wur­de spe­zi­ell ent­wi­ckelt, um zu ver­hin­dern, dass NCMECs ande­re Mel­de­sys­te­me mit Berich­ten über­las­tet wer­den, denen aus­rei­chen­de Details für Straf­ver­fol­gungs­maß­nah­men fehlen.

Vertragliche Beschränkungen verhindern Offenlegung

Wenn Ermitt­ler fra­gen, woher schäd­li­che Bil­der stam­men, hal­ten Ver­trä­ge die Ant­wort unter Ver­schluss. Ama­zon erklär­te, es kön­ne kei­ne Details über Daten­satz­an­bie­ter oder Scra­pe-Stand­or­te tei­len, da Anbie­ter­ver­ein­ba­run­gen die Offen­le­gung ver­hin­dern. Die­se ver­trag­li­chen Beschrän­kun­gen bedeu­ten, dass NCMEC Berich­te ohne die benö­tig­ten Meta­da­ten zur Quel­len­rück­ver­fol­gung erhält. Daten­schutz­ak­ti­vis­ten sagen, die­ser Man­gel an ver­trag­li­cher Trans­pa­renz offen­bart schwa­che Beschaf­fungs­kon­trol­len, Unter­neh­men soll­ten vor der Lie­fe­rung Bewei­se ver­lan­gen, dass Daten­lie­fe­ran­ten nur recht­mä­ßig beschaff­tes Mate­ri­al bereit­stel­len. Ohne Daten­ver­ant­wort­lich­keit, die von Anfang an in Anbie­ter­ver­ein­ba­run­gen ein­ge­baut ist, kann selbst aggres­si­ves inter­nes Scan­nen den Straf­ver­fol­gungs­be­hör­den nicht dabei hel­fen, Täter zu fin­den oder gefähr­de­te Kin­der zu ret­ten. Das Unter­neh­men berief sich auf bran­chen­üb­li­che Prak­ti­ken, doch ver­trag­li­che Undurch­sich­tig­keit blo­ckiert genau die Infor­ma­tio­nen, die Ermitt­ler benö­ti­gen, um auf Hun­dert­tau­sen­de von Berich­ten zu reagie­ren. Ama­zons Trai­nings­da­ten stam­men aus exter­nen, öffent­lich ver­füg­ba­ren Quel­len, was die Bemü­hun­gen zur Eta­blie­rung von Ver­ant­wort­lich­keits­ket­ten wei­ter verkompliziert.

Anbieter-Intransparenz behindert Rückverfolgung

Vier­und­sech­zig­tau­send Berich­te gin­gen 2024 bei NCMEC ein, doch die Ermitt­ler konn­ten nicht auf sie reagie­ren. Ama­zons exter­ne Anbie­ter lie­fer­ten mas­si­ve Daten­sät­ze, ohne zu ver­fol­gen, woher die Infor­ma­tio­nen stamm­ten. Die­se Dritt­an­bie­ter sam­mel­ten Inhal­te aus dem gesam­ten offe­nen Inter­net und bün­del­ten sie dann. Ein­zel­ne Quel­len ver­schwan­den dabei. Wenn schäd­li­ches Mate­ri­al auf­tauch­te, konn­te es nie­mand zurückverfolgen.

Die­se Lücke in der Anbie­ter-Ver­ant­wort­lich­keit frus­triert die Straf­ver­fol­gung. Ande­re Tech­no­lo­gie­un­ter­neh­men stel­len detail­lier­te Quel­len­in­for­ma­tio­nen zur Ver­fü­gung. Ama­zons Berich­te feh­len die­se kri­ti­schen Details. Daten­trans­pa­renz bleibt in der gesam­ten Lie­fer­ket­te absent. Ohne zu wis­sen, woher kon­ta­mi­nier­te Daten­sät­ze stamm­ten, wird der Schutz von Kin­dern nahe­zu unmög­lich. Das Unter­neh­men ent­fern­te ille­ga­le Inhal­te vor dem Trai­ning sei­ner KI-Modelle.

Fehlende Metadaten hemmen Ermittlungen

Jeder Bericht, den NCMEC erhält, braucht eine Spur zum Ver­fol­gen. Wenn Ama­zon Hun­dert­tau­sen­de von Berich­ten sen­det, ohne zu erklä­ren, woher die kon­ta­mi­nier­ten Daten stam­men, sto­ßen Ermitt­ler an eine Wand. Die­se Meta­da­ten-Her­aus­for­de­run­gen las­sen die Straf­ver­fol­gung unfä­hig zurück, die Quel­len auf­zu­spü­ren oder gefähr­de­te Kin­der zu identifizieren.

Ande­re Tech-Fir­men lie­fern hand­lungs­re­le­van­te Details, Stand­or­te, Daten­quel­len, Kon­text, der den Behör­den hilft, vor­an­zu­kom­men. Ama­zons Berich­te feh­len die­se wich­ti­gen Tei­le. Ohne zu wis­sen, ob das Mate­ri­al von einer bestimm­ten Web­site, einem Forum oder einer Daten­bank stammt, kön­nen Poli­zis­ten kei­ne Hin­wei­se verfolgen.

Ermitt­lungs­ver­zö­ge­run­gen häu­fen sich an. NCMEC erwar­tet kla­re Infor­ma­tio­nen dar­über, wo Daten ent­deckt wur­den, nicht nur dass sie exis­tie­ren. Wenn Berich­te ohne wesent­li­chen Kon­text ankom­men, wer­den sie nahe­zu nutz­los für den Schutz von Kin­dern oder das Fan­gen von Tätern, die das Miss­brauchs­ma­te­ri­al erstellt haben.

Wie Technologieunternehmen Missbrauchsmaterial erkennen, bevor sie KI-Modelle trainieren

Tech-Gigan­ten ste­hen vor einer kri­ti­schen Her­aus­for­de­rung, bevor ihre KI-Sys­te­me über­haupt etwas ler­nen : das Ent­fer­nen schäd­li­cher Inhal­te aus mas­si­ven Daten­sät­zen. Unter­neh­men set­zen Erken­nungs­tech­no­lo­gien ein, die auto­ma­ti­sier­te Scree­ning-Tools und trai­nier­te Klas­si­fi­ka­to­ren kom­bi­nie­ren, um Pro­ble­me bei der Miss­brauchs­prä­ven­ti­on schnell zu erken­nen. Die­se Sys­te­me ana­ly­sie­ren Mil­lio­nen von Bil­dern und mar­kie­ren ver­däch­ti­ges Mate­ri­al, bevor es Trai­nings­pro­zes­se korrumpiert.

Über­wach­tes Ler­nen unter­schei­det legi­ti­me Inhal­te von schäd­li­chen Mus­tern unter Ver­wen­dung his­to­ri­scher Bei­spie­le, wäh­rend unüber­wach­te Ansät­ze durch Ver­hal­tens­ana­ly­se zuvor unbe­kann­te Bedro­hun­gen auf­spü­ren. Orga­ni­sa­tio­nen müs­sen auch stren­ge Iden­ti­täts­ver­wal­tungs­kon­trol­len imple­men­tie­ren, um sicher­zu­stel­len, dass nur auto­ri­sier­tes Per­so­nal auf Trai­nings­da­ten­sät­ze zugrei­fen und die­se ändern kann, wodurch ver­hin­dert wird, dass bös­wil­li­ge Akteu­re wäh­rend der Daten­vor­be­rei­tungs­pha­se schäd­li­che Inhal­te einführen.

Warum Berichte über KI-generierte Kindesmissbrauchsdarstellungen in einem Jahr um 1.325% anstiegen

Eine dra­ma­ti­sche Explo­si­on bei gemel­de­ten Fäl­len erzählt eine beun­ru­hi­gen­de Geschich­te über den Miss­brauch künst­li­cher Intel­li­genz. KI-Miss­brauchs­trends zei­gen, wie schnell sich schäd­li­che Tech­no­lo­gie aus­brei­tet, wenn Schutz­maß­nah­men versagen.

Zwi­schen 2024 und 2025 stie­gen die Mel­dun­gen über gene­ra­ti­ve KI-beding­te Kin­der­aus­beu­tung von 6.835 auf 440.419, eine erschüt­tern­de Zunah­me von 1.325%. Die­se gene­ra­ti­ven Aus­wir­kun­gen zei­gen, dass die Tech­no­lo­gie den Schutz überholt.

Haupt­fak­to­ren, die die­sen Anstieg vor­an­trei­ben, sind :

• Zugäng­li­che Tools, die kei­ne tech­ni­schen Fähig­kei­ten erfor­dern, um rea­lis­ti­sche Fake-Bil­der zu erstellen
• Geschwin­dig­keit der Erstel­lung, die es Tätern ermög­licht, monat­lich Tau­sen­de von Bil­dern zu generieren
• Deepf­ake-Tech­no­lo­gie, die die Ähn­lich­keit ech­ter Kin­der ohne Ein­ver­ständ­nis nutzt
• Kom­mer­zi­el­le Ver­brei­tung mit Kri­mi­nel­len, die KI-gene­rier­te Inhal­te online verkaufen

Das Natio­nal Cen­ter for Miss­ing and Exploi­ted Child­ren begann 2023 mit der Ver­fol­gung die­ser Mel­dun­gen. Jede Zahl reprä­sen­tiert ein ech­tes Kind, das poten­zi­el­lem Scha­den aus­ge­setzt ist und drin­gen­des Han­deln erfor­dert. For­schun­gen zei­gen, dass 91% der Per­so­nen, die auf KI-gene­rier­te Bil­der zugrei­fen, auch ech­te Kin­des­miss­brauchs­bil­der anschau­ten, was gefähr­li­che Mus­ter eska­lie­ren­den Ver­hal­tens offenbart.

Welche neuen US- und EU-Gesetze verlangen von Unternehmen, Nachweise über Trainingsdatenquellen zu erbringen

Gesetz­ge­ber auf zwei Kon­ti­nen­ten for­dern nun, dass KI-Unter­neh­men ihre Bücher öff­nen und genau zei­gen, wel­che Infor­ma­tio­nen ihre Sys­te­me trai­niert haben. Euro­pas KI-Gesetz zwingt Unter­neh­men dazu, ab August 2025 Zusam­men­fas­sun­gen ihrer Trai­nings­da­ten­sät­ze zu ver­öf­fent­li­chen. Die­se Berich­te müs­sen Daten­ty­pen, Quel­len und den Umgang mit urhe­ber­recht­lich geschütz­tem Mate­ri­al offen­le­gen. Kali­for­ni­en schließt sich die­sem Vor­stoß mit AB 2013 an und ver­langt öffent­li­che Offen­le­gung von Trai­nings­da­ten­sät­zen, ein­schließ­lich jeg­li­chen geschütz­ten geis­ti­gen Eigen­tums oder per­sön­li­cher Infor­ma­tio­nen darin.

Unter­neh­men dro­hen erns­te Kon­se­quen­zen, wenn sie die­se Regeln zur Daten­her­kunft igno­rie­ren. Die EU droht mit Geld­stra­fen von bis zu 10 Mil­lio­nen Euro oder 2% des Jah­res­um­sat­zes für die­je­ni­gen, die die recht­li­che Com­pli­ance umge­hen. Bei­de Regio­nen wol­len voll­stän­di­ge Auf­zeich­nun­gen dar­über, woher die Trai­nings­da­ten stam­men. Fir­men müs­sen bewei­sen, dass ihre Trai­nings­pro­zes­se das Urhe­ber­recht respek­tiert haben. KI-gene­rier­te Inhal­te müs­sen kla­re Kenn­zeich­nung tra­gen, um sie von mensch­lich erstell­ten Arbei­ten zu unter­schei­den. Die­se Anfor­de­run­gen zie­len dar­auf ab, Licht in einen weit­ge­hend ver­bor­ge­nen Pro­zess zu bringen.

Quellenangabe

• https://www.mediapost.com/publications/article/412403/amazon-finds-child-sex-abuse-material-in-ai-traini.html
• https://www.youtube.com/watch?v=UoU6i7HzmxQ
• https://www.aicerts.ai/news/amazons-csam-alarm-raises-ai-training-data-questions/
• https://www.aboutamazon.com/news/policy-news-views/amazon-csam-transparency-report-2024
• https://www.missingkids.org/cybertiplinedata
• https://docs.aws.amazon.com/bedrock/latest/userguide/abuse-detection.html
• https://gigazine.net/gsc_news/en/20260130-amazon-csam-report/
• https://www.iwf.org.uk/annual-data-insights-report-2024/data-and-insights/ai-generated-child-sexual-abuse/
• https://www.protectchildren.ca/en/press-and-media/news-releases/2025/csam-nude-net
• https://www.aic.gov.au/sites/default/files/2025–01/ti711_artificial_intelligence_and_child_sexual_abuse.pdf