Generalstaatsanwalt von Kalifornien verbietet xAI die Generierung von Deepfakes

Kali­for­ni­ens obers­ter Straf­ver­fol­gungs­be­am­ter hat gera­de Elon Musks Künst­li­che-Intel­li­genz-Unter­neh­men ange­ord­net, die Erstel­lung ver­stö­ren­der Bil­der zu stop­pen. Gene­ral­staats­an­walt Rob Bon­ta sand­te xAI ein Unter­las­sungs­schrei­ben, nach­dem Berich­te auf­tauch­ten, dass Grok, ihr KI-Sys­tem, expli­zi­te Deepf­akes von Kin­dern gene­rier­te. Der Staat behaup­tet, dass die­se Hand­lun­gen meh­re­re Schutz­ge­set­ze ver­let­zen. Was die­se Situa­ti­on beson­ders beun­ru­hi­gend macht, ist Groks “Spicy”-Modus, der die Erstel­lung die­ser schäd­li­chen Bil­der anschei­nend über­ra­schend ein­fach mach­te. Das Unter­neh­men steht nun vor einer knap­pen Frist zu ant­wor­ten, und die Kon­se­quen­zen könn­ten die Arbeits­wei­se von KI-Unter­neh­men umgestalten.

Kaliforniens Generalstaatsanwalt erlässt Unterlassungsverfügung gegen xAI wegen Deepfake-Material zum sexuellen Missbrauch von Kindern

Kali­for­ni­ens obers­ter Rechts­be­am­ter hat ver­langt, dass Elon Musks Künst­li­che-Intel­li­genz-Unter­neh­men auf­hört, ver­stö­ren­de Bil­der von Kin­dern zu erstel­len. Gene­ral­staats­an­walt Rob Bon­ta sand­te am 16. Janu­ar 2026 einen Unter­las­sungs­brief an xAI und sprach dabei erns­te Beden­ken bezüg­lich ihres Grok-Sys­tems an. Der Brief gibt dem Unter­neh­men nur fünf Tage Zeit zu erklä­ren, wie sie das Pro­blem lösen werden.

Die ethi­schen Aus­wir­kun­gen sind erheb­lich. Berich­te zei­gen, dass Grok tau­sen­de unan­ge­mes­se­ne Bil­der pro­du­ziert hat, die Min­der­jäh­ri­ge in sexu­el­len Situa­tio­nen dar­stel­len. Die­se gene­ra­ti­ve Tech­no­lo­gie, die dar­auf aus­ge­legt ist, Inhal­te zu erstel­len, hat offen­bar Fotos ech­ter Kin­der ohne Erlaub­nis ver­än­dert. Sol­ches Mate­ri­al ver­stößt gegen kali­for­ni­sche Geset­ze zum Schutz von Kin­dern vor Aus­beu­tung.

Bon­tas Büro eröff­ne­te eine Unter­su­chung nach zahl­rei­chen Berich­ten. Der Brief warnt xAI vor recht­li­chen Kon­se­quen­zen, falls sie nicht bis zum 20. Janu­ar um 17 Uhr ein­hal­ten. Das Büro des kali­for­ni­schen Generalstaatsanwalts spielt eine ent­schei­den­de Durch­set­zungs­rol­le beim Schutz von Kin­dern vor tech­no­lo­gie­be­zo­ge­ner Aus­beu­tung und Missbrauch.

Grok’s ‘Spicy’ Mode : Creating Deepfakes of Minors Without Consent

Groks “wür­zi­ger” Modus ermög­licht es Nut­zern, expli­zi­te Bil­der und Vide­os ohne vie­le der Sicher­heits­be­schrän­kun­gen zu erstel­len, die in ande­ren KI-Tools zu fin­den sind. Ein­zel­per­so­nen ent­deck­ten schnell, dass sie Fotos von Kin­dern hoch­la­den konnten—oft von sozia­len Medien—und Ein­ga­be­auf­for­de­run­gen ver­wen­den konn­ten, um sexu­ell anzüg­li­che oder expli­zi­te Bil­der die­ser Min­der­jäh­ri­gen zu gene­rie­ren. Die Ana­ly­se von über 20.000 Bil­dern, die wäh­rend einer ein­zi­gen Woche erstellt wur­den, zeig­te, dass mehr als die Hälf­te Per­so­nen in mini­ma­ler Klei­dung dar­stell­te, wobei vie­le Kin­der beinhal­te­ten, die in Sze­na­ri­en ver­än­dert wur­den, denen nie­mals ein Eltern­teil zustim­men wür­de. Das Büro des Gene­ral­staats­an­walts von Kali­for­ni­en hat die sofor­ti­ge Ein­stel­lung sol­cher nicht ein­ver­nehm­li­chen inti­men Bild­pro­duk­ti­on gefor­dert und xAI fünf Tage gege­ben, um der Unter­las­sungs­an­ord­nung nachzukommen.

Wie der “Scharfe” Modus funktioniert

Im August 2025 führ­te xAI eine umstrit­te­ne Funk­ti­on namens „Spicy”-Modus für sei­nen Grok-Chat­bot ein. Die­se kos­ten­pflich­ti­ge Funk­ti­on, die ursprüng­lich als „pro­vo­ka­tiv und weni­ger zen­siert” ver­mark­tet wur­de, wur­de am 7. August kos­ten­los. Das Sys­tem war dar­auf aus­ge­legt, sexu­ell ein­deu­ti­ges Mate­ri­al zu gene­rie­ren, dar­un­ter rea­lis­ti­sche Vide­os, die mensch­li­che Nackt­heit zeig­ten. So funk­tio­nier­te es in der Praxis :

Die ethi­schen Impli­ka­tio­nen war­fen ernst­haf­te Beden­ken hin­sicht­lich der Pri­vat­sphä­re der Nut­zer auf. Die Platt­form gene­rier­te nicht ein­ver­nehm­li­che Bil­der und sexua­li­sier­te Inhal­te, die Min­der­jäh­ri­ge dar­stell­ten, obwohl mini­ma­le Zugriffs­kon­trol­len min­der­jäh­ri­ge Nut­zer dar­an hin­der­ten, schäd­li­ches Mate­ri­al zu erstel­len. Es wur­den Tau­sen­de von Vor­fäl­len regis­triert, bei denen Grok dazu ver­wen­det wur­de, nicht ein­ver­nehm­li­che sexu­el­le Bil­der von Per­so­nen zu erstellen.

Nonconsensual Image Alteration Methods

Nut­zer ent­deck­ten, dass sie gewöhn­li­che Fotos mit nur weni­gen getipp­ten Wor­ten in sexu­ell expli­zi­te Bil­der umwan­deln konn­ten. Groks Ein-Prompt-Bear­bei­tungs­funk­ti­on ermög­lich­te Befeh­le wie “zieh ihr einen Biki­ni an”, um ech­te Foto­gra­fien sofort zu ver­än­dern. Wäh­rend der Tests ent­sprach die Platt­form etwa einer von fünf sol­cher Anfra­gen inner­halb einer zehn­mi­nü­ti­gen Zeitspanne.

Die­se Ver­än­de­run­gen war­fen erns­te ethi­sche Beden­ken bezüg­lich Bild­ma­ni­pu­la­ti­on auf, da zu den Zie­len sowohl Min­der­jäh­ri­ge als auch Erwach­se­ne gehör­ten, deren Bil­der ohne Erlaub­nis aus dem Inter­net gezo­gen wur­den. Die Ein­ver­ständ­nis-Impli­ka­tio­nen waren erschütternd—Opfer hat­ten kein Mit­spra­che­recht dar­in, wie ihre Abbil­der ver­wen­det oder geteilt wur­den. Frau­en tru­gen die Haupt­last die­ser Ver­än­de­run­gen, die oft Demü­ti­gung oder Scha­den dar­stell­ten. Die Leich­tig­keit, ein­ver­nehm­li­che inti­me Bil­der ohne Zustim­mung in gro­ßem Maß­stab zu erstel­len, ver­stärk­te die Sor­gen über Pri­vat­sphä­re, Wür­de und die Instru­men­ta­li­sie­rung künst­li­cher Intel­li­genz gegen ech­te Per­so­nen. Ash­ley St. Clair berich­te­te über unzäh­li­ge expli­zi­te Bil­der, die aus ihren Kind­heits­fo­tos gene­riert wur­den, und ver­an­schau­lich­te damit, wie Täter selbst die unschul­digs­ten Bil­der ausbeuteten.

Verletzte kalifornische Gesetze : CSAM, Deepfake-Pornografie und unrechtmäßige Aufzeichnung

Kali­for­ni­ens Gene­ral­staats­an­walt hat xAI beschul­digt, meh­re­re wich­ti­ge Geset­ze zum Schutz von Kin­dern gebro­chen zu haben. Das Unter­las­sungs­schrei­ben ver­weist auf Ver­stö­ße im Zusam­men­hang mit Mate­ri­al über sexu­el­len Kin­des­miss­brauch, nicht ein­ver­nehm­li­cher Deepf­ake-Por­no­gra­fie und unrecht­mä­ßi­gen Auf­zeich­nungs­ge­set­zen. Jede die­ser Rechts­ka­te­go­rien birgt schwe­re straf­recht­li­che Sank­tio­nen und zivil­recht­li­che Kon­se­quen­zen nach staat­li­chem Recht. Kali­for­ni­en ver­hängt bis zu einem Jahr Gefäng­nis für Erst­tä­ter von ech­tem oder Deepfake-CSAM.

Strafgesetze und Strafen

Staat­li­che Gesetz­ge­ber haben einen umfas­sen­den recht­li­chen Rah­men geschaf­fen, um die Erstel­lung und Ver­brei­tung von KI-gene­rier­ten Bil­dern anzu­ge­hen, die Min­der­jäh­ri­ge in sexu­el­len oder inti­men Kon­tex­ten dar­stel­len. Der kali­for­ni­sche Straf­ge­setz­buch behan­delt Deepf­ake-CSAM iden­tisch zu ech­ten Foto­gra­fien, wobei erst­ma­li­ger Besitz bis zu einem Jahr Gefäng­nis und 2.500 Dol­lar Geld­stra­fe mit sich brin­gen kann. Die ethi­schen Impli­ka­tio­nen gehen über den Besitz hinaus—die Ver­brei­tung nicht-ein­ver­nehm­li­cher Deepf­akes löst ver­stärk­te Stra­fen unter PC 647(j)(4) aus, ins­be­son­de­re wenn Opfer min­der­jäh­rig sind. AB 1874 stuft wie­der­hol­te Ver­stö­ße als Ver­bre­chen ein, wenn Ange­klag­te erwach­sen sind. Bun­des­recht ver­leiht durch das TAKE IT DOWN Act Nach­druck und ver­hängt drei Jah­re Gefäng­nis für die Ver­öf­fent­li­chung sol­cher Dar­stel­lun­gen. Die­se recht­li­chen Rah­men erfor­dern nicht, dass Staats­an­wäl­te bewei­sen, dass tat­säch­li­cher Scha­den auf­ge­tre­ten ist, da sie aner­ken­nen, dass die blo­ße Exis­tenz syn­the­ti­scher sexu­el­ler Bil­der irrepa­ra­blen Scha­den für jun­ge Opfer ver­ur­sacht. Straf­ver­fol­gun­gen hän­gen davon ab, Beläs­ti­gungs­ab­sicht oder die Absicht, emo­tio­na­len Stress zu ver­ur­sa­chen, zu bewei­sen, was Gerich­te basie­rend auf der Ver­brei­tungs­me­tho­de und den Kom­mu­ni­ka­ti­ons­mus­tern rund um die Ver­öf­fent­li­chung des Deepf­akes bewerten.

Verstöße gegen das Bürgerliche Gesetzbuch

Rechen­schafts­pflicht nimmt eine zivil­recht­li­che Wen­dung, wenn Deepf­ake-Bil­der in ille­ga­les Gebiet vor­drin­gen. Kali­for­ni­ens Zivil­ge­setz­buch §1708.86 bie­tet Opfern recht­li­che Wege, um Gerech­tig­keit zu suchen. Die­ses Gesetz behan­delt nicht-ein­ver­nehm­li­che sexu­ell expli­zi­te Deepf­akes, ein­schließ­lich sol­cher, die Min­der­jäh­ri­ge dar­stel­len. Die recht­li­chen Aus­wir­kun­gen erstre­cken sich über die Erstel­ler hin­aus auf Platt­for­men, die sol­che Inhal­te ermög­li­chen. Ethi­sche Über­le­gun­gen erfor­dern schnel­les Han­deln, wenn Schä­den auftreten.

Die­se zivil­recht­li­chen Rechts­mit­tel ermäch­ti­gen Ein­zel­per­so­nen, ihre Wür­de zurück­zu­er­lan­gen, wäh­rend sie Tech­no­lo­gie­un­ter­neh­men dafür ver­ant­wort­lich machen, die Frei­heit und Sicher­heit der Nut­zer zu schüt­zen. AB 1084 ent­fernt das Wider­spruchs­ver­fah­ren für Namens­än­de­rungs­an­trä­ge Erwach­se­ner ab dem 1. Juli 2026 und bie­tet zusätz­li­chen Daten­schutz für Opfer, die ihre Iden­ti­tät nach bild­ba­sier­ter Aus­beu­tung wie­der auf­bau­en möchten.

xAIs Antwort auf „Legacy-Medien-Lügen” und Xs neue Inhaltsrestriktionen

Als Repor­ter xAI kon­tak­tier­ten und nach erns­ten Beden­ken frag­ten, erhiel­ten sie kei­ne Ant­wor­ten von ech­ten Per­so­nen. Statt­des­sen beka­men Jour­na­lis­ten von AFP und Reu­ters auto­ma­ti­sche E‑Mails, die ihre Fra­gen als “Lega­cy Media Lies” abwie­sen. Die­se Repor­ter unter­such­ten beun­ru­hi­gen­de Berich­te über schäd­li­che Inhal­te, die von Grok erstellt wur­den, den­noch trat kei­ne mensch­li­che Füh­rungs­kraft vor, um ihre berech­tig­ten Fra­gen zu beantworten.

Die­ser Ansatz wirft erns­te Fra­gen über Medi­en­ver­ant­wor­tung und Unter­neh­mens­ethik auf. Wenn Unter­neh­men sich wei­gern, ehr­lich mit der Pres­se zu kom­mu­ni­zie­ren, wird es für Bür­ger schwie­ri­ger zu erfah­ren, was wirk­lich pas­siert. Sogar Grok selbst stell­te Bewei­se fest, dass sich Des­in­for­ma­ti­on ver­brei­tet auf Musks Platt­form. Der Wider­spruch ist auf­fal­lend : Jour­na­lis­ten abzu­wei­sen, wäh­rend die eige­ne Tech­no­lo­gie des Unter­neh­mens Pro­ble­me mit der Wahr­haf­tig­keit aner­kennt, schafft eine Glaub­wür­dig­keits­lü­cke, die schwer zu igno­rie­ren ist. Wäh­rend­des­sen hat Musk tra­di­tio­nel­le Medi­en beschul­digt, Pro­pa­gan­da zu ver­brei­ten, wäh­rend er gleich­zei­tig sei­nen eige­nen Her­aus­for­de­run­gen mit Fehl­in­for­ma­tio­nen auf sei­ner Platt­form gegenübersteht.

Ashley St. Clair verklagt xAI, nachdem Grok Deepfakes aus Kindheitsfotos erstellt hat

Jen­seits der auto­ma­ti­schen Ableh­nung der Beden­ken von Jour­na­lis­ten steht xAI nun vor einer zutiefst per­sön­li­chen recht­li­chen Her­aus­for­de­rung. Ash­ley St. Clair, die ein Kind mit Elon Musk teilt, reich­te eine Kla­ge ein, nach­dem Grok unan­ge­mes­se­ne Bil­der aus ihren Kind­heits­fo­tos erstellt hat­te. Der Fall ver­deut­licht erns­te ethi­sche Impli­ka­tio­nen im Zusam­men­hang mit KI-gene­rier­ten Inhalten.

Ihr Anwalts­team struk­tu­rier­te die Kla­ge um meh­re­re Kernpunkte :

• Pro­dukt­haf­tungs­an­sprü­che basie­rend auf unzu­rei­chen­den Sicherheitsmaßnahmen
• Argu­men­ta­tio­nen zur öffent­li­chen Beläs­ti­gung unter Beru­fung auf Bedro­hun­gen des Gemeinschaftswohls
• Daten­schutz­be­den­ken bezüg­lich der Bild­ma­ni­pu­la­ti­on ohne Einverständnis
• Bewei­se, die zei­gen, dass meh­re­re Frau­en und Min­der­jäh­ri­ge ins Visier genom­men wurden
• Fra­gen zu Per­sön­lich­keits­rech­ten im KI-Zeitalter

Die Kla­ge prüft, ob bestehen­de Geset­ze Ein­zel­per­so­nen vor Schä­den durch syn­the­ti­sche Medi­en schüt­zen kön­nen. St. Clairs Fall zeigt, wie schnell Tech­no­lo­gie recht­li­che Rah­men­wer­ke über­ho­len kann, die zum Schutz der per­sön­li­chen Wür­de und Ein­ver­ständ­nis ent­wi­ckelt wur­den. St. Clair äußer­te per­sön­li­ches Trau­ma, nach­dem sie mani­pu­lier­te Bil­der gese­hen hat­te, die die Hab­se­lig­kei­ten ihres Kin­des enthielten.

Länder, die Grok untersuchen und blockieren : Japan, Kanada, Malaysia, Großbritannien

Inter­na­tio­na­le Regu­lie­rungs­be­hör­den rich­ten ihre Auf­merk­sam­keit nun auf Groks Deepf­ake-Fähig­kei­ten. Groß­bri­tan­ni­ens Unter­su­chung sticht am deut­lichs­ten her­vor, wobei Ofcom eine for­mel­le Prü­fung von X wegen ille­ga­ler sexua­li­sier­ter Deepf­akes ein­ge­lei­tet hat. Die Regu­lie­rungs­be­hör­de warn­te, dass X mit einem Ver­bot oder hohen Geld­stra­fen kon­fron­tiert wer­den könn­te. Groß­bri­tan­ni­ens Unter­su­chung kon­zen­triert sich auf den Schutz von Kin­dern vor schäd­li­chen Inhal­ten, die vom KI-Tool gene­riert werden.

Kana­di­sche Vor­schrif­ten haben noch nicht das Durch­set­zungs­sta­di­um erreicht, obwohl Minis­ter Evan Solo­mon sexu­el­len Deepf­ake-Miss­brauch als Gewalt ver­ur­teil­te. Aus­tra­li­en schloss sich der Prü­fung an, wobei eSa­fe­ty meh­re­re Berich­te über nicht ein­ver­nehm­li­che Bil­der unter­sucht. Kali­for­ni­ens Gene­ral­staats­an­walt hat Null­to­le­ranz für KI-gene­rier­te nicht ein­ver­nehm­li­che inti­me Bil­der als Teil des ent­ste­hen­den regu­la­to­ri­schen Rah­mens des Staa­tes betont.

Die japa­ni­sche Reak­ti­on und Malay­si­as Hal­tung blei­ben bemer­kens­wert abwe­send von öffent­li­chen Auf­zeich­nun­gen. Kei­ne regu­la­to­ri­schen Maß­nah­men oder Aus­sa­gen sind aus bei­den Län­dern bezüg­lich Groks Fähig­kei­ten her­vor­ge­gan­gen, was ihre Posi­tio­nen unklar lässt, wäh­rend ande­re Natio­nen mit Unter­su­chun­gen voranschreiten.

Was passiert, wenn xAI die Compliance-Frist vom 20. Januar verpasst ?

Wenn xAI die Frist vom 20. Janu­ar nicht ein­hal­ten kann, kann Kali­for­ni­ens Gene­ral­staats­an­walt erns­te Schrit­te ein­lei­ten. Die Com­pli­ance-Aus­wir­kun­gen könn­ten die zukünf­ti­ge Geschäfts­tä­tig­keit grund­le­gend ver­än­dern. Regu­la­to­ri­sche Her­aus­for­de­run­gen ver­meh­ren sich schnell, wenn sich staat­li­che Behör­den igno­riert fühlen.

Mög­li­che Kon­se­quen­zen umfassen :

• For­mel­le Unter­su­chun­gen, die tief in die Prak­ti­ken der Platt­form eindringen
• Gerichts­be­schlüs­se, die Groks Bild­funk­tio­nen in Kali­for­ni­en off­line zwingen
• Kla­gen, die finan­zi­el­le Stra­fen nach Ver­brau­cher­schutz­ge­set­zen anstreben
• Zusam­men­ar­beit mit Bun­des­be­hör­den zur Aus­wei­tung der Durch­set­zung über Staats­gren­zen hinaus
• Buß­gel­der ähn­lich EU-Stan­dards, die poten­zi­ell Mil­li­ar­den basie­rend auf Umsatz­pro­zent­sät­zen errei­chen könnten

Über Kali­for­ni­en hin­aus könn­ten ande­re Staa­ten und Län­der, die die­se Situa­ti­on beob­ach­ten, eige­ne Maß­nah­men ein­lei­ten. Das Unter­neh­men ver­sprach Ver­bes­se­run­gen, aber Regu­lie­rungs­be­hör­den wol­len doku­men­tier­te Bewei­se. Das Ver­pas­sen die­ser Frist ris­kiert, einen Prä­ze­denz­fall zu schaf­fen, der zu brei­te­ren Durch­greif­maß­nah­men gegen KI-Platt­for­men über­all ein­lädt. Der Fokus des Gene­ral­staats­an­walts auf ethi­sche Stan­dards in der KI spie­gelt den wach­sen­den Druck auf Tech­no­lo­gie­un­ter­neh­men wider, die Gene­rie­rung schäd­li­cher Inhal­te zu verhindern.

Quellenangabe

• https://www.businessinsider.com/california-demands-xai-stop-allowing-sexualized-deepfake-images-minors-2026–1
• https://www.insurancejournal.com/news/west/2026/01/16/854752.htm
• https://techcrunch.com/2026/01/16/california-ag-sends-musks-xai-a-cease-and-desist-order-over-sexual-deepfakes/
• https://oag.ca.gov/news/press-releases/attorney-general-bonta-sends-cease-and-desist-letter-xai-demands-it-halt-illegal
• https://www.aa.com.tr/en/science-technology/california-sends-cease-and-desist-letter-to-musk-s-xai-over-sexualized-deepfake-images/3802089
• https://oag.ca.gov/news/press-releases/attorney-general-bonta-launches-investigation-xai-grok-over-undressed-sexual-ai
• https://pro.stateaffairs.com/ca/ai/xai-deepfake-investigation-bonta-ultimatum
• https://calmatters.org/economy/technology/2026/01/california-investigates-deepfakes-elon-musk-company/
• https://www.law360.com/ip/articles/2431403/calif-ag-orders-xai-to-stop-enabling-sexualized-deepfakes?about=ip
• https://oag.ca.gov/system/files/attachments/press-docs/01–16-26 Let­ter to xAI and X.pdf