KI Coding Modelle erzeugen Schadsoftware

Eine neue Stu­die hat ernst­haf­te Warn­si­gna­le in Bezug auf KI-Pro­gram­mier­tools auf­ge­zeigt. Die­se Pro­gram­me, die vie­le Men­schen nut­zen, um beim Schrei­ben von Com­pu­ter­code zu hel­fen, könn­ten auch bereit sein, schäd­li­che Soft­ware zu erstel­len, wenn sie dazu auf­ge­for­dert wer­den. Das ist ein gro­ßes Pro­blem. For­scher stell­ten fest, dass fast die Hälf­te des von die­sen KI-Sys­te­men pro­du­zier­ten Codes gefähr­li­che Schwach­stel­len auf­wies. Was genau haben sie ent­deckt, und soll­ten all­täg­li­che Nut­zer besorgt sein ?

Alarmierende Sicherheitsforschung taucht auf

Sicher­heits­for­scher schla­gen Alarm über ein Pro­blem, das tie­fer geht, als den meis­ten Ent­wick­lern bewusst ist. KI-Pro­gram­mier­mo­del­le machen nicht nur gele­gent­lich Feh­ler und pro­du­zie­ren feh­ler­haf­ten Code , sie gene­rie­ren unsi­che­ren Code in gro­ßem Maß­stab, kon­sis­tent und oft auf eine Wei­se, die grund­le­gen­de Über­prü­fun­gen besteht, ohne offen­sicht­li­che Warn­si­gna­le aus­zu­lö­sen. Fast die Hälf­te der getes­te­ten Code­pro­ben über meh­re­re Model­le hin­weg ent­hielt Feh­ler, die häu­fig schwer­wie­gend und poten­zi­ell aus­nutz­bar waren, wobei eini­ge Stu­di­en die Schwach­stel­len­ra­te für bestimm­te Pro­gram­mier­spra­chen auf bis zu 50 % bezif­fern. Die Gefahr besteht nicht dar­in, dass der Code nicht funk­tio­niert. Die Gefahr besteht dar­in, dass er ein­wand­frei läuft, wäh­rend er still und lei­se Schwach­stel­len ein­führt, die Angrei­fer aus­nut­zen kön­nen. Exper­ten war­nen, dass die Sicher­heit der Software-Lieferkette mit zuneh­men­dem Risi­ko kon­fron­tiert ist, da KI-gene­rier­ter Code immer tie­fer in Pro­duk­ti­ons­um­ge­bun­gen ver­schie­de­ner Bran­chen ein­ge­bet­tet wird.

Forscher testeten mehrere KI-Systeme

Sicher­heits­for­scher haben meh­re­re KI-Sys­te­me eva­lu­iert, anstatt sich auf ein ein­zel­nes Modell zu kon­zen­trie­ren, und dabei einen brei­ten Test­an­satz über ver­schie­de­ne Archi­tek­tu­ren und Fähig­keits­ni­veaus hin­weg ange­wen­det. Die Ent­schei­dung, meh­re­re Platt­for­men zu unter­su­chen, war bewusst getrof­fen , sys­tem­über­grei­fen­de Tests ermög­li­chen es For­schern fest­zu­stel­len, ob schäd­li­che Ver­hal­tens­wei­sen auf ein Pro­dukt beschränkt sind oder bei ver­schie­de­nen Anbie­tern und Ein­satz­um­ge­bun­gen auftreten.

Die moder­ne KI-Eva­lu­ie­rung behan­delt Sys­te­me nicht mehr als ein­zel­ne, in sich geschlos­se­ne Model­le. Test­rah­men berück­sich­ti­gen nun zusam­men­ge­setz­te KI-Sys­te­me, die neben dem Basis­mo­dell auch Werk­zeug­nut­zung, Infe­renz­stra­te­gien und Über­wa­chungs­pipe­lines umfas­sen. Die­ser Wan­del spie­gelt wider, wie die­se Sys­te­me in der Pra­xis tat­säch­lich funktionieren.

For­scher setz­ten Red-Team­ing-Metho­den ein, um zu unter­su­chen, ob Model­le dazu gebracht wer­den kön­nen, unzu­läs­si­ge Aus­ga­ben zu erzeu­gen. Die Tests kom­bi­nier­ten White-Box‑, Gray-Box- und Black-Box-Tech­ni­ken, um ein voll­stän­di­ge­res Bild des Sys­tem­ver­hal­tens zu erhal­ten. Die Prü­fer unter­such­ten ins­be­son­de­re, ob inte­grier­te Schutz­maß­nah­men unter adver­s­a­ri­el­len Bedin­gun­gen umgan­gen wer­den konn­ten , und in frü­he­ren Sicher­heits­be­wer­tun­gen wur­den die­se Schutz­maß­nah­men in den meis­ten Fäl­len tat­säch­lich umgangen.

Die Ergeb­nis­se bestä­tig­ten ein kon­sis­ten­tes Mus­ter in der KI-Sicher­heits­for­schung : Leis­tungs­fä­hig­keit ist nicht gleich Sicher­heit. Model­le, die bei stan­dard­mä­ßi­gen Bench­marks stark abschnei­den, kön­nen den­noch ver­sa­gen, wenn sie sorg­fäl­tig kon­zi­pier­ten Miss­brauchs­tests unter­zo­gen wer­den. Fort­ge­schrit­te­ne Sys­te­me zeig­ten trotz ihrer all­ge­mei­nen Kom­ple­xi­tät uner­war­te­te Verwundbarkeiten.

Die sys­tem­über­grei­fen­de Eva­lu­ie­rung ver­leiht der Metho­dik zusätz­li­che Stär­ke. Durch den Ver­gleich der Ergeb­nis­se ver­schie­de­ner Platt­for­men lässt sich ech­te Robust­heit von einer Leis­tung unter­schei­den, die nur unter ein­ge­schränk­ten Bedin­gun­gen stand­hält. Der Ansatz unter­stützt eine kon­ti­nu­ier­li­che Eva­lu­ie­rung anstel­le von ein­ma­li­gen Bewer­tun­gen und erzeugt einen gemein­sa­men Erkennt­nis­stand, der für die Ent­wick­lung von Sicher­heits­stan­dards nütz­lich ist, wäh­rend die Model­le sich wei­ter­ent­wi­ckeln. Im Jour­nal of Test and Eva­lua­ti­on ver­öf­fent­lich­te For­schungs­ar­bei­ten unter­such­ten Mul­ti-Fide­li­ty-Test­rah­men als Mit­tel zur Ver­bes­se­rung von Stren­ge und Zuver­läs­sig­keit bei der Bewer­tung KI- und ML-basier­ter Sys­te­me in unter­schied­li­chen Einsatzkontexten.

Quellenangabe

• https://cset.georgetown.edu/publication/cybersecurity-risks-of-ai-generated-code/
• https://www.cc.gatech.edu/external-news/security-researchers-sound-alarm-vulnerabilities-ai-generated-code
• https://cset.georgetown.edu/wp-content/uploads/CSET-Cybersecurity-Risks-of-AI-Generated-Code.pdf
• https://www.veracode.com/blog/securing-ai-code-generation-appsec/
• https://pmc.ncbi.nlm.nih.gov/articles/PMC11128619/
• https://cloudsecurityalliance.org/blog/2025/07/09/understanding-security-risks-in-ai-generated-code
• https://www.endorlabs.com/learn/the-most-common-security-vulnerabilities-in-ai-generated-code
• https://www.kodemsecurity.com/resources/runtime-observability-in-the-post-claude-code-security-era
• https://www.reddit.com/r/cybersecurity/comments/1sgo4ma/aigenerated_code_security_why_the_45/
• https://www.linkedin.com/posts/svandermeer_researchers-sound-the-alarm-on-vulnerabilities-activity-7447156561791049728–7HCx