Amazon stoppt Leistungsbewertung wegen manipulierter KI-Metriken

Ama­zon hat kürz­lich eine inter­ne Rang­lis­te abge­schal­tet, die dazu dien­te, die Nut­zung von KI-Tools unter den Mit­ar­bei­tern zu ver­fol­gen. Klingt ein­fach genug, oder ? Aber die Geschich­te hin­ter die­ser Ent­schei­dung ist über­ra­schend unüber­sicht­lich. Mit­ar­bei­ter fan­den cle­ve­re Wege, das Sys­tem zu mani­pu­lie­ren und die Zah­len auf­zu­blä­hen, ohne sinn­vol­le Arbeit zu leis­ten. Was als unter­halt­sa­mes Moti­va­ti­ons­in­stru­ment begann, wur­de still und lei­se zu einem Pro­blem, das nie­mand kom­men sah. Das voll­stän­di­ge Bild ist es wert, ver­stan­den zu werden.

Das System austricksen

Ama­zon erstell­te eine Rang­lis­te, um Mit­ar­bei­ter dazu zu ermu­ti­gen, KI-Tools häu­fi­ger zu nut­zen. Die Mit­ar­bei­ter fan­den jedoch einen schnel­le­ren Weg an die Spit­ze : Auf­hö­ren, sich um nütz­li­che Arbeit zu küm­mern, und statt­des­sen auf Token-Zah­len ach­ten. Seni­or Vice-Pre­si­dent Dave Tre­ad­well erkann­te öffent­lich die guten Absich­ten hin­ter der Rang­lis­te an, for­der­te die Mit­ar­bei­ter jedoch auf, KI nicht um des Nut­zens willen zu verwenden.

Kennzahlenmanipulation löst Überarbeitung der Richtlinien aus

Ama­zon hat ein inter­nes KI-Rang­lis­ten-Sys­tem abge­schal­tet, nach­dem Mit­ar­bei­ter begon­nen hat­ten, das Sys­tem zu mani­pu­lie­ren, um Nut­zungs­wer­te auf­zu­blä­hen, was die Rechen­kos­ten in die Höhe trieb, ohne sinn­vol­le Arbeit zu erzeugen.

Das von Mit­ar­bei­tern ent­wi­ckel­te Dash­board reih­te das Per­so­nal nach KI-Token-Ver­brauch. Anstatt die Pro­duk­ti­vi­tät zu stei­gern, ver­an­lass­te die Anreiz­struk­tur das, was Kol­le­gen als „Token­ma­xxing” bezeich­ne­ten , das Aus­füh­ren unnö­ti­ger Ein­ga­ben und red­un­dan­ter Auf­ga­ben ein­zig und allein, um in den Ran­kings auf­zu­stei­gen. Ein Groß­teil der Akti­vi­tät erzeug­te kei­nen geschäft­li­chen Mehr­wert, wur­de jedoch wei­ter­hin als Nut­zung erfasst und ver­zerr­te die Daten, die das Tool eigent­lich ver­fol­gen sollte.

Das Ver­hal­ten erwies sich als kost­spie­lig. Der auf­ge­bläh­te Token-Ver­brauch erhöh­te die Rechen­kos­ten in einem Aus­maß, das intern Beden­ken aus­lös­te und Ama­zon letzt­end­lich dazu ver­an­lass­te, das Sys­tem voll­stän­dig abzu­schal­ten. Das Unter­neh­men bezeich­ne­te das Dash­board als infor­mel­les Beta-Tool, das zur För­de­rung gedacht war und kei­ne for­ma­le Leis­tungs­kenn­zahl dar­stell­te, und erklär­te, es sei nie dazu gedacht gewe­sen, KI-Nut­zung „um der Nut­zung wil­len” zu fördern.

Ama­zon hat seit­dem eine brei­te­re Abkehr von ver­brauchs­ba­sier­ten KI-Bench­marks signa­li­siert und den Fokus auf veri­fi­zier­te Geschäfts­er­geb­nis­se statt auf Akti­vi­täts­vo­lu­men gelenkt. Seni­or-Vize­prä­si­dent Dave Tre­ad­well riet den Mit­ar­bei­tern, KI gezielt zur Lösung von Kun­den- und Geschäfts­pro­ble­men ein­zu­set­zen, anstatt Ran­kings zu erklimmen.

Der Vor­fall fügt sich in ein brei­te­res Mus­ter ein. Ähn­li­ches Kenn­zah­len-Mani­pu­la­ti­ons­ver­hal­ten ist bei Meta und Micro­soft auf­ge­tre­ten und weist auf eine sys­te­mi­sche Schwach­stel­le in der Art und Wei­se hin, wie Unter­neh­men die KI-Ein­füh­rung mes­sen. Wenn rohe Nut­zungs­zah­len mit Sta­tus oder Ran­kings ver­knüpft wer­den, opti­mie­ren Mit­ar­bei­ter für die Zahl statt für das Ergeb­nis , eine Dyna­mik, die Kri­ti­ker als Pro­duk­ti­vi­täts­thea­ter bezeich­net haben.

Für die unter­neh­mens­wei­te KI-Poli­tik könn­te der Ama­zon-Fall weg­wei­send sein : Dash­boards, die Volu­men beloh­nen, ris­kie­ren genau den Auf­wand zu erzeu­gen, den sie eigent­lich besei­ti­gen sollten.

Quellenangabe

• https://www.linkedin.com/posts/evolving-ai_amazon-told-its-engineers-to-use-more-ai-activity-7467168531504123904-sFtC
• https://www.youtube.com/watch?v=GVtjgSlS9hs
• https://aws.amazon.com/blogs/database/building-a-real-time-gaming-leaderboard-with-amazon-elasticache-for-redis/
• https://developer.amazon.com/zh/docs/leaderboardsandtournaments/2‑game-walkthrough.html
• https://finimize.com/content/amazon-pulled-its-ai-leaderboard-after-workers-gamed-it
• https://www.pcgamer.com/software/ai/amazon-bins-an-internal-ai-leaderboard-for-its-kiro-employees-because-they-were-burning-through-too-many-costly-tokens/
• https://www.mediaweek.com.au/amazon-scraps-ai-leaderboard-after-workers-caught-cheating/
• https://www.youtube.com/watch?v=fPz75ALyDvo
• https://aws.amazon.com/blogs/apn/how-to-build-a-real-time-gaming-leaderboard-with-amazon-dynamodb-and-rockset/
• https://www.instagram.com/reel/DYeVSJRykf7/