Google KI Agent erledigt Aufgaben automatisch
11/07/2026
OpenAI stellte fest, dass viele SWE-bench-Verified-Coding-Aufgaben in die Trainingsdaten eingeflossen waren, wodurch Modelle Antworten auswendig abrufen konnten, anstatt Probleme tatsächlich zu lösen. Das ist ungefähr so, als würde man den Antwortschlüssel vor einer Prüfung austeilen. Werte von nahezu 70 % wirkten beeindruckend, spiegelten aber keine echten Fähigkeiten wider. Eine neue Option, SWE-Bench Pro, verwendet unbekannten Code und anspruchsvollere Aufgaben, wodurch die Spitzenwerte auf nur noch 23 % sinken. Es gibt noch mehr an dieser Geschichte, das es wert ist, bekannt zu sein.
Warum man SWE-bench-Verified-Ergebnissen nicht mehr trauen kann
Wie konnte ein vertrauenswürdiger Coding-Benchmark plötzlich unzuverlässig werden ? Die Antwort liegt in der Datenkontamination. SWE-bench Verified verwendete 500 Python-Aufgaben, die bereits online erschienen waren, bevor der Test überhaupt startete. Das bedeutet, dass Modelle wie GPT‑5.2 und Claude Opus 4.5 die Antworten möglicherweise einfach auswendig gelernt haben. Sie haben die Probleme nicht gelöst , sie haben sie erinnert.
Das eigene Audit von OpenAI bestätigte dieses Muster bei jedem wichtigen getesteten Modell. Das ist ein schwerer Schlag für die Integrität von Benchmarks, da Ergebnisse eigentlich echtes Können widerspiegeln sollen, nicht Gedächtnis. Eine manuelle Analyse des Benchmarks ergab zudem, dass ein relativ geringer Anteil, etwa 5, 10%, der Aufgaben von vornherein als falsch oder unlösbar eingestuft wurde.
Man kann es sich vorstellen wie das Aushändigen des Antwortschlüssels an Schüler vor einer Prüfung. Klar, dann bestehen alle. Aber beweist das, dass sie den Stoff auch wirklich verstehen ? Nicht wirklich. Das ist hier das Grundproblem.
Ist SWE-bench Pro die wirkliche Lösung oder genauso kaputt ?
Was macht SWE-Bench Pro also anders ? Es beginnt mit der Herkunft der Datensätze. Die Aufgaben stammen aus Copyleft-Projekten und privatem kommerziellem Code , Material, das Modelle schlichtweg noch nicht gesehen haben. Das ist ein großer Vorteil für die Vertrauenswürdigkeit. Der Benchmark schöpft aus 41 Repositories, aufgeteilt in öffentliche, zurückgehaltene und kommerzielle Codebasen, um maximale Vielfalt zu gewährleisten.
Die Zahlen bestätigen das. Spitzenmodelle wie GPT‑5 und Claude Opus 4.1 erreichen nur knapp über 23 % , ein deutlicher Absturz gegenüber den 70 % von Verified. Das bedeutet nicht, dass die Modelle schlechter geworden sind , der Test ist einfach realistischer geworden.
Die Aufgaben betreffen nun mehrere Dateien, umfassen im Durchschnitt über 100 Codezeilen und erfordern stundenlange konzentrierte Arbeit, ganz wie echte Ingenieurstätigkeit. Fügt man eine stärkere Bewertungsrobustheit hinzu, die vollständige Testsuiten statt ausgewählter Einzeldateien prüft, erhält man Ergebnisse, denen man tatsächlich vertrauen kann. Pro ist nicht perfekt, aber ehrlich.
Quellenangabe
- https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/
- https://openai.com/index/separating-signal-from-noise-coding-evaluations/
- https://www.reddit.com/r/MachineLearning/comments/124eyso/n_openai_may_have_benchmarked_gpt4s_coding/
- https://agentmarketcap.ai/blog/2026/04/05/swe-bench-contamination-crisis-openai-stops-reporting-verified-scores
- https://agentmarketcap.ai/blog/2026/04/08/openai-halts-swe-bench-benchmark-contamination-crisis
- https://sdd.sh/2026/04/81-vs.-46-the-ai-coding-benchmark-thats-been-lying-to-you/
- https://chyshkala.com/blog/openai-kills-its-own-benchmark-after-60-data-contamination
- https://www.youtube.com/watch?v=0HaUD_olwQU&themeRefresh=1&time_continue=60
- https://epochai.substack.com/p/what-skills-does-swe-bench-verified-evaluate
- https://www.reddit.com/r/singularity/comments/1gjqxdz/between_april_and_now_swebench_verified_scores/
