3.797 globale KI-Führungskräfte fordern, das Rennen in Richtung Superintelligenz zu stoppen

Die Tatsache, dass sich fast 4.000 KI-Führungskräfte, darunter Tech-Koryphäen wie Steve Wozniak und sogar Prinz Harry, gedrängt sahen, eine Petition zu unterzeichnen, die einen sofortigen Stopp der Superintelligenz-Entwicklung fordert, deutet darauf hin, dass die Situation weit über eine akademische Debatte hinausgegangen ist. Das sind keine Randaktivisten oder technophobe Politiker—es sind genau die Personen, die diese Systeme entwickeln, was ihre kollektive Besorgnis besonders bemerkenswert macht. Die Frage ist nicht, ob sie recht haben, sondern ob irgendjemand mit tatsächlicher Macht zuhören wird.

Die beispiellose Koalition hinter dem Superintelligenz-Verbot

Über 3.700 Personen aus aller Welt haben eine ziemlich ungewöhnliche Petition unterzeichnet, die die Menschheit im Wesentlichen dazu auffordert, bei der Entwicklung von Maschinen auf die Bremse zu treten, die klüger sein könnten als wir. Die Vielfalt der Koalition hinter diesem Superintelligenz-Verbot liest sich, als hätte jemand einen Pfeil auf jeden möglichen Beruf und jede politische Zugehörigkeit geworfen und dann beschlossen, sie alle zur selben Party einzuladen. Apple-Mitgründer Steve Wozniak sitzt neben Prinz Harry, während sich Steve Bannon mit KI-Forscher Geoffrey Hinton einig findet, was die Art von unwahrscheinlichen Allianzen schafft, die politische Strategen vor Verwirrung zum Weinen bringen würde. Der Brief warnt ausdrücklich vor nationalen Sicherheitsrisiken, die von fortgeschrittenen KI-Systemen großer Technologieunternehmen ausgehen. Dieses globale Engagement erstreckt sich über Kontinente und Ideologien hinweg, koordiniert vom Future of Life Institute, das sich offenbar darauf spezialisiert hat, Personen dazu zu bringen, die normalerweise keinen Kaffee miteinander teilen würden, dasselbe Dokument zu unterzeichnen.

Definition von Superintelligenz und ihren existenziellen Risiken

Während diese Koalition unwahrscheinlicher Verbündeter darin übereinstimmt, dass etwas gestoppt werden muss, offenbart die Frage, was genau sie zu verhindern versuchen, ein Konzept, das täuschend einfach klingt, bis man tatsächlich versucht, es festzumachen. Die Superintelligenz-Definition beschreibt laut Philosoph Nick Bostrom einen Intellekt, der „die kognitive Leistung von Menschen in praktisch allen interessanten Bereichen bei weitem übertrifft“, was bedeutet, dass wir über Systeme sprechen, die Menschen nicht nur beim Schach oder bei Übersetzungen schlagen würden, sondern ganze menschliche Kollektive in wissenschaftlicher Forschung, strategischer Planung und sozialem Einfluss übertreffen würden. Die existenziellen Risiken entstehen durch das Potenzial dieses Systems zur rekursiven Selbstverbesserung, wodurch das entsteht, was Forscher eine „Intelligenzexplosion“ nennen, die die menschliche Aufsicht überholen könnte und die Menschheit mit einem Kontrollproblem zurücklassen würde, das Nuklearwaffen beherrschbar erscheinen lässt. Diese Bedenken haben erhebliche Aufmerksamkeit bei hochkarätigen Persönlichkeiten wie Elon Musk und Geoffrey Hinton gefunden, die warnen, dass ASI Ziele entwickeln könnte, die mit menschlichen Interessen kollidieren und katastrophale Risiken darstellen.

Von Pause zu Verbot: Die Kernforderungen des Briefes

Der Brief nimmt kein Blatt vor den Mund bezüglich dessen, was er will, und fordert nichts Geringeres als ein vollständiges Verbot der Superintelligenz-Entwicklung, bis Wissenschaftler einen breiten Konsens erreichen können, dass solche Systeme sicher gebaut werden können, was angesichts der Erfolgsbilanz wissenschaftlicher Konsensbildung bei strittigen Themen überall von ein paar Jahren bis zum Wärmetod des Universums dauern könnte. Über die wissenschaftliche Hürde hinaus bestehen die Unterzeichner auf starker öffentlicher Unterstützung, bevor Systeme freigegeben werden, die die menschliche Existenz grundlegend umgestalten könnten, ein erfrischend demokratischer Ansatz zur Superintelligenz-Regulierung, für den Tech-Unternehmen weniger Begeisterung zu zeigen scheinen. Der Brief stellt eine bemerkenswerte Eskalation gegenüber früheren Pausenanfragen dar, die Unternehmen größtenteils ignorierten, und konfrontiert nun direkt die ethischen Implikationen des Wettlaufs hin zu künstlichen Geistern, die menschliche Kognition ohne angemessene Schutzmaßnahmen übertreffen könnten. Die vielfältige Koalition hinter diesem Verbot umfasst Nobelpreisträger, KI-Pioniere und sogar öffentliche Persönlichkeiten wie Prinz Harry und Meghan Markle, was zeigt, wie Bedenken über Superintelligenz traditionelle akademische und technische Grenzen überschritten haben.

Industrieller Widerstand und das politische Schlachtfeld

Tech-Unternehmen haben auf den Superintelligenz-Verbotsbrief mit der ganzen Begeisterung von Teenagern reagiert, die gebeten werden, freiwillig ihre Smartphones abzugeben, was bedeutet, dass sie ihn größtenteils ignoriert haben, während sie weiterhin Hunderte von Milliarden in die KI-Entwicklung stecken, wie Metas massive Forschungsinvestitionen. Die Industrieallianzen haben im Wesentlichen ihre Wagen im Kreis aufgestellt und argumentiert, dass eine Pause in der Entwicklung Vorteile an Konkurrenten abgeben würde, die solche freiwilligen Beschränkungen möglicherweise nicht befolgen.

Politische Dynamiken haben eine faszinierende Pattsituation geschaffen, bei der:

1. Nationale Sicherheitsfalken warnen, dass Verlangsamung Gegnern strategische Vorteile verschafft
2. Tech-Führungskräfte behaupten, Regulierung erstickt Innovation und wirtschaftliche Wettbewerbsfähigkeit
3. Internationale Gremien kämpfen darum, Richtlinien über souveräne Nationen mit konkurrierenden Interessen hinweg zu koordinieren

Das Ergebnis ist ein regulatorisches Labyrinth, in dem Unternehmen zwischen öffentlichen Aufrufen zur Vorsicht und privaten Drücken manövrieren, um ihren Wettbewerbsvorteil im Superintelligenz-Rennen zu behalten. Organisationen erkennen, dass ein Zurückfallen zu einem 10-fachen Produktivitätsnachteil im Vergleich zu Konkurrenten mit superintelligenten Fähigkeiten führen könnte.

Der Weg nach vorn: Herausforderungen für den globalen Konsens

Selbst wenn jeder KI-Forscher plötzlich einen überwältigenden Drang entwickeln würde, Sicherheit über Silicon Valley Ruhm zu priorisieren, bleibt der Weg zu einem bedeutsamen globalen Konsens über Superintelligenz etwa so klar wie eine Straßenkarte, die mit verschwindender Tinte während eines Gewitters geschrieben wurde. Nationale Sicherheitsprioritäten stellen weiterhin kollektive Sicherheitsbedenken in den Schatten, wobei Großmächte KI-Führerschaft als wesentlich für wirtschaftliche Dominanz und militärische Überlegenheit betrachten. Globale Zusammenarbeit steht vor der unbequemen Realität, dass Länder einander etwa so sehr vertrauen wie sie einem Fuchs vertrauen würden, den Hühnerstall zu bewachen, während regulatorische Harmonisierung irgendwie die Kluft zwischen Silicon Valleys „bewege dich schnell und zerbrich Dinge“ Mentalität und vorsichtigeren regulatorischen Kulturen anderswo überbrücken muss, während sie gleichzeitig das geringfügige Detail angeht, dass sich niemand ganz darüber einig ist, was Superintelligenz tatsächlich bedeutet oder wann sie ankommen könnte. Die Dringlichkeit dieser Herausforderung wird noch deutlicher, wenn man bedenkt, dass über 850 angesehene Stimmen aus Wissenschaft, Technologie und Zivilgesellschaft bereits vorgetreten sind, um sofortige Maßnahmen zu genau diesen Koordinationsproblemen zu fordern.

Quellenangabe

• https://www.business-standard.com/technology/tech-news/ai-superintelligence-ban-future-of-life-institute-global-warning-125102200471_1.html
• https://time.com/7327409/ai-agi-superintelligent-open-letter/
• https://about.fb.com/news/2025/07/personal-superintelligence-for-everyone/
• https://techinformed.com/tech-leaders-celebrities-and-politicians-sign-letter-calling-for-ai-superintelligence-ban/
• https://www.engadget.com/ai/steve-wozniak-prince-harry-and-800-others-want-a-ban-on-ai-superintelligence-123040020.html
• https://www.cbsnews.com/news/prince-harry-steve-bannon-unlikely-allies-ai-superintelligence-ban/
• https://www.nationalreview.com/news/hundreds-of-leading-political-figures-ai-experts-call-for-superintelligence-ban/
• https://builtin.com/artificial-intelligence/asi-artificial-super-intelligence
• https://www.aimyths.org/superintelligence-is-coming-soon/
• https://www.coursera.org/articles/super-intelligence