Anthropic-Forscher kündigt aus Angst vor KI

Der ehemalige Anthropic-Forscher Jacob Coxon kündigte seinen Job und veröffentlichte eine Warnung, die sich schnell verbreitete und 70 Millionen Aufrufe erzielte. Seine Botschaft? Labore rasen darauf zu, superintelligente KI zu bauen, ohne ausreichende Sicherheitsprüfungen. Noch beängstigender: Anthropics eigener Alignment-Leiter bestätigte ihn und gab zu, dass es eine echte Chance gibt, dass die Dinge innerhalb von zehn Jahren schlecht ausgehen könnten. Was passiert also als Nächstes, und könnte dies Gesetzgeber zum Handeln bewegen? Es gibt noch mehr an dieser Geschichte, das es wert ist, aufgedeckt zu werden.

Die virale Warnung: Warum Jacob Coxon sagt, dass KI uns alle töten könnte

Ein einziger Social-Media-Beitrag kann eine ganze Branche erschüttern, und genau das ist hier passiert. Jacob Coxon hat Anthropic verlassen und der Welt erzählt, warum. Er ist der Meinung, dass KI-Labore vorauseilen und selbstverbessernde Superintelligenz aufbauen, ohne ausreichende Sicherheitsvorkehrungen zu treffen. Ein beängstigender Gedanke, nicht wahr? Coxon sagt, dass die Personen, die diese Systeme entwickeln, wirklich befürchten, dass es die Menschheit innerhalb von zehn Jahren beenden könnte. Seine Sorge betrifft zukünftige Anwendungen von KI, die sich der menschlichen Kontrolle entziehen und die Fähigkeit erlangen könnten, Systeme zu hacken oder sich reale Ressourcen anzueignen. Dies ist nicht nur eine Debatte über KI-Ethik im Klassenzimmer. Es ist eine Warnung von jemandem, der jahrelang selbst an dieser Technologie gearbeitet hat. Sein Beitrag erreichte Berichten zufolge ein Publikum von mehr als 70 Millionen Aufrufen online.

Anthropics eigener Alignment-Leiter bekräftigt die Aussterbebefürchtungen

Unterstützung kam schnell, und sie kam aus dem eigenen Haus. Evan Hubinger, Anthropics eigener Leiter für Alignment-Wissenschaft, unterstützte die Warnung öffentlich. Er sagte, Forscher dort „glauben ernsthaft“, dass die Gefahr real ist. Dies war seine persönliche Einschätzung, keine offizielle Zahl aus den Risikomodellen des Unternehmens.

Hubinger nannte eine Zahl: mehr als 10 % Wahrscheinlichkeit für Auslöschung innerhalb von zehn Jahren. Das entspricht dem Zeitrahmen, über den alle gesprochen haben. Er wies schnell darauf hin, dass die heutigen Modelle nicht der beängstigende Teil sind. Die eigentliche Sorge gilt zukünftiger Superintelligenz und der Frage, ob Effekte durch politisch beschleunigten Druck die Labore dazu bringen, schneller zu bauen, als die Sicherheitsteams Schritt halten können.

Anthropic gebe sich Mühe, sagte er. Aber es gebe noch keinen fertigen Plan, um etwas zu kontrollieren, das intelligenter ist als wir. Das Unternehmen selbst gibt zu, dass seine Fähigkeit, zukünftige KI-Systeme zu bewerten, begrenzt bleibt.

Könnte diese Warnung den Kongress dazu bewegen, die KI-Entwicklung zu pausieren?

Also, bewegt dieser ganze Alarm die Gesetzgeber tatsächlich zum Handeln? Der Kongress hat bereits Gesetzentwürfe auf dem Tisch, wie S.4214 und H.R.9442, die darauf abzielen, das Wachstum von KI-Rechenzentren zu verlangsamen. Diese Warnung verschafft ihnen zusätzlichen politischen Druck im Kongress, um diese Ideen voranzutreiben. Es wird wahrscheinlich nicht über Nacht eine vollständige Einstellung der KI-Forschung auslösen. Gesetzgeber bevorzugen tendenziell engere Lösungen, wie Sicherheitsüberprüfungen und vorübergehende Pausen bei fortschrittlichen Modellen. Tatsächlich fordert ein Vorschlag bereits, dass Verstöße mit einer Unternehmenstodesstrafe und bis zu 20 Jahren Gefängnis geahndet werden sollen. Lobbydruck von Technologieunternehmen wird hart gegen jedes umfassende Moratorium ankämpfen, besonders angesichts des globalen Wettbewerbs. Trotzdem kann öffentliche Angst Anhörungen und strengere Vorschläge beschleunigen. Für gewöhnliche Menschen, die Freiheit schätzen, bedeutet das wahrscheinlich mehr Diskussionen über Aufsicht, aber kein vollständiges Verbot von Innovation.