Die Weiterentwicklung der KI für 6 Monate stoppen
03/04/2023
DeepL Writer AI: Die Zukunft der Content-Erstellung
03/04/2023
Etwas zum Nachdenken
Richard Suttons bittere Lektion ist, vereinfacht gesagt, dass es langfristig immer besser ist, dem Computer die Last zu überlassen, bessere KI-Systeme zu finden (durch Lern- oder Suchalgorithmen), anstatt zu versuchen, sie selbst zu finden, indem wir unser Wissen nutzen.
Auf der Suche nach einer Verbesserung, die kurzfristig einen Unterschied macht, versuchen Forscherinnen und Forscher, ihr menschliches Wissen über den Bereich zu nutzen, aber langfristig ist nur die Nutzung von Rechenleistung wichtig.
Rich Sutton – The Bitter Lesson
Sutton ist der Meinung, dass der Mensch wenig zu den besten KI-Systemen beigetragen hat, die wir gebaut haben: Wir sind zu Hintergrundfiguren in dieser Show künstlicher Phänomene geworden, die nicht wegen uns erfolgreich sind (manchmal sogar trotz uns und unserer Selbstüberschätzung), und nicht die intelligenten Architekten der Zukunft, die wir zu sein glaubten. Das behauptete Sutton vor fast zwei Jahren (März 2019). Ihm fehlte es nicht an Beweisen und guten Argumenten, um seinen Standpunkt zu verteidigen, der, wenn er wahr ist, sicherlich bitter ist.
Er hat nicht behauptet, dass der Mensch völlig irrelevant ist – natürlich stecken in der Entwicklung von Deep Blue und AlphaGo (oder auch ChatGPT und GPT-4) außergewöhnlicher Einfallsreichtum und tiefes Fachwissen. Er meinte, dass, sobald mehr Rechenleistung zur Verfügung steht, eine Einheit dieser mystischen Kraft mehr wert ist, um die Leistung eines KI-Systems bei einer bestimmten Aufgabe zu steigern, als eine Einheit menschlichen Wissens (was auch immer das bedeutet).
Und obwohl wir uns damals nicht darauf geeinigt hätten, dass alle Probleme dieser Realität unterliegen (z. B. ist nicht jede Lösung eine Frage des Lernens), könnten wir, wenn wir seine Argumente auf die Unendlichkeit ausdehnen, feststellen, dass ihr nichts entgeht.
In diesem Aufsatz werde ich Suttons Schlussfolgerung als meine Prämisse akzeptieren. Der Mensch ist nicht entbehrlich, aber ja, die Berechnung ist der König der KI. Wenn das so ist, wie geht es dann weiter?
Dieser Artikel ist ein Auszug aus The Algorithmic Bridge, einem Bildungsnewsletter, der die Kluft zwischen KI, Algorithmen und Menschen überbrücken soll. Er hilft dir, die Auswirkungen von KI auf dein Leben zu verstehen und die Werkzeuge zu entwickeln, mit denen du die Zukunft besser meistern kannst. https://thealgorithmicbridge.substack.com/subscribe
Es wird immer bitterer
GPT-4, das vor zwei Wochen veröffentlicht wurde, passt perfekt zu Suttons Argumenten. Ich bin mir sicher, dass an der Entwicklung von GPT-4 jede Menge Ingenieurskunst beteiligt war, aber die Wahrheit ist, dass OpenAI es mit 375 Mitarbeitern gebaut hat. Google hat mehr als 150.000 und war bisher nicht in der Lage, auf Augenhöhe zu konkurrieren. Sind die Mitarbeiter von OpenAI fünfhundert Mal klüger als die von Google?
Wir könnten eine Debatte über OpenAIs beneidenswertes Talent oder über Googles Unfähigkeit, Produkte zu liefern, führen, aber es gibt eine einfachere Erklärung, die aus Suttons Lektion folgt: Mit genügend Rechenleistung ist menschliches Wissen nicht mehr so wichtig – die Anzahl der Köpfe, die darüber nachdenken, wie man das Problem der Entwicklung besserer KI-Modelle lösen kann, ist ein viel kleinerer Faktor für das Endergebnis.
GPT-4, das von so wenigen Menschen entwickelt wurde, ist zweifellos besser als Chinchilla oder PaLM (die einzigen Sprachmodelle, die so kompetent sind, dass sie um die Krone kämpfen). Und wir wissen nicht, warum. Laut “CloseAI” sind die Anzahl der Parameter von GPT-4, die Daten, mit denen es trainiert wurde, oder sogar die dafür verwendete Rechenleistung unbekannt. Wir wissen nur, dass es noch mehr gibt. Mehr und mehr Schichten von GPUs werden brr.
Und das ist auch gar nicht so wichtig. Die genaue Größe ihres Supercomputers ist irrelevant. Er ist groß genug, um die ganze Mannschaft hochintelligenter, hochkompetenter Ingenieure bei Google AI auszustechen. Es funktioniert und OpenAI hat gewonnen. Die Folge ist, dass die Abertausende von NLP-Forschern, die bei Google und anderen Tech-Unternehmen arbeiten, plötzlich in den Abgrund blicken.
Ich glaube nicht, dass sie ihre Jobs verlieren werden. Das ist nicht ihre Tragödie: Es ist die Tatsache, dass ihr Wert, gemessen an ihrer Fähigkeit und ihrem Wissen, einige der tiefsten Geheimnisse der Intelligenz und der Sprache zu lösen, im Handumdrehen auf ~0 gesunken ist, weil 375 Mitarbeiter und ein riesiger Teil der Rechenleistung in die Blackbox GPT-4 verwandelt wurden. Wahrlich bitter.
Und es wird noch bitterer werden
Erforschen wir also die Konsequenzen, die das alles mit sich bringt. Du solltest den Rest dieses Artikels weniger als Argumentation verstehen, um etwas zu erklären, das beobachtbar ist (Sutton stützt sich bei seinen Ausführungen auf vorhandene Erkenntnisse), sondern als spekulativen Versuch, etwas vorherzusagen, das möglich (wenn auch nicht wahrscheinlich) ist. Sei nachsichtig mit mir.
Platon hat uns vor etwa zweitausend Jahren dazu gebracht, die Höhle zu verlassen. Und wir haben diese kostbaren Jahrhunderte damit verbracht, eine neue zu graben. Zuerst dachten wir, wir wüssten eine Menge. Dann begannen wir, unsere Unwissenheit zuzugeben (einige mehr als andere), aber wir haben nie unsere Überlegenheit gegenüber allen anderen Lebensformen geleugnet. Wir waren die Herren dieser Welt.
Selbst nach dem Realitätsschock der bitteren Lektion, d.h. nachdem wir akzeptiert haben, dass unsere Rolle bei der Erschaffung der nächsten Generation großartiger Technologie – von der wir hofften, dass sie das Ergebnis jahrelanger Anhäufung von Wissen über die verborgenen Dynamiken des Universums sein würde – nicht mehr so primär sein wird wie bisher, haben wir es geschafft, unsere Würde zu bewahren. Wir sind vielleicht nicht mehr die Stars des Films, aber wir sind immer noch die Einzigen, die ihn mit Bedeutung füllen können. Nur durch unser einzigartiges Bewusstsein für das, was wir mitgestalten, ist es gerechtfertigt, dass wir es überhaupt schaffen. Computer mögen jetzt die besseren Pferde sein, aber wir sind immer noch die Männer, die sie reiten.
Das wird vielleicht nicht ewig so bleiben, und versteh mich nicht falsch: Ich spreche nicht davon, dass KI schlauer wird als wir (AGI, ASI, was auch immer). Ich bin mir nicht sicher, ob das möglich ist. Es ist auch nicht wichtig. Denn schon bald (wir wissen nicht, wann) werden die Dinge, die wir bauen, so komplex werden, dass nicht einmal unser privilegierter Verstand in der Lage sein wird, sie zu verstehen. Das passiert schon jetzt.
Die Sache ist die: Niemand – nicht einmal die Schöpfer – weiß, was es mit GPT-4 auf sich hat. All die Meme und philosophischen Rätsel über Shoggoths, Waluigis und maskierte Simulatoren sind verzweifelte – und vergebliche – Versuche, etwas in einen Zusammenhang zu bringen, das sich langsam unserem Verständnis entzieht. Bald wird es nur noch Geheimnisse geben. Und wir werden nicht aufhören. Denn Computer, unsere metaphorischen Pferde (die dann einen noch größeren Anteil an der gesamten Arbeit haben werden, um uns vorwärts zu bringen), werden noch lange, nachdem wir unser Schicksal nicht mehr erkennen können, weiter auf das Unbekannte zulaufen.
Wir waren die Meister. Die Herrscher. Jetzt sind wir (noch) die Ideengeber, wenn auch nicht die Hauptkonstrukteure. Und bald werden wir nur noch Zuschauer sein, bloße Beobachter einer Welt, die weder von uns gebaut noch von uns verstanden wird. Eine Welt, die sich vor unseren Augen entfaltet – zu schnell, um Schritt zu halten, und zu komplex, um Sinn zu ergeben. Die Bedeutungslosigkeit, vor der wir uns so sehr fürchten – nicht nur als Individuen, sondern auch als die auserwählte Spezies – lauert in der Zukunft, auf die wir uns so bereitwillig zubewegen.
Es war bitter zu akzeptieren, dass wir vielleicht doch nicht das entscheidende Teil des Puzzles sind, in das wir hineingesteckt wurden. Noch bitterer wird es sein, endlich zu erkennen, dass wir nicht einmal würdig genug sind, um als Sinnstifter an den unvorstellbaren Wundern teilzuhaben, die uns auf der anderen Seite dieser Reise als Menschheit erwarten.
