ERNIE: Baidus bahnbrechendes KI-Modell und potenzieller Rivale von OpenAI’s ChatGPT
16/03/2023
Als AutorIn ist die KI nicht dein Feind
18/03/2023
Große Sprachmodelle sind dümmer als die Katze deines Nachbarn
Wenn du wissen willst, wie ein Mensch wirklich ist, beobachte, wie er das Personal in einem Restaurant behandelt. Macht offenbart den wahren Charakter derer, die sie innehaben. Der ChatGPT-Hype ist der Beweis dafür, dass niemand KI wirklich versteht.
Ich konnte Sam Altman zwar nicht zum Essen ausführen, aber ich konnte sein Verhalten in einer ähnlichen Situation beobachten: bei einem Live-Interview. Genauso wie die Kunden einen Vorteil gegenüber den Kellnern haben, hatte der CEO von OpenAI einen Vorteil gegenüber seinen Zuhörern – und er hat jeden einzelnen von ihnen für dumm verkauft.
“Wir haben jetzt diese Sprachmodelle, die Sprache verstehen können”, sagte er. “Es funktioniert noch nicht perfekt, aber es funktioniert ein bisschen, und es wird immer besser werden.”
Es gibt tausend Möglichkeiten, wie Sam diesen ersten Satz hätte formulieren können, aber er hat sich für das einzige Verb entschieden, das eine dicke fette Lüge vermittelt. Aber warte mal, wirst du sagen, er hat doch hinzugefügt, dass es nur ein bisschen funktioniert, oder? Auch das ist eine Lüge, denn Large Language Models verstehen nichts – und sie können nicht besser werden, wenn sie etwas nicht können.
Der Black Box-Bullsh*t
Was die meisten Menschen heutzutage als “künstliche Intelligenz” bezeichnen, ist eine bestimmte Art von Technologie, die sich Maschinelles Lernen nennt. Du zeigst einem Computer eine Reihe von Beispielen für das, was du erreichen willst, und bittest ihn, einen Weg zu finden, um das gleiche Ergebnis zu erzielen.
Der häufigste Anwendungsfall für maschinelles Lernen ist die Bilderkennung. Angenommen, du möchtest, dass deine “KI” Katzen auf zufälligen Bildern erkennt. Alles, was du tun musst, ist, dein System mit zwei Datensätzen zu füttern: viele Bilder von “Katzen” und viele Bilder von “Nicht-Katzen”. Beachte, dass jedes Bild, das du einspeisst, beschriftet werden muss – das ist eine schicke Umschreibung dafür, dass du jedem deiner Bilder einen Titel gibst. In diesem Fall sind deine Bezeichnungen “Katze” und “nicht Katze”.
Gib deiner Maschine genügend Beispiele für “Katze/Nicht-Katze”, und sie wird lernen, Katzen in fast jedem Bild zu erkennen. Der Durchbruch besteht darin, dass du keinen Code brauchst, sondern nur Daten, und zwar jede Menge davon. Deine Maschine nutzt deine sorgfältig ausgewählten Beispiele, um sich sozusagen selbst zu lehren, deshalb nennen wir diesen Bereich Machine Learning oder ML.
Im echten Leben hast du nicht immer so viele hochwertige Daten, wie du gerne hättest. Aber das kannst du mit Feedback-Schleifen ausgleichen. Du überprüfst die Arbeit deiner Maschine von Zeit zu Zeit und gibst ihr einen Schubs in die richtige Richtung. Du verhältst dich wie ein Lehrer, der einen sehr fleißigen, aber auch sehr dummen Schüler unterrichtet.
Und jetzt kommt der Clou. Du wirst nie in der Lage sein, deinem Roboterschüler direkte Anweisungen zu geben, und du wirst nie wissen, was er denkt. Selbst wenn dein Schüler dir sagt, wie er denkt, würdest du es nicht verstehen, weil er eine ganz andere Sprache verwendet.
Anders ausgedrückt: Dein Machine Learning Modell schreibt seinen eigenen Code in einer Sprache, die du nicht lesen kannst. Deshalb sprechen KI/ML-Leute oft von einer Blackbox. “Niemand weiß, was in einem Machine Learning-Modell vor sich geht”, sagen sie. “Es ist eine verdammte Blackbox!!!”
Das ist so lange gut, bis die Leute anfangen, Blackboxen zu benutzen, um wahnhafte Behauptungen aufzustellen wie “ChatGPT versteht Sprache. Sie werden sagen, dass wir nicht wissen, was im Inneren von ChatGPT passiert, aber es beantwortet unsere Fragen doch ganz gut, oder? Vielleicht hat es die Sprache herausgefunden, nachdem es eine Menge davon konsumiert hat?!
Die Behauptung klingt plausibel, aber wie viele der Antworten von ChatGPT ist sie purer Schwachsinn.
Der König der Pastiche
Wir wissen nicht, was im Inneren eines Machine Learning Modells passiert, aber wir wissen definitiv, wie es funktioniert. Das ist so, als würdest du Fahrrad fahren. Du kannst nicht genau beschreiben, wie sich jede Zelle deines Körpers verhält, aber du weißt, dass es darum geht, dein Gewicht auszugleichen.
Large Language Models, die von ChatGPT verwendete Variante des maschinellen Lernens, funktionieren, indem sie die menschliche Sprache nachahmen, ohne sie wirklich zu verstehen. Das bringt uns zu Gary Marcus, einem KI-Enthusiasten, Gründer und Autor von Rebooting AI, einem der 7 Pflichtbücher von Forbes zu diesem Thema.
Gary vergleicht die Antworten von ChatGPT mit “Pastiche” – der Nachahmung der Arbeit eines oder mehrerer Schöpfer, um ein neues Stück Inhalt zu produzieren. Man könnte sagen, ChatGPT fügt Wörter zusammen, um plausible Antworten zu erstellen, die auf Textmustern basieren, die aus dem Internet übernommen wurden. Das Schlüsselwort ist hier “plausibel”.
ChatGPT im Besonderen und GPT (das Modell dahinter) im Allgemeinen sind auf Plausibilität optimiert. Nicht für Genauigkeit. Nicht für die Überprüfung von Fakten. Nicht für die Wahrheit. Das Einzige, was GPT interessiert, ist, einen Haufen Text zu produzieren, der Sinn zu ergeben scheint – selbst wenn er totaler Blödsinn ist. Gary Marcus hat diese Tendenz in vier eleganten Punkten erklärt:
- Beim Wissen geht es zum Teil um bestimmte Eigenschaften von bestimmten Entitäten. Die Nachahmung von GPT stützt sich auf riesige Mengen menschlicher Texte, die z. B. häufig Subjekte [England] mit Prädikaten [gewann 5 Eurovisionswettbewerbe] zusammenbringen.
- Im Laufe des Trainings verliert GPT manchmal den Überblick über die genauen Beziehungen (“Bindungen”, um einen Fachbegriff zu verwenden) zwischen diesen Entitäten und ihren Eigenschaften.
- Da GPT eine Technik namens Einbettung verwendet, ist es sehr gut darin, Synonyme und allgemeinere verwandte Begriffe zu ersetzen, aber die gleiche Tendenz zur Substitution führt es oft in die Irre.
- GPT beherrscht abstrakte Beziehungen nicht vollständig. Es weiß zum Beispiel nicht ganz allgemein, dass für alle Länder A und alle B, wenn Land A mehr Spiele gewonnen hat als Land B, Land A ein besserer Kandidat für “Land, das die meisten Spiele gewonnen hat” ist.
Ich werde das wiederholen, bis ich heiser bin: GPT versteht nicht, was du sagst. Es versteht deine Fragen nicht, und es versteht auch seine eigenen Antworten nicht. Tatsächlich ist jedes einzelne Sprachmodell, das sich ausschließlich auf Deep Learning stützt, dümmer als die Katze deines Nachbarn.
Katzen haben ein Bild von der Welt, das ihnen hilft, sich in ihr zurechtzufinden. Außerdem haben sie Instinkte in ihr Gehirn einprogrammiert, die es ihnen ermöglichen, mit relativer Logik zu handeln. Im Gegensatz dazu haben GPT und Co. nur Muster aus von Menschen geschriebenen Texten, die keinen Sinn ergeben. Das ist zum Beispiel der Grund, warum ChatGPT nicht in der Lage ist, einfache mathematische Berechnungen durchzuführen, obwohl es in der Lage ist, “anspruchsvolle” Prosa zu schreiben. Warum? ChatGPT hat keine Fähigkeit zu denken.
Was passiert, wenn du ein Kind 20 Jahre lang in eine Bibliothek einsperrst?
Das Gegenargument von Sam Altman und seinen Anhängern lautet: Alles, was du brauchst, sind mehr Daten. Wenn du Large Language Models intelligent machen willst, gib ihnen einfach mehr Beispiele, mehr Parameter und mehr Bezeichnungen. Dann wartest du ab und hoffst, dass sich die “Vernunft” schon irgendwie einstellen wird.
Betrachte das folgende Gedankenexperiment.
Stell dir vor, du sperrst ein neugeborenes Kind allein in eine Bibliothek. Nennen wir es Loki und nehmen wir an, dass es keine Nahrung, kein Wasser, keinen Schlaf und keine Liebe braucht. Du lässt Loki den ganzen Tag über Tausende von Büchern anschauen, jeden einzelnen Tag, 20 Jahre lang, ohne Unterbrechung. Du bringst ihm nichts über Grammatik bei und erklärst ihm auch nicht, was die englischen Wörter bedeuten.
Jetzt stell dir vor, du kommst zwei Jahrzehnte später zurück und schiebst unter der verschlossenen Tür der Bibliothek einen Zettel durch, auf dem steht: “Hallo Loki, was ist deine Lieblingsfarbe?”
Erwartest du, dass Loki deine Frage versteht?
Loki könnte sich an deine Frage aus einem der Dialoge erinnern, die er zuvor gesehen hat. Vergiss nicht, dass Loki Wörter nicht lesen kann. Er sieht sie genauso wie du japanische/arabische/hebräische Schriftzeichen, ohne sie lesen zu können, geschweige denn zu wissen, was sie bedeuten.
Der einzige Unterschied ist, dass Loki ein superstarkes Gedächtnis hat, mit dem er sich jedes Wort merken kann, das er zuvor gesehen hat. Noch besser: Er merkt sich Muster von Sätzen und Ausdrücken, die er wiederholen kann. Dadurch ist er in der Lage, plausible Antworten zu schreiben, die von zwei Büchern inspiriert sind, die er konsumiert hat – etwa so: “Hallo, ich liebe Lila, weil es mit Kreativität, Luxus und Raffinesse assoziiert wird [inspiriert von Buch Nr. 1] und weil es Gefühle von Ruhe und Gelassenheit hervorrufen kann [inspiriert von Buch Nr. 2].”
Jetzt frage ich dich noch einmal: Glaubst du, Loki versteht deine Frage?
Egal, wie viele Bücher der arme Junge verschlingt, er wird nie verstehen, wovon du redest. Er wird auch nicht verstehen, wovon er redet. Loki wird einfach eine Antwort nachplappern, und diese Antwort wird ihn scheinbar verstehen. Aber in Wirklichkeit redet Loki nur unsinnigen Mist.
Loki ist nämlich ein Large Language Model, genau wie ChatGPT. Du kannst sie mit so vielen Daten füttern, wie du willst, sie werden nie spontan einen Sinn für Logik entwickeln.
29 Milliarden Dollar
Das ist der Preis, den Investoren Berichten zufolge zwei Monate nach der Veröffentlichung von ChatGPT auf OpenAI gesetzt haben – und dieselben Quellen behaupten, dass Microsoft 10 Milliarden Dollar in OpenAI investiert hat.
Unabhängig von den Zahlen haben die beiden Unternehmen ihre Zusammenarbeit bestätigt und bereits Fortschritte bei der Verbesserung von Microsofts Produkten gemacht. Insbesondere kündigte Microsoft eine neue Version seiner Suchmaschine Bing an, die Chatbot-Funktionen nutzen wird.
Diese Entwicklungen führten dazu, dass sich Google in seiner Existenz bedroht fühlte, was zu einer Reihe von Krisensitzungen führte. Google beschloss daraufhin, seine eigenen KI-gestützten Produkte so schnell wie möglich auf den Markt zu bringen.
Auf den ersten Blick klingt die Nachricht für KI-Liebhaber/innen, mich eingeschlossen, großartig. Wettbewerb führt zu Verbesserungen und Innovationen. Aber Wettbewerb macht die Menschen auch anfälliger für Risiken und Schwachsinn.
Sam Altman hat sein Publikum über die Leistungsfähigkeit von GPT-Modellen belogen und Sundar Pichai, der CEO von Google, hat sich entschieden, die Leitplanken zu ignorieren, die er zuvor für sein Unternehmen aufgestellt hatte. Während sich die CEOs ein Wettrennen um die KI liefern, muss sich der Rest der Welt auf einen Tsunami von Online-Fehlinformationen gefasst machen.
Ach komm schon, magst du einwenden, diese klugen Köpfe wissen doch, was sie tun! Sicherlich würden sie keine unüberlegten Entscheidungen treffen und es vermasseln, oder?
“Alphabet Inc. hat am Mittwoch [2023-02-08] 100 Milliarden Dollar an Börsenwert verloren, nachdem sein neuer Chatbot in einem Werbevideo ungenaue Informationen verbreitet hat und eine Veranstaltung des Unternehmens nicht geglänzt hat“, schreibt Reuters und beschreibt den folgenden Tweet:
Es gibt zwar noch keine massiven Fehler auf Seiten von Microsoft, aber das Unternehmen scheint zu wissen, was auf es zukommt, weshalb es seine Nutzerinnen und Nutzer warnen wollte. “Bing wird die gefundenen Informationen manchmal falsch darstellen, und es kann sein, dass du Antworten siehst, die überzeugend klingen, aber unvollständig, ungenau oder unangemessen sind”, heißt es in dem Tweet. “Nutze dein eigenes Urteilsvermögen und überprüfe die Fakten, bevor du Entscheidungen triffst oder Maßnahmen ergreifst, die auf den Antworten von Bing basieren.
Sowohl Google als auch Microsoft wenden dieselbe fragwürdige Technik an. Sie laden das Risiko auf ihre Nutzer ab, um schlimme Konsequenzen zu vermeiden. Sie liefern kostenlose Bullshit-Generatoren und sagen, dass es an den normalen Menschen liegt, das Chaos zu durchschauen.
Vielleicht sind es Arroganz, Ehrgeiz oder sogar Wahnvorstellungen, die Tech-CEOs dazu bringen, dumme Large Language Models als intelligente Lösung zu verkaufen, um sich in der Online-Welt zurechtzufinden. Aber der “KI”-Hype, den du in den sozialen Medien siehst? Nun, der ist definitiv auf einen Mangel an Bildung zurückzuführen.
Wir fallen auf das herein, was uns kluge und wortgewandte Führungskräfte erzählen. Wir glauben an ihre edlen Träume und wollen, dass sie Erfolg haben – und das ist gut so. Was aber nicht in Ordnung ist, ist das Ignorieren roter Flaggen, vor allem, wenn man nur aufpassen muss, sei es in einem Restaurant oder in einem Live-Interview.
