GPT-4 vs. ChatGPT

GPT-4 vs. ChatGPT: Eine Untersuchung von Training, Leistung, Fähigkeiten und Grenzen

GPT-4 ist eine Verbesserung, aber zügle deine Erwartungen.

OpenAI verblüffte die Welt, als sie Ende 2022 ChatGPT einführte. Es wird erwartet, dass das neue generative Sprachmodell ganze Branchen wie Medien, Bildung, Recht und Technik völlig verändern wird. Kurz gesagt, ChatGPT droht, so ziemlich alles zu verändern. Und noch bevor wir Zeit hatten, uns eine Welt nach ChatGPT vorzustellen, hat OpenAI GPT-4 veröffentlicht.

Die Geschwindigkeit, mit der in den letzten Monaten bahnbrechende große Sprachmodelle veröffentlicht wurden, ist erstaunlich. Wenn du immer noch nicht verstehst, wie sich ChatGPT von GPT-3 unterscheidet, geschweige denn von GPT-4, kann ich es dir nicht verdenken.

In diesem Artikel gehen wir auf die wichtigsten Gemeinsamkeiten und Unterschiede zwischen ChatGPT und GPT-4 ein, einschließlich der Trainingsmethoden, der Leistung und Möglichkeiten sowie der Einschränkungen.

ChatGPT vs. GPT-4: Gemeinsamkeiten & Unterschiede in den Trainingsmethoden

ChatGPT und GPT-4 stehen beide auf den Schultern von Giganten. Sie bauen auf früheren Versionen der GPT-Modelle auf, haben aber die Modellarchitektur verbessert, anspruchsvollere Trainingsmethoden eingesetzt und die Anzahl der Trainingsparameter erhöht.

Beide Modelle basieren auf der Transformer-Architektur, die einen Encoder zur Verarbeitung von Eingangssequenzen und einen Decoder zur Erzeugung von Ausgangssequenzen verwendet. Kodierer und Dekodierer sind durch einen Aufmerksamkeitsmechanismus miteinander verbunden, der es dem Dekodierer ermöglicht, den aussagekräftigsten Eingangssequenzen mehr Aufmerksamkeit zu schenken.

Der GPT-4 Technical Report von OpenAI enthält nur wenige Informationen über die Modellarchitektur und den Trainingsprozess von GPT-4 und verweist auf die „Konkurrenzsituation und die Sicherheitsaspekte von großen Modellen“. Was wir wissen, ist, dass ChatGPT und GPT-4 wahrscheinlich auf ähnliche Weise trainiert werden, was eine Abweichung von den Trainingsmethoden für GPT-2 und GPT-3 darstellt. Wir wissen viel mehr über die Trainingsmethoden für ChatGPT als für GPT-4, also fangen wir dort an.

ChatGPT

Zu Beginn wird ChatGPT auf Dialogdatensätzen trainiert, darunter auch auf Demonstrationsdaten, in denen menschliche Kommentatoren die erwarteten Ausgaben eines Chatbot-Assistenten als Reaktion auf bestimmte Aufforderungen demonstrieren. Diese Daten werden zur Feinabstimmung von GPT3.5 mit überwachtem Lernen verwendet, um ein Regelmodell zu erstellen, das dazu verwendet wird, mehrere Antworten auf Aufforderungen zu geben. Menschliche Kommentatoren bewerten dann, welche der Antworten für eine bestimmte Aufforderung die besten Ergebnisse lieferte, um ein Belohnungsmodell zu trainieren. Das Belohnungsmodell wird dann zur iterativen Feinabstimmung des Regelmodells mithilfe von Reinforcement Learning verwendet.

Um es in einem Satz zusammenzufassen: ChatGPT wird mit Reinforcement Learning from Human Feedback (RLHF) trainiert, einer Methode, bei der menschliches Feedback zur Verbesserung eines Sprachmodells während des Trainings einbezogen wird. Auf diese Weise wird die Ausgabe des Modells an die vom Nutzer gestellte Aufgabe angepasst, anstatt nur das nächste Wort in einem Satz auf der Grundlage eines Korpus allgemeiner Trainingsdaten vorherzusagen, wie bei GPT-3.

GPT-4

OpenAI hat noch keine Details darüber bekannt gegeben, wie es GPT-4 trainiert hat. Ihr technischer Bericht enthält keine „Details über die Architektur (einschließlich der Modellgröße), die Hardware, die Trainingsberechnung, die Datensatzkonstruktion, die Trainingsmethode oder Ähnliches“. Was wir wissen, ist, dass GPT-4 ein generatives multimodales Modell im Transformatorstil ist, das sowohl mit öffentlich zugänglichen Daten als auch mit lizenzierten Daten Dritter trainiert und anschließend mit RLHF feinabgestimmt wurde. Interessanterweise hat OpenAI Details zu ihren verbesserten RLHF-Techniken bekannt gegeben, um die Modellantworten genauer zu machen und die Wahrscheinlichkeit zu verringern, dass sie die Sicherheitsleitplanken überschreiten.

Nach dem Training eines Regelmodells (wie bei ChatGPT) wird RLHF beim gegnerischen Training eingesetzt, einem Prozess, bei dem ein Modell auf böswillige Beispiele trainiert wird, die das Modell täuschen sollen, um es in Zukunft gegen solche Beispiele zu verteidigen. Im Fall von GPT-4 bewerten menschliche Fachleute aus verschiedenen Bereichen die Antworten des Modells auf gegnerische Aufforderungen. Diese Antworten werden dann verwendet, um zusätzliche Belohnungsmodelle zu trainieren, die das Richtlinienmodell iterativ verfeinern, so dass ein Modell entsteht, das weniger gefährliche, ausweichende oder ungenaue Antworten gibt.

ChatGPT vs. GPT-4: Gemeinsamkeiten und Unterschiede in Leistung und Fähigkeiten

Fähigkeiten

In Bezug auf die Fähigkeiten sind sich ChatGPT und GPT-4 ähnlicher als sie sich unterscheiden. Wie sein Vorgänger interagiert auch GPT-4 in einem konversationellen Stil, der darauf abzielt, sich auf den Nutzer einzustellen. Wie du unten sehen kannst, sind die Antworten der beiden Modelle auf eine allgemeine Frage sehr ähnlich.

OpenAI stimmt zu, dass der Unterschied zwischen den Modellen subtil sein kann und behauptet, dass „der Unterschied zum Vorschein kommt, wenn die Komplexität der Aufgabe eine ausreichende Schwelle erreicht.“ In Anbetracht des sechsmonatigen gegnerischen Trainings, das das GPT-4-Basismodell in seiner Nachtrainings-Phase durchlaufen hat, ist dies wahrscheinlich eine zutreffende Beschreibung.

Im Gegensatz zu ChatGPT, das nur Text akzeptiert, akzeptiert GPT-4 Aufforderungen, die sowohl aus Bildern als auch aus Text bestehen, und gibt textbasierte Antworten zurück. Zum Zeitpunkt der Veröffentlichung dieses Artikels ist die Fähigkeit zur Verwendung von Bildeingaben leider noch nicht öffentlich verfügbar.

Leistung

Wie bereits erwähnt, berichtet OpenAI von einer deutlichen Verbesserung der Sicherheitsleistung von GPT-4 im Vergleich zu GPT-3.5 (von dem ChatGPT abgeleitet wurde). Es ist jedoch unklar, ob die Verringerung der Antworten auf Anfragen nach unzulässigen Inhalten, die Verringerung der Generierung toxischer Inhalte und die verbesserten Antworten auf sensible Themen auf das GPT-4-Modell selbst oder auf die zusätzlichen Tests mit gegnerischen Parteien zurückzuführen sind.

Darüber hinaus übertrifft GPT-4 den CPT-3.5 bei den meisten akademischen und beruflichen Prüfungen, die von Menschen abgelegt werden. Besonders hervorzuheben ist, dass GPT-4 beim Uniform Bar Exam im 90. Perzentil abschneidet, während GPT-3.5 nur im 10. GPT-4 übertrifft seinen Vorgänger auch bei traditionellen Sprachmodell-Benchmarks sowie bei anderen SOTA-Modellen deutlich (wenn auch manchmal nur knapp).

ChatGPT vs. GPT-4: Gemeinsamkeiten und Unterschiede bei den Einschränkungen

Sowohl ChatGPT als auch GPT-4 haben erhebliche Einschränkungen und Risiken. Die GPT-4 System Card enthält Erkenntnisse aus einer detaillierten Untersuchung dieser Risiken, die von OpenAI durchgeführt wurde.

Dies sind nur einige der Risiken, die mit beiden Modellen verbunden sind:

• Halluzination (die Tendenz, unsinnige oder faktisch ungenaue Inhalte zu produzieren)
• Produktion von schädlichen Inhalten, die gegen die Richtlinien von OpenAI verstoßen (z. B. Hassreden, Aufforderungen zur Gewalt)
• Verstärkung und Aufrechterhaltung von Stereotypen über marginalisierte Menschen
• Erzeugung realistischer Desinformationen, die täuschen sollen

Während ChatGPT und GPT-4 mit denselben Einschränkungen und Risiken zu kämpfen haben, hat OpenAI besondere Anstrengungen unternommen, um diese für GPT-4 zu entschärfen, u. a. durch umfangreiche Tests mit Gegnern. Das ist zwar ermutigend, aber die GPT-4 System Card zeigt letztlich, wie anfällig ChatGPT war (und möglicherweise immer noch ist). Für eine ausführlichere Erklärung der schädlichen unbeabsichtigten Folgen empfehle ich die Lektüre der GPT-4 System Card, die auf Seite 38 des GPT-4 Technical Report beginnt.

Fazit

In diesem Artikel gehen wir auf die wichtigsten Gemeinsamkeiten und Unterschiede zwischen ChatGPT und GPT-4 ein, einschließlich ihrer Trainingsmethoden, Leistungen und Fähigkeiten sowie Einschränkungen und Risiken.

Obwohl wir viel weniger über die Modellarchitektur und die Trainingsmethoden hinter GPT-4 wissen, scheint es eine verfeinerte Version von ChatGPT zu sein, die jetzt auch Bild- und Texteingaben akzeptiert und behauptet, sicherer, genauer und kreativer zu sein. Leider müssen wir uns auf das Wort von OpenAI verlassen, denn GPT-4 ist nur im Rahmen des ChatGPT Plus-Abonnements erhältlich.

Die folgende Tabelle zeigt die wichtigsten Gemeinsamkeiten und Unterschiede zwischen ChatGPT und GPT-4:

Der Wettlauf um die genauesten und dynamischsten großen Sprachmodelle hat mit der Veröffentlichung von ChatGPT und GPT-4 im Abstand von nur wenigen Monaten ein halsbrecherisches Tempo erreicht. Es ist wichtig, über die Fortschritte, Risiken und Grenzen dieser Modelle auf dem Laufenden zu bleiben, um sich in dieser aufregenden, aber sich schnell entwickelnden Landschaft der großen Sprachmodelle zurechtzufinden.