KI-Nacktbilder werden bei Reddit verkauft
26/04/2023
Deutsche haben Vorbehalte gegenüber KI
27/04/2023
GPT4All-J: Das Wissen der Menschheit, das auf einen USB-Stick passt
Neue Version von GPT4All mit grafischer Benutzeroberfläche und Ein-Klick-Installer.
GPT4All ist ein Ökosystem von Open-Source-Chatbots. Es hat in den letzten Tagen bemerkenswert an Popularität gewonnen: Es gibt mehrere Artikel darüber, es ist eines der heißesten Themen auf Twitter und es gibt mehrere Tutorials auf YouTube. Ein wichtiger Grund dafür ist, dass es eine scheinbar brauchbare Alternative zum geschlossenen ChatGPT von OpenAI ist und auf Consumer-Hardware, wie deinem Laptop, laufen kann. In diesem Artikel schauen wir uns die neueste Version von GPT4All-J an: Ein verbessertes Modell, ein Ein-Klick-Installationsprogramm und eine neue Benutzeroberfläche.
Einführung GPT4All-J
Offiziell wurde GPT4All-J am 13. April 2023 vorgestellt:
Es wird von einem technischen Bericht begleitet. Die drei wichtigsten Änderungen gegenüber der vorherigen Version sind folgende:
- Es wurde auf einem viel größeren Korpus trainiert, der systematisch bereinigt wurde.
- Das Modell verwendet nicht mehr die GPL-lizenzierte LLaMA, sondern die Apache-lizenzierte GPT-J-Gewichtung.
- Neben dem Terminal gibt es jetzt auch eine grafische Benutzeroberfläche (GUI), und es sind Ein-Klick-Installationsprogramme verfügbar.
Insgesamt soll sich dadurch die Leistung bei kreativen Aufgaben verbessert haben. Wie bei den Vorgängern war die Ausbildung relativ kostengünstig und wurde mit 5.000 $ veranschlagt.
Eine offene Lizenz
Während bessere Trainingsdaten und ein besseres Modell zu erwarten waren, ist die Änderung der Lizenz ein großer Schritt nach vorne. Das LLaMA Lizenzmodell und der Zugang zu den Gewichten über eine Warteliste wurden in der Vergangenheit kontrovers diskutiert, z.B. hier. Einer der Hauptstreitpunkte ist die Beschränkung auf die Forschung und nicht auf die kommerzielle Nutzung. Eine Apache-lizenzierte Anwendung eröffnet daher viele neue Wege.
Dennoch bleibt für mich die generelle Lizenzfrage – auch für andere LLM-Modelle – schwierig zu beantworten. Die Assistenzdaten für GPT4All-J wurden mit OpenAIs GPT-3.5 erstellt, was die Entwicklung von Modellen, die in Konkurrenz zu kommerziellen Modellen stehen, verbietet. Während im Tweet und in den technischen Hinweisen eine Apache-2-Lizenz erwähnt wird, steht im GPT4All-J-Repo, dass es unter MIT-Lizenz steht, und wenn man es mit dem One-Click-Installer installiert, muss man einer GNU-Lizenz zustimmen.
Benutzerfreundlichkeit: Ein-Klick-Installer und die GUI.
Eine der neuen Funktionen ist ein Ein-Klick-Installer für Windows, Linux und Mac. Die Installationsprogramme und Anleitungen sind hier zu finden. Beim Zugriff auf die Website habe ich einige Warnungen wegen fehlender Sicherheitszertifikate erhalten. Trotzdem hat die Installation bei mir auf Mac und Windows problemlos funktioniert. Du installierst es, lädst die Module herunter (3,5 GB bis 7,5 GB), extrahierst die Daten und das war’s. Bei mir hat das alles weniger als 10 Minuten gedauert. Das ganze läuft problemlos auf einem Rechner mit 16 GB RAM und hat in etwa die Geschwindigkeit von GPT-4.
Die Benutzeroberfläche begrüßt dich mit einem schwarzen Fenster, ähnlich wie bei ChatGPT, und schon kann es losgehen:
Wenn du den Installationsanweisungen folgst, geben die Autoren einen schönen Ausblick auf das Modell:
Du lädst eine 3,5 GB große Datei herunter (wobei ich denke das ist etwas übertrieben, zudem gibt es weitere Dateien von über 7,5 GB), die das gesamte Wissen der Menschheitsgeschichte enthält, das jemals ins Internet gestellt wurde. Wir danken dir für deine Geduld und dein Verständnis – vielleicht nimmst du dir während des Downloads ein wenig Zeit, um dir bewusst zu machen, wie weit wir Menschen gekommen sind, und klopfst dir selbst auf die Schulter.
Das ist in der Tat bemerkenswert. Aber wie gut ist dieses “destillierte” Modell wirklich? Als schnellen Test könnten wir eine historische Frage stellen, die wir leicht überprüfen können. Ich frage: Kannst du mir eine kurze Chronologie des Ersten Weltkriegs geben, einer der größten Tragödien der Menschheitsgeschichte?
Offensichtlich gibt es hier viele Fehler. Kann man das in Zahlen ausdrücken? Wenn ich ChatGPT mit GPT-4 nach der prozentualen Genauigkeit für diesen Text frage, sagt es mir, dass sie bei 50% liegt. Auf die Frage nach den zwei offensichtlichsten Fehlern werden folgende genannt: (1) Russland ist nicht auf der Seite Deutschlands, sondern auf der Seite der Alliierten eingetreten, und (2) Bismarck war nicht Reichskanzler – zwei Dinge, die ein kurzer Vergleich mit Wikipedia bestätigt.
Bemerkenswerterweise gibt es für ChatGPT folgende Gründe:
Außerdem ist Bismarck 1898 verstorben, also kann er 1914 keine Warnung ausgesprochen haben.
Dies ist ein weiteres Beispiel für die zweifellos erstaunliche und beeindruckende Leistung von GPT-4, für diejenigen, die sich wundern: Für die gleiche Aufgabe und mit einem GPT-4-Modell als Bewerter erreichte ein mit GPT-3.5 erstellter Text eine Genauigkeit von 95%, und ein mit GPT-4 erstellter Text erreichte ebenfalls 95% (obwohl der erstellte Text etwas länger war).
Mobilität: Alles auf einen USB-Stick packen
Trotz des Verbesserungspotenzials in Bezug auf die Genauigkeit finde ich GPT4All-J absolut bemerkenswert. Die endgültige Installation ist etwas mehr als 4 GB groß (mit 2 Modulen sogar knappe 12 GB), und man kann alles problemlos auf einen USB-Stick packen. Ich habe es kurz auf einem Windows-Rechner getestet: Ich kopierte den Programmordner (in dem sich die Gewichte befinden) und konnte alles ohne Installationsprogramm auf einen anderen Computer übertragen. Dieser Computer war nicht mit dem Internet verbunden und ich konnte wie zuvor chatten.
Es war wirklich so, als hätte ich einen Teil der Weisheit der Menschheit auf einem kleinen physischen Gerät transportiert. Wenn man darüber nachdenkt: Wir konstruieren Sätze, die mit Hilfe einer ausgeklügelten Architektur und vor trainierten Modellen in Vektordarstellungen umgewandelt werden, die schließlich umfangreiche Geschichten in einer Art und Weise verpacken, die jeden Menschen überleben könnte. Absolut verblüffend.
