Die Pläne von OpenAI laut Sam Altman

Sam Altman, CEO von OpenAI, diskutierte kürzlich mit Raza Habib und einer Gruppe von Entwicklern über die Pläne von OpenAI. Eine wichtige Erkenntnis war, dass OpenAI derzeit stark GPU-limitiert ist, was viele ihrer kurzfristigen Pläne verzögert. Sie planen jedoch, die Kosten für ihre APIs zu senken und in naher Zukunft längere Kontextfenster, eine erweiterte API für die Feinabstimmung und eine zustandsabhängige API anzubieten. Außerdem wollen sie vermeiden, mit ihren Kunden zu konkurrieren und werden keine weiteren Produkte über ChatGPT hinaus herausbringen. Obwohl eine Regulierung notwendig ist, glaubt er an die Bedeutung von Open Source und erwägt, GPT-3 als Open Source anzubieten. Schließlich gelten weiterhin die Skalierungsgesetze für die Modellleistung, was erhebliche Auswirkungen auf die Zeitpläne der AGI-Entwicklung hat.

Die Pläne von OpenAI laut Sam Altman

Letzte Woche hatte Raza Habib, CEO und Mitbegründer von Humanloop, das Privileg, sich mit Sam Altman und 20 anderen Entwicklern zusammenzusetzen, um über die APIs von OpenAI und ihre Produktpläne zu sprechen. Sam war bemerkenswert offen. In der Diskussion ging es sowohl um praktische Fragen der Entwickler als auch um übergeordnete Fragen im Zusammenhang mit der Mission von OpenAI und den Auswirkungen von KI auf die Gesellschaft. Hier sind die wichtigsten Erkenntnisse:

OpenAI ist derzeit stark auf GPUs beschränkt

Ein gemeinsames Thema, das sich durch die gesamte Diskussion zog, war, dass OpenAI derzeit extrem GPU-limitiert ist und dies viele ihrer kurzfristigen Pläne verzögert. Die größten Kundenbeschwerden betrafen die Zuverlässigkeit und Geschwindigkeit der API. Sam bestätigte ihre Bedenken und erklärte, dass die meisten Probleme auf den Mangel an Grafikprozessoren zurückzuführen sind.

Der längere 32k-Kontext kann noch nicht für mehr Leute ausgerollt werden. OpenAI hat die O(n^2)-Skalierung der Aufmerksamkeit noch nicht überwunden, so dass es zwar plausibel erscheint, dass sie bald (dieses Jahr) 100k – 1M Token-Kontextfenster haben werden, aber alles, was darüber hinausgeht, würde einen Durchbruch in der Forschung erfordern.

Auch die API für die Feinabstimmung wird derzeit durch die Verfügbarkeit von Grafikprozessoren behindert. Es werden noch keine effizienten Finetuning-Methoden wie Adapters oder LoRa verwendet, so dass die Ausführung und Verwaltung des Finetunings sehr rechenintensiv ist. Bessere Unterstützung für das Finetuning wird es in Zukunft geben. Möglicherweise wird es sogar einen Marktplatz für von der Community bereitgestellte Modelle geben.

Das Angebot an dedizierter Kapazität ist durch die Verfügbarkeit von GPUs begrenzt. OpenAI bietet auch dedizierte Kapazitäten an, bei denen die Kunden eine private Kopie des Modells erhalten. Um diesen Service in Anspruch nehmen zu können, müssen die Kunden bereit sein, im Voraus 100.000 $ zu investieren.

Die kurzfristige Roadmap von OpenAI

Sam teilte mit, was er als OpenAIs vorläufige kurzfristige Roadmap für die API ansieht.

2023:

• Günstigeres und schnelleres GPT-4 – Das ist ihre oberste Priorität. Generell ist es das Ziel von OpenAI, die “Kosten der Intelligenz” so weit wie möglich zu senken. Deshalb werden sie hart daran arbeiten, die Kosten der APIs im Laufe der Zeit weiter zu reduzieren.
• Längere Kontextfenster – Kontextfenster von bis zu 1 Million Token sind in naher Zukunft denkbar.
• Finetuning-API – Die Finetuning-API wird auf die neuesten Modelle ausgeweitet, aber die genaue Form dafür wird davon abhängen, was die Entwickler/innen wirklich wollen.
• Eine zustandsorientierte API – Wenn du heute die Chat-API aufrufst, musst du immer wieder den gleichen Gesprächsverlauf durchlaufen und immer wieder für die gleichen Token bezahlen. In Zukunft wird es eine Version der API geben, die sich den Gesprächsverlauf merkt.

2024:

• Multimodalität – Diese Funktion wurde im Rahmen der GPT-4-Veröffentlichung demonstriert, kann aber erst dann auf alle ausgeweitet werden, wenn mehr GPUs online sind.

Plugins “haben kein PMF” und werden wahrscheinlich auch nicht in absehbarer Zeit in die API aufgenommen

Viele Entwickler/innen sind daran interessiert, über die API Zugang zu ChatGPT-Plugins zu erhalten, aber Sam sagte, er glaube nicht, dass sie in nächster Zeit veröffentlicht werden. Die Nutzung von Plugins, außer zum Browsen, deutet darauf hin, dass sie noch kein PMF haben. Er meinte, dass viele Leute dachten, sie wollten ihre Apps in ChatGPT haben, aber eigentlich wollten sie ChatGPT in ihren Apps haben.

PMF (Probability Mass Function)

PMF ist ein statistischer Begriff, der die Wahrscheinlichkeitsverteilung einer diskreten Zufallsvariablen beschreibt.

Oft wird zwischen PDF und PMF verwechselt. Die PDF gilt für kontinuierliche Zufallsvariablen, während die PMF für diskrete Zufallsvariablen gilt, z.B. beim Würfeln (du kannst nur 1 bis 6 Zahlen wählen (abzählbar))

OpenAI wird es vermeiden, mit ihren Kunden zu konkurrieren – außer mit ChatGPT

Einige Entwickler/innen sagten, sie seien nervös, mit den OpenAI-APIs zu bauen, wenn OpenAI am Ende Produkte herausbringen könnte, die mit ihnen konkurrieren. Sam sagte, dass OpenAI über ChatGPT hinaus keine weiteren Produkte veröffentlichen wird. Er sagte, dass es in der Vergangenheit immer wieder große Plattformunternehmen gab, die eine Killer-App hatten, und dass ChatGPT ihnen die Möglichkeit geben würde, die APIs zu verbessern, indem sie Kunden ihres eigenen Produkts sind. Die Vision für ChatGPT ist es, ein superschlauer Assistent für die Arbeit zu sein, aber es wird eine Menge anderer GPT-Anwendungsfälle geben, die OpenAI nicht anfassen wird.

Regulierung ist notwendig, aber Open Source ist es auch

Während Sam eine Regulierung zukünftiger Modelle fordert, hält er die bestehenden Modelle nicht für gefährlich und hält es für einen großen Fehler, sie zu regulieren oder zu verbieten. Er bekräftigte seine Überzeugung von der Wichtigkeit von Open Source und sagte, dass OpenAI darüber nachdenkt, GPT-3 als Open Source zu veröffentlichen. Einer der Gründe, warum sie es noch nicht freigegeben haben, war, dass er skeptisch war, wie viele Einzelpersonen und Unternehmen in der Lage sein würden, große LLMs zu hosten und zu bedienen.

Die Skalierungsgesetze gelten immer noch

In letzter Zeit haben viele Artikel behauptet, dass “das Zeitalter der riesigen KI-Modelle bereits vorbei ist“. Das war nicht genau so gemeint.

Die internen Daten von OpenAI deuten darauf hin, dass die Skalierungsgesetze für die Modellleistung nach wie vor gelten und dass die Vergrößerung der Modelle auch weiterhin zu mehr Leistung führen wird. Die Skalierungsrate kann nicht beibehalten werden, da OpenAI die Modelle in nur wenigen Jahren millionenfach vergrößert hat und dies in Zukunft nicht mehr möglich sein wird. Das bedeutet nicht, dass OpenAI nicht weiterhin versuchen wird, die Modelle größer zu machen, es bedeutet nur, dass sie sich wahrscheinlich jedes Jahr verdoppeln oder verdreifachen werden, anstatt um viele Größenordnungen zu wachsen.

Die Tatsache, dass die Skalierung weiterhin funktioniert, hat erhebliche Auswirkungen auf die Zeitpläne der AGI-Entwicklung. Die Skalierungshypothese besagt, dass wir die meisten der für die Entwicklung von AGI benötigten Komponenten bereits besitzen und dass der Großteil der verbleibenden Arbeit darin besteht, die bestehenden Methoden auf größere Modelle und größere Datensätze zu übertragen. Wenn die Ära der Skalierung vorbei wäre, müssten wir davon ausgehen, dass AGI noch viel weiter entfernt ist. Die Tatsache, dass die Skalierungsgesetze weiterhin gelten, deutet auf einen kürzeren Zeitrahmen hin.