Berühmter KI-Architekt Hinton verlässt Google
04/05/2023
Was bedeutet es, KI zu regulieren ?
10/05/2023
Open-Source-Software gewinnt im Wettlauf um die KI zunehmend an Bedeutung und übertrifft Google und OpenAI bei der Lösung wichtiger KI-Probleme. Open-Source-Modelle sind schneller, anpassbarer, privater und leistungsfähiger als die Modelle von Google und werden von vielen wegen ihrer Unabhängigkeit bevorzugt. Während Riesenmodelle bei Google beliebt waren, hat die Open-Source-Gemeinschaft das Skalierungsproblem gelöst und die Einstiegshürde für Training und Experimente gesenkt, was zu einer Renaissance von Open-Source-Sprachmodellen und Bilderzeugung geführt hat. Low Rank Adaptation (LoRA) ist eine leistungsfähige Technik zur Feinabstimmung von Modellen, und die Datenqualität skaliert besser als die Datengröße, was bedeutet, dass große Modelle auf lange Sicht nicht immer leistungsfähiger sind.
Lesen Sie hier die Zusammenfassung eines kürzlich durchgesickerten Dokuments, das von einer anonymen Person auf einem öffentlichen Discord-Server geteilt wurde. Es stammt von einem Google-Forscher. Die Authentizität des Dokuments wurde überprüft und als echt identifiziert.
Open Source vs. Google/OpenAI in der KI-Entwicklung
Open Source überholt Google und OpenAI bei der Entwicklung von KI mit schnelleren, anpassungsfähigeren, privateren und leistungsfähigeren Modellen. Die Menschen werden nicht für ein eingeschränktes Modell bezahlen, wenn es freie und uneingeschränkte Alternativen von vergleichbarer Qualität gibt, und große Modelle bremsen Google aus. Das durchgesickerte Dokument legt nahe, dass Google mit anderen außerhalb des Unternehmens zusammenarbeiten sollte, um wettbewerbsfähig zu bleiben. Open-Source-Modelle machen Dinge mit $100 und 13B, mit denen Google mit $10M und 540B kämpft, und sie lösen Probleme, mit denen Google immer noch kämpft. Google sollte sich als Vorreiter in der Open-Source-Gemeinschaft etablieren, indem es sich an der breiteren Diskussion beteiligt und mit externen Quellen zusammenarbeitet.
Googles KI-Technologie
Google hat keine geheime Technologie und sollte sich auf die Integration von Drittanbietern konzentrieren und die Modelle von Grund auf neu trainieren. Das durchgesickerte Dokument ist nur die Meinung eines Google-Mitarbeiters, nicht die des gesamten Unternehmens, und Googles Technologie ist kein Geheimnis mehr, da die Forscher zu anderen Unternehmen abwandern. LoRA ist eine unglaublich mächtige Technologie, der Google mehr Aufmerksamkeit schenken sollte, da Updates sehr billig zu produzieren sind und fast jeder, der eine Idee hat, sie erstellen und verbreiten kann.
KI Open-Source-Modelle und ‑Projekte
Meta veröffentlichte LLaMA, wobei der Code, nicht aber die Berechnungsmethoden offengelegt wurden. Stanford veröffentlichte Alpaca, das LLaMA um eine Befehlsoptimierung erweiterte. Georgi Gerganov nutzte die 4‑Bit-Quantisierung, um LLaMA auf einer MacBook-CPU laufen zu lassen, und eine universitätsübergreifende Zusammenarbeit veröffentlichte Vicuna, das Parität mit Bard erreichte. Nomic schuf GPT4All, ein Ökosystem, das Modelle an einem Ort sammelt. Cerebras trainierte die GPT-3-Architektur mit optimaler Rechenzeit und Skalierung, und der LLaMA-Adapter führte Instruktionstuning und Multimodalität in einer Trainingsstunde ein. Berkeley hat Koala auf den Markt gebracht, ein Dialogmodell, das ausschließlich mit frei verfügbaren Daten trainiert wird, und Open Assistant hat einen RLHF-Alignment-Datensatz auf den Markt gebracht, der RLHF für kleine Experimentatoren von unzugänglich zu billig und einfach macht.
Die Vorteile von Open Source in der KI
Google sollte sich auf die Integration von Drittanbietern konzentrieren und sich nicht auf “Secret Sauce” verlassen, da seine Technologiegeheimnisse nicht sicher sind, wenn Forscher zu anderen Unternehmen abwandern. Sie sollten bei der Produktentwicklung aggressiver vorgehen und sich darauf konzentrieren, einige der größten Modelle der Welt zu pflegen. Sie sollten auch offener für die Nutzung hochwertiger Datensätze sein, die mit synthetischen Methoden erstellt wurden, und für das Scavenging aus anderen Projekten. Die geschlossene Politik von OpenAI ist nicht nachhaltig, und ihr LLaMA-Modell wurde innerhalb einer Woche der Öffentlichkeit zugänglich gemacht, um Experimente zu ermöglichen.
Google sollte Open Source als die Zukunft der Innovation in den Vordergrund stellen und sich als führendes Unternehmen in der Open-Source-Gemeinschaft etablieren. Open Source hat erhebliche Vorteile, die nicht kopiert werden können, und ein direkter Wettbewerb mit Open Source ist für Google ein aussichtsloses Unterfangen. Open-Source-Modelle bieten den Nutzern die Möglichkeit, schnell und frei zu iterieren, und die besten Modelle sind die, die schnell iteriert werden können. Google sollte sich Open Source zu eigen machen und es zu seinem Vorteil im KI-Wettrüsten nutzen.
