Meta-Lernen für AGI. Ist das die Zukunft?

Wie man allgemeine Intelligenz effizienter macht.

Nachdem die “Sparks der AGI” von Microsofts Forschungsspezialisten in einem kürzlich veröffentlichten GPT-4 gefunden wurden, wird in den KI-Labors von AGI geredet.

AGI, die künstliche allgemeine Intelligenz (artificial general intelligence), ist (vorerst) ein Fantasie-Datenmodell, das wissen würde, was menschliche Zivilisationen bisher angehäuft haben.

Aber hey, in diesem Beitrag geht es nicht um den Untergang der AGI oder darum, ob sie ein Retter der menschlichen Dummheit ist.

Es geht um Meta-Learning und darum, wie es die Entwicklung der künstlichen Intelligenz vorantreiben oder zumindest zu einem wichtigen Rad werden kann.

Ein kurzer Überblick über das Meta-Lernen

Es ist so einfach wie “lernen, wie man lernt”.

Nehmen wir an, du willst deiner kleinen Schwester mit Lerntipps helfen. Anstatt jedes Fach im Detail zu analysieren, gibst du ihm einen allgemeinen Überblick, wie er seine Noten verbessern kann, z. B. wie er sich Notizen macht, die richtigen Fragen stellt oder sich im Unterricht konzentriert.

Auf diese Weise hast du ihm beigebracht, “wie” man lernt. Bei maschinellen Lernalgorithmen wird dieser ähnliche Ansatz als Meta-Lernen bezeichnet.

Da das Wort “Meta” einen übergeordneten Überblick über etwas bezeichnet, bedeutet Meta-Lernen beim maschinellen Lernen das Gleiche.

“Das Meta-Learning-Modell macht Vorhersagen auf der Grundlage der Ergebnisse und Ausgaben anderer (verbundener) Machine-Learning-Algorithmen.”

Genauer gesagt, nachdem es relevante Informationen von allen anderen Lernalgorithmen gesammelt hat, liefert ein Metamodell dem Endnutzer einen optimierten, effektiven und korrekten Satz von Vorhersagen.

Wenn du ein übergeordnetes Modell erstellst, das die Ergebnisse seiner untergeordneten Datenmodelle überwacht, sind die Möglichkeiten endlos. Einige können bessere Vorhersagen, verbesserte Verallgemeinerungen und schnelle Antworten sein.

Allerdings habe ich den Zweck eines Meta-Learning-Algorithmus und seine Anwendungsmöglichkeiten weit über das oben genannte Zitat hinaus definiert.

• Meta-Learning ist ein Ansatz, der aus den Ergebnissen der zugehörigen, vorher trainierten Datenmodelle lernt und Richtlinien für zukünftige Vorhersagen dieser Modelle erstellt.
• Diese Richtlinien, auch “Meta-Wissen” genannt, schaffen ein zielgerichtetes, effizientes System von KI-Algorithmen, das in der Lage ist, das zu produzieren, was ein Mensch von ihnen erwartet.
• Sobald die Wissensbasis für bestehende Modelle geschaffen ist, kann das Gesamtsystem viel bessere Verallgemeinerungen produzieren, sich selbst an veränderte Anforderungen anpassen (da wir nur die Richtlinien – das Metawissen – aktualisieren müssen und neue Ergebnisse direkt einfließen können) und kann über zahlreiche Datenpunkte super skalierbar werden.

Meta-Lernen in der AGI: Ein hypothetisches Szenario

Viele Experten glauben, dass AGI bis zum Ende dieses Jahrhunderts eintreten wird. Viele Wissenschaftler/innen und Theoretiker/innen argumentieren, dass AGI früher als 2050 eintreten wird.

Wie dem auch sei, Meta-Lernen wird eine enorme Rolle bei der Verbesserung von AGI-Systemen spielen. Denn je mehr du weißt, wie die potenzielle AGI funktionieren wird, desto besser wirst du die Anwendungen des Meta-Learnings verstehen können.

Schnelles Lernen und Anpassen

Eine Sache ist bei AGI ganz klar. Das Endmodell soll sich an die sich ändernden menschlichen Anforderungen und das berufliche Arbeitsumfeld anpassen. Der Agent kann alle Hindernisse durch schnelles Lernen und Anpassung an die reale Welt überwinden.

Eine der Möglichkeiten, wie schnelles Lernen in maschinellen Lernmodellen erreicht werden kann, ist durch Meta-Lernen.

Indem wir die Aufgaben aufschlüsseln und präzise Datenpunkte für die Ergebnisse verwenden, die wir brauchen, können wir die Fähigkeit des Modells verbessern, die relevanten Fakten zu liefern, die ein Mensch braucht.

Stellen wir uns ein Szenario vor, in dem eine AGI-Software von der Stange entwickelt wird, die sich an die sich ändernden Nutzeranforderungen anpasst, die Arbeitsprozesse des Unternehmens verwaltet und gleichzeitig die Finanzen verwaltet. Für eine solche Berechnung ist ein innovativer Ansatz erforderlich, damit die AGI in einem halsbrecherischen Tempo arbeitet und gleichzeitig ihre Integrität bewahrt, um die richtigen Informationen zu liefern.

Und wenn man die Realität betrachtet, ist das Meta-Lernen bereit für dieses Abenteuer.

Modellagnostische maschinelle Lerntechniken

Modellagnostische Methoden des maschinellen Lernens beziehen sich auf die Arbeit an einem intelligenten Algorithmus, ohne sich auf dessen innere Funktionsweise und Architektur zu verlassen.

Sie helfen KI-Wissenschaftlern dabei, die Interpretierbarkeit von Algorithmen zu entdecken, ihre Effizienz und ihr Gesamtverhalten zu kennen und dabei unabhängig von ihrer Natur zu bleiben.

Der Begriff “agnostisch” steht hier im Zusammenhang mit dem “Meta” des Meta-Lernens. Damit ist gemeint, dass ein übergeordnetes System geschaffen wird, das die Teilmodule innerhalb der AGI überwacht und ihre Leistung verbessert, ohne dass die interne Funktionsweise verändert werden muss.

Der modellagnostische Ansatz des Meta-Lernens ist ein zweischneidiges Schwert: Einerseits verbessert er die Benutzerfreundlichkeit, die Effizienz und die schnelle Reaktionszeit der AGI für die Endnutzer. Gleichzeitig können Forscher/innen an der Optimierung, der Interpretierbarkeit, den Verallgemeinerungen, der Vorhersagbarkeit, der Abstimmung der Hyperparameter und vielem mehr arbeiten.

Viele Aufgaben im Zusammenhang mit AGI können durch effektive modellagnostische Techniken des Meta-Learnings vereinfacht und leistungsfähiger gemacht werden.

Möglichkeiten des Transferlernens

Das Ziel ist es, die AGI weniger ressourcenintensiv zu machen und gleichzeitig mehr in kürzerer Zeit zu erreichen.

Transfer-Lernen ist die Idee, dass ein Modell etwas lernt. Wenn es auf Daten trainiert wird oder das richtige Ergebnis vorhersagt, sollte das Wissen, das es dabei lernt, auch übertragbar sein.

Ein Beispiel: Wir müssen die Ergebnisse eines Fußballspiels vorhersagen. Dafür haben wir unserer AGI-Software alle notwendigen Datenpunkte zur Verfügung gestellt. Die ML-Algorithmen haben auf der Grundlage der Robustheit der Modelle und der bereitgestellten Eingabedaten ein optimales “Real Madrid 4-3 Barcelona”-Ergebnis erstellt.

Das ist das Ergebnis eines Spiels.

Was ist, wenn wir eine ganze “LaLiga-Tabelle” berechnen müssen?

Die Antwort darauf ist die Einführung von übertragbarem Lernen in Algorithmen für maschinelles Lernen. Mit diesem Ansatz müssen wir nur einen Algorithmus trainieren. Danach können wir sein Wissen für weitere Vorhersagen nutzen.

So brauchen wir nur beim ersten Mal etwas Rechenarbeit zu leisten. Für die nachfolgenden Ergebnisse müssen wir nur hier und da ein wenig nachbessern, um das bestmögliche Ergebnis für Nischen- oder verwandte Aufgaben zu erzielen.

Wenn Meta-Lernen also mit übertragbarem Lernen kombiniert wird, bietet es Forschern, Wissenschaftlern und Entwicklern eine Menge Möglichkeiten. Durch den Zugriff auf das Meta-Wissen, das von Meta-Algorithmen bereitgestellt wird, kann sich das Transfer-Lernen schneller an neue Dinge anpassen und liefert Ergebnisse mit hoher Genauigkeit und akzeptabler Generalisierung.

Schnellere Datenverarbeitung führt zu Robustheit

Robustheit ist die Fähigkeit eines Algorithmus für maschinelles Lernen, auch dann zuverlässige Ergebnisse zu liefern, wenn in den bereitgestellten Daten einige Unsicherheiten bestehen.

Solche Unwägbarkeiten können groß oder klein sein, da wir uns auf ungefilterte reale Datenquellen nicht so sehr verlassen können. Wenn unser ML-Modell jedoch auch bei schwankenden Daten gut abschneidet, spricht man von einem robusten KI-Modell.

Meta-Lernen ermöglicht es uns, zukünftige Modelle in ihren Antworten noch genauer zu machen und gleichzeitig Ergebnisse zu produzieren, die über mehrere Disziplinen verteilt sind.

Zweifellos ist der Meta-Ansatz für eine schnellere Datenverarbeitung bekannt, da er einen markierten Datensatz und Voraussetzungen liefert, die es einem ML-Modell ermöglichen, weniger Zeit mit Berechnungen zu verbringen und gleichzeitig Schritte einzuleiten, die in kürzester Zeit zu spezifischen und genauen Antworten führen.

Meta-Lernen würde die Wahrscheinlichkeit falscher Ergebnisse verringern, indem es Dateninkonsistenzen – Ausreißer und fehlende Werte -, ungünstige Verallgemeinerungen und eine geringere Abhängigkeit von den Eingaben berücksichtigt.

Obwohl Meta-Lernen allein nicht viel dazu beiträgt, die Robustheit eines Algorithmus zu erhöhen, müssen für eine erfolgreiche Praxis mehrere Ansätze berücksichtigt werden, darunter eine ausgezeichnete Datenqualität, probabilistische Vorhersagen, Ensemble-Lernen, Testen auf ungünstige Eingaben und andere.

Autonome Künstliche Intelligenz

Der zweite Name von AGI ist Autonomie. Zu diesem Aspekt ist schon viel gesagt worden, daher möchte ich nur sagen, dass die Autonomie und die Freiheit, komplexe Entscheidungen zu treffen, nur zunehmen, wenn Meta-Learning in den maschinellen Lernmodellen der AGI eingesetzt wird.

Meta-Lernen: Lass uns über die Zukunft reden

Es gibt einige fantastische Entdeckungen auf dem Gebiet des Meta-Lernens. In einer Forschungsarbeit wurde beispielsweise erörtert, wie die Lücke zwischen bestehenden Deep-Learning-Algorithmen und neueren Problemen des 21. Jahrhunderts durch den Einsatz von Meta-Learning-Best-Practices geschlossen werden kann.

Auch viele andere Paradigmen des maschinellen Lernens und des Deep Learning integrieren inzwischen Meta-Ansätze in ihre Systeme, z. B. Neurocomputing, lebenslanges maschinelles Lernen (LL), few-shot learning (FSL) und andere.

In diesem Blog haben wir viele Meta-Learning-Anwendungen besprochen, wie z. B. MAML – Model Agnostic Machine Learning, das Meta-Learning-Ansätze umfasst, um KI-Algorithmen besser zu optimieren, ohne ihre interne Arbeitsweise zu verändern.

Ich glaube, dass Meta-Learning noch einen langen Weg vor sich hat, und wir sollten eher versuchen, irgendwie vorherzusagen, was dieser erstaunliche Ansatz in den nächsten Jahren für uns haben wird.