Gemini 4 Argon bringt Apollo per Video Cornhole bei

Ein Roboter lernt Cornhole, indem eine KI einem Menschen beim Werfen zusieht: Google DeepMind hat Gemini 4 Argon in einem internen Versuch ein Video auswerten und daraus eine Bewegung für Apptroniks humanoiden Roboter Apollo ableiten lassen. Bei einem Praxistest traf Apollo anschließend sieben Würfe hintereinander.

Was an der Vorführung neu ist

Vom Kameravideo zum Bewegungsablauf

Bislang mussten Fachleute für solche Aufgaben oft erst eine Physiksimulation und passenden Robotercode erstellen. DeepMind beschreibt dafür einen Ablauf namens Video-to-Sim-to-Real: Argon analysiert eine gewöhnliche Videoaufnahme, bestimmt die räumliche Anordnung von Umgebung und Gegenständen und leitet daraus nötige Gelenkbewegungen ab. Spezielle Bewegungserfassungstechnik war laut der Beschreibung für das gezeigte Beispiel nicht nötig.

Was Apollo tatsächlich geschafft hat

Das Modell erzeugte anschließend Code für eine Physiksimulation. Die darin erlernte Strategie wurde auf Apollo übertragen und in der realen Welt getestet. DeepMind zufolge dauerte der Prozess Stunden statt Wochen manueller Simulationsarbeit. Das Ergebnis ist bemerkenswert, aber eng umrissen: Es handelt sich um eine Vorführung mit einer einzelnen Aufgabe, nicht um den Nachweis, dass Apollo beliebige Tätigkeiten aus Videos erlernen kann.

Argon erzielte außerdem laut Google DeepMind 87 Prozent im Embodied Reasoning benchmark ERQA, der räumliches Denken in dreidimensionalen Umgebungen prüft. Dieser Wert ist ein Benchmark-Ergebnis, nicht Apollos Trefferquote beim Cornhole.

Warum das auch für Nutzer zählt

Weniger Handarbeit beim Training

Wenn sich der Ansatz auf weitere Aufgaben übertragen lässt, könnten Entwickler weniger Zeit für den Aufbau passender Simulationen und für manuelle Programmierung benötigen. Das wäre vor allem für Teams interessant, die Robotern neue Bewegungsabläufe beibringen. Google zufolge kann Argon dabei Videoanalyse, räumliches Denken und Code-Erstellung verbinden.

Keine neue Roboterfunktion für zu Hause

Für den Alltag bedeutet die Vorführung zunächst keine Funktion, die Nutzer einfach einschalten können. Google stellt Gemini 4 Argon über seine KI-Produkte und eine Programmierschnittstelle bereit. Die Quellen beschreiben aber keinen öffentlichen Ablauf, mit dem Privatpersonen ein Video hochladen und damit einen Apollo-Roboter trainieren können. Die gezeigte Robotik-Anwendung ist eine Demonstration von DeepMind.

So läuft das gezeigte Verfahren ab

Die vier Schritte der Demo

1. Aufgabe filmen: Eine Kameraaufnahme zeigt einen Menschen bei der gewünschten Tätigkeit. Im Beispiel wirft die Person Bohnensäckchen beim Cornhole.
2. Szene auswerten: Argon erfasst laut DeepMind die Geometrie und die Positionen der Gegenstände im Raum.
3. Bewegung und Simulation ableiten: Das Modell berechnet passende Gelenkbewegungen und erstellt Code für eine Physiksimulation.
4. Verhalten übertragen: Die gelernte Strategie wird auf Apollo übertragen und in einem realen Versuch geprüft.

Worauf man bei ähnlichen Vorführungen achten sollte

Prüfen Sie zuerst den Umfang des Tests: Sieben Treffer in Folge belegen das gezeigte Ergebnis, aber nicht die Eignung für andere Aufgaben. Achten Sie außerdem darauf, ob ein Ergebnis aus einer realen Robotervorführung oder aus einem Benchmark stammt. Hier wurden beides berichtet: Apollos Cornhole-Versuch und Argons 87-Prozent-Wert im ERQA-Test. Das sind unterschiedliche Messungen.

Wer Gemini 4 Argon selbst verwendet, kann die verfügbaren KI-Produkte oder die Programmierschnittstelle nutzen. Der konkrete Weg hängt vom jeweiligen Angebot ab; ein Zugang zum Robotertraining aus dem Video folgt daraus nicht automatisch. Für die Robotik-Demo ist die praktische Lehre vorerst vor allem, wie sich Videoanalyse und Simulation in einem Trainingsablauf verbinden lassen.

Quellen

• Gemini 4 Argon Writes Physics Simulation Code From Human Video, Teaches Apollo Humanoid Cornhole
• Google DeepMind uses Gemini 4 Argon to teach Apptronik’s Apollo humanoid new skills from video
• Gemini 4 Argon: The Model and Safety Cards
• Google DeepMind builds 3D periodic table with Gemini 4 Argon: What is so different about it – The Times of India
• Google's Gemini 4 Argon just landed in the Gemini model picker , here's what it actually means for you | TechRadar