Nvidia ist bereits seit Mitte der 2000er Jahre in der Robotik aktiv, zunächst mit speziellen Grafikprozessoren (GPUs) für 3D-Visualisierung und Simulation von Robotern. 2016 kündigte Nvidia dann die Jetson-Plattform an: kompakte und leistungsstarke Embedded-Computermodule, die die effiziente Ausführung von KI-Algorithmen direkt auf Robotern ermöglichen.
Darüber hinaus stellt Nvidia Robotikentwicklern Softwaretools zur Verfügung, die die Entwicklung und Integration von KI-Anwendungen für Roboter erleichtern. Dazu gehört beispielsweise die Isaac-Plattform, ein virtuelles Framework für die Entwicklung von KI-basierten Roboteranwendungen.
Offensive auf der GTC
Auf der jüngsten GTC-Konferenz (GPU Technology Conference) hat Nvidia weitere Technologien, Aktivitäten und Partnerschaften in der Robotik vorgestellt. „Wir beginnen großartige Arbeit an der nächsten Generation der Robotik. Und diese nächste Generation der Robotik wird von humanoiden Robotern geprägt sein“, sagte Jensen Huang, Gründer und CEO von Nvidia, in seiner Keynote.
Spektakuläres Project GR00T
Die spektakulärste Ankündigung war dabei das Project GR00T. Mit diesem universellen Grundlagenmodell für humanoide Roboter will Nvidia die Entwicklung im Bereich Robotik und verkörperter KI weiter vorantreiben. „Die Entwicklung von Grundlagenmodellen für allgemeine humanoide Roboter ist heute eine der spannendsten Aufgaben in der KI“, so Jensen Huang. Mit GR00T kämen nun für Roboterforscher auf der ganzen Welt die grundlegenden Technologien zusammen, mit denen sich riesige Fortschritte in Richtung künstlicher allgemeiner Intelligenz für Roboter erzielen lassen.
Roboter lernen vom Menschen
Die humanoiden Roboter auf Basis von GR00T (der Name steht für „Generalist Robot 00 Technology“, spielt aber auch auf die Marvel-Comic-Figur an) sollen natürliche Sprache verstehen und Bewegungen durch Beobachtung menschlicher Handlungen nachahmen können. Sie lernen Koordination, Geschicklichkeit und andere Fähigkeiten, um sich in der realen Welt anzupassen und zu interagieren.
Simulation im Isaac Lab
Eine zentrale Rolle spielen dabei Simulationen, in denen Roboter zunächst für die reale Welt lernen. Dafür soll es mit Issac Lab eine Art „virtuelles Trainings Gym“ für humanoide Roboter geben, in dem sie Menschen imitieren und Bewegungen trainieren, bevor sie diese Bewegungen in der realen Welt umsetzen. „Der ChatGPT-Moment für Robotik könnte unmittelbar bevorstehen“, ist Jensen Huang überzeugt.
Rechenpower für humanoide Roboter
Zur GR00T-Offensive gehört auch ein spezieller Computer namens Jetson Thor für humanoide Roboter. Die neue Rechenplattform Jetson Thor kann komplexe Aufgaben ausführen und ist dank ihrer modularen Architektur dennoch in Sachen Stromverbrauch und Größe optimiert. Das System on a Chip (SoC) enthält eine GPU der nächsten Generation basierend auf der brandneuen Blackwell-Architektur mit einer Transformer-Engine, die 800 Teraflops KI-Leistung mit 8-Bit-Fließkomma liefert, um multimodale generative KI-Modelle wie eben GR00T auszuführen.
Seine umfassende KI-Plattform für humanoide Roboter baut Nvidia gemeinsam mit Roboterunternehmen aus, darunter 1X Technologies, Agility Robotics, Apptronik, Boston Dynamics, Figure AI, Fourier Intelligence, Sanctuary AI, Unitree Robotics und XPENG Robotics.
Update für Isaac-Plattform
Neben der spektakulären humanoiden Robotik treibt Nvidia aber auch die KI-Nutzung bei Industrierobotern, Cobots und autonomen mobilen Robotern voran. Zu den Partnern gehören dabei etwa Yaskawa, Teradyne Robotics mit den Töchtern Universal Robots und Mobile Industrial Robots oder die Münchner Franka Robotics.
So hat Nvidia ein großes Update für seine Isaac-Plattform vorgestellt, darunter den Isaac Manipulator und Isaac Perceptor – eine Sammlung von vortrainierten Modellen, Bibliotheken und Referenzhardware für die Robotik. Der Isaac Manipulator bietet Geschicklichkeit und modulare KI-Fähigkeiten für Roboterarme. Mit einer Sammlung von Grundmodellen und GPU-beschleunigten Bibliotheken erreicht Isaac Manipulator eine bis zu 80-fache Beschleunigung der Pfadplanung. Isaac Perceptor wiederum bietet Multi-Kamera-3D-Surround-Vision-Fähigkeiten, die etwa in autonomen mobilen Robotern eingesetzt werden können.
Kooperation mit Teradyne Robotics
Die Zusammenarbeit mit Teradyne Robotics verdeutlicht Nvidias Engagement in der Robotik. Teradyne Robotics will mithilfe von Nvidias Hardware und Software die Nutzung von KI in den Robotiklösungen seiner Tochterunternehmen Universal Robots und Mobile Industrial Robots vorantreiben. Ziel ist es, das Einsatzpotenzial von Cobots und autonomen mobilen Robotern zu erweitern.
Pfadplanung des Cobots beschleunigen
Auf der Nvidias KI-Konferenz GTC präsentierte Universal Robots eine KI-gestützte autonome Inspektionslösung. Die Lösung nutzt die beschleunigte Rechenleistung von Nvidias Jetson AGX Orin-Modul, um die Pfadplanung des Cobots um den Faktor 50 bis 80 zu beschleunigen.
Zum Einsatz kommt dabei neben der Chip-Hardware auch die cuMotion-Bahnplanungssoftware aus der Nvidia Isaac Manipulator-Plattform. Durch die Kombination von cuMotion, UR-Cobot und PolyScope X ermöglicht Teradyne laut eigenen Angaben die Automatisierung von bislang nicht vollständig automatisierbaren Anwendungen und die Verbesserung bestehender Programmierkonzepte.
Vorteile von cuMotion
CuMotion ermöglicht nicht nur die automatische Berechnung kollisionsfreier Bahnen, sondern auch die Optimierung der Pfadplanung hinsichtlich Geschwindigkeit, Verschleiß und Energieeffizienz. Dies vereinfacht die Programmierung der Robotik und reduziert gleichzeitig die Rechenzeit bei der Planung, Optimierung und Ausführung der Roboterbahnen.
Mobiler Roboter MiR1200 Pallet Jack
Ein weiteres Beispiel für die Zusammenarbeit von Nvidia und Teradyne Robotics ist der mobile Roboter MiR1200 Pallet Jack. Der Roboter nutzt eine KI, die vom Nvidia Jetson AGX Orin-Modul angetrieben wird, und 3D-Vision, um Paletten selbst in dynamischen und komplexen Umgebungen präzise zu identifizieren, aufzunehmen und zu liefern.
KI und Kameras für flexible Robotik
Der MiR1200 Pallet Jack wurde mit über 1,2 Millionen realen und synthetischen Bildern trainiert und kombiniert die Daten von vier Kameras für eine schnelle und präzise Palettenhandhabung. Die Nvidia-Jetson-Plattform verarbeitet das Feedback der Kameras und eines 3D-Lidar-Sensors in Echtzeit, um Hindernisse zu erkennen und eine vollständig autonome Navigation zu ermöglichen.
UR und MiR als bevorzugte Robotikplattformen für KI-Anwendungen.
Ujjwal Kumar, Group President von Teradyne Robotics, sieht in der Zusammenarbeit mit Nvidia großes Potenzial: „Dies ist das erste einer Reihe von geplanten KI-Angeboten von Teradyne Robotics. Durch die Hinzufügung von Hochleistungs-Computerhardware zu unseren Steuerungssystemen und gezielten Upgrades unserer Software-Stacks investieren wir in die Etablierung von UR und MiR als bevorzugte Robotikplattformen für die Entwicklung und Bereitstellung von KI-Anwendungen.“
Teradyne wolle die Zukunft der Robotik gestalten, indem man die hochmoderne KI-Plattform von Nvidia mit der Expertise von Teradyne Robotics in der industriellen Automatisierung kombinieren. „Wir schaffen die Plattform für neue Lösungen für bisher unlösbare Probleme“, so Kumar.
AI Companion von Franka Robotics
Auch deutsche Robotik-Spezialisten suchen den Schulterschluss mit Nvidia: So bringt der Münchner Cobot-Pionier Franka Robotics mit Nvidia-Technologie den Franka AI Companion auf den Markt, eine Plattform zur Unterstützung von Forschern im Bereich KI und Robotik.
Der Franka AI Companion ist mit dem Nvidia Isaac Manipulator kompatibel und basiert auf der Jetson Orin Hardware. Dank der nahtlosen Integration von GPU-Rechenleistung mit Echtzeit-Robotersteuerung macht der AI Companion zusätzliche Rechner überflüssig. Darüber hinaus nutzt die Plattform hochpräzise Nvidia AI Foundation Models z. B. für 6D-Posenerkennung.
„Wir bei Franka Robotics haben es uns zur Aufgabe gemacht, Forschern und Entwicklern Werkzeuge an die Hand zu geben, die ihre Fähigkeiten erweitern und den Fortschritt im Bereich der Robotik beschleunigen“, sagt Lars Johannsmeier, Head of Robotics Learning bei Franka Robotics. Der Franka AI Companion verkörpert dieses Ziel, indem er eine integrierte Lösung für Forschungsanwendungen bietet, die mit dem Isaac Manipulator kombiniert werden. Dieses Framework umfasst Foundation Models und modulare Funktionen, die auf den Jetson Orin zugeschnitten sind und letztlich dazu beitragen, Innovationen voranzutreiben.“
Wandelbots: virtuelle Validierung von Roboter-Zellen
Und auch der Dresdener Robotik-Software-Spezialist Wandelbots war auf der Nvidia Konferenz präsent: Wandelbots integriert seine Schnittstelle in die Nvidia Isaac Sim Plattform und schafft so eine Brücke zu seiner Wandelbots-Plattform. „Diese Verbindung eröffnet neue Dimensionen“, so die Dresdener: „Robotermodelle können so herstellerunabhängig konfiguriert und in die virtuelle Welt in Nvidia Omniverse überführt werden.“
In seiner Präsentation auf der GTC präsentierte Wandelbots verschiedene Möglichkeiten, um das Teaching im virtuellen Raum auch Anwendern mit wenig Erfahrung in der Robotik zu ermöglichen. Darüber hinaus wurde gezeigt, wie das Arbeiten mit synthetischen Daten, z.B. einer virtuellen Kamera genutzt werden kann, um Erreichbarkeit und kollisionsfreie Bewegungen des Roboters zu evaluieren. Durch die rein virtuelle Validierung der Roboter-Zellen können Kosten auf ein Minimum reduziert werden, da die Konstruktion der physischen Zelle erst nach erfolgreicher Simulation stattfindet.
Grenzen zwischen virtueller und realer Welt verschwimmen
Außerdem können Nutzer Industrieroboter, die mit Wandelbots‘ Software betrieben werden, mit Hilfe des Machine Learning in Isaac Sim in der virtuellen Welt trainieren. „Die daraus resultierenden Roboterprogramme können dann dank Wandelbots‘ universellem Code mühelos auf reale Maschinen übertragen werden , sodass die Grenzen zwischen virtueller und realer Welt verschwimmen“, so das Wandelbots Team. Die Wandelbots Plattform ist ausgewählten Entwicklungspartnern bereits zugänglich und wird im Laufe des Jahres 2024 sukzessive für externe Entwickler im Rahmen eines Beta-Programms geöffnet.
www.nvidia.com/en-us/autonomous-machines/robotics/
Mehr zum Thema Robotik
