Sereact will mit dieser besonders einfachen Art der Mensch-Roboter-Interaktion insbesondere in der Logistikbranche zentrale Problemstellungen wie beispielsweise die Retourenabwicklung lösen.
„PickGPT ermöglicht eine unkomplizierte Kommunikation zwischen Mensch und Roboter über Sprachbefehle und intuitive Schnittstellen. Dies vereinfacht die Verknüpfung mit anderen Warehouse-Management-Systemen und ermöglicht es den Mitarbeitenden, den Roboter auf einfache Weise zu instruieren – zum Beispiel, um Pickpunkte zu definieren oder bestimmte Artikel auf eine Blacklist zu setzen“, erläutert Ralf Gulde, Co-Founder und CEO von Sereact. Denkbar wäre aber auch, dass der Mitarbeitende dem Roboter sagt, welche Art von Produkten er aus der Kiste benötigt, beispielsweise „Pick mir einen Apfel“.
Large Language Models im Fokus
Large Language Models (LLMs) stehen seit der Einführung von ChatGPT im Fokus der Öffentlichkeit und bieten gerade in Kombination mit anderen Technologien ein großes Potenzial. Dieses Potenzial hat Sereact – ein Spin-off des ISW an der Universität Stuttgart – erkannt: PickGPT verbindet die Leistungsfähigkeit von LLMs, ähnlich den Modellen, die in ChatGPT verwendet werden, mit Sereacts patentierten Computer-Vision-Modellen. Dies ermöglicht es Robotern, natürliche Sprache und visuelle Informationen zu verarbeiten und multimodale Daten zu korrelieren. Sie können ihre Umgebung so mit einer bisher nicht gekannten Intelligenz und Genauigkeit wahrnehmen und Instruktionen in natürlicher Sprache verstehen und ausführen.
Als softwarebasierte Robotiklösung, die weder Programmierung noch Training erfordert, biete PickGPT insbesondere dem Personal in Warehouses bisher ungeahnte Möglichkeiten, sagt Sereact. Ohne komplexe Programmierkenntnisse können Mitarbeitende nun einfach sprachbasierte Anweisungen oder intuitive Benutzeroberflächen verwenden. Das erweitert die Palette der Personen, die Roboter im Warehouse bedienen können.
Flexibilität und Qualitätskontrolle
Zumal der Robotics Transformer PickGPT nicht nur Sprache verstehen kann, sondern auch Objekte und Produkte in Echtzeit anhand ihrer visuellen Eigenschaften erkennen und identifizieren. PickGPT analysiert automatisch Produktbilder und gleicht sie mit Artikeln in jedem realen Szenario ab. Darüber hinaus versteht und interpretiert PickGPT Produkttitel, Beschreibungen und andere Textinformationen, um entsprechende Produkte automatisch zu identifizieren und Regionen in einem Bild zuzuordnen. Vor allem für die Qualitätskontrolle bietet diese Fähigkeit großes Potenzial. Denn dadurch können Roboter falsche oder defekte Produkte sowie Blacklist-Artikel erkennen.
Mehr zum Thema Robotik
