Der Griff-in-die-Kiste ist eine Paradeanwendung für den Einsatz von Künstlicher Intelligenz (KI) oder genauer deren Teilgebiet, das Machine Learning (ML). Denn die Schlüsseltechnologie für das Erkennen und Greifen von Objekten ist die Bildverarbeitung, die wiederum am meisten von den aktuellen Fortschritten im Machine Learning profitiert.
Stand der Technik für den Griff-in-die-Kiste sind seit Jahren modellgetriebene Algorithmen zur Objektlageschätzung in 3D-Punktewolken, wie sie beispielsweise die IPA-Software bp3 bietet. Auf Basis von CAD-Modellen kann ein Robotersystem die chaotisch gelagerten Werkstücke erkennen, Position und Orientierung berechnen und weitere Aktionen wie Greifpunkte und die Bahn für den Roboterarm planen. Damit die Entnahme prozesssicher durchgeführt werden kann, wird sie zunächst simuliert. Um das Werkstück definiert abzulegen, kann die Software auch diese Bewegungsbahn generieren.
Neuronale Netze trainieren
Mit Machine Learning ändert sich die Art der Datenverarbeitung grundlegend. Bisher musste jedes Bauteil manuell eingelernt werden. Der Einsatz von künstlichen neuronalen Netzen macht die Anwendung autonomer, indem die Software unbekannte oder komplexe Objekte selbst einlernen kann. Ebenso sollen Greifstrategien bei Teilen zum Beispiel mit Verhakungsgefahr erlernt werden. Insgesamt geht es darum, die Erkennungs- und Greifleistung der Software mithilfe von Machine Learning zu steigern.
Damit dies funktioniert, muss ein neuronales Netz mithilfe einer großen Basis bereits markierter Objektdaten lernen. Seit Kurzem gibt es einen bereits fertig gelabelten, industriespezifischen und sehr umfangreichen Datensatz: das Bin-Picking-Dataset des Fraunhofer IPA. Der Datensatz ist 200 GB groß und bietet 500 Punktewolken, passende Tiefenbilder realer Szenarien sowie 206.000 simulierte Szenarien. Es steht unter www.bin-picking.ai zum Herunterladen bereit.
Das Training eines neuronalen Netzes findet dann zum Beispiel mithilfe dieses Datensatzes größtenteils in Simulationsumgebungen statt. Objektkonstellationen und Sensordaten werden erzeugt und in zahlreichen, oft mehreren hunderttausend Beispielgriffen variiert. Das wäre in der Realität nicht mit angemessenem Aufwand zu leisten.
2019 veröffentlichten IPA-Wissenschaftler diese Forschungsergebnisse auf der International Conference on Intelligent Robot Systems (IROS). Dort stellten sie im Rahmen einer Challenge, die sie auch selbst organisierten, den genannten Datensatz zur Verfügung. Bei der Challenge ging es darum, im Vorfeld mithilfe des Datensatzes Lösungsansätze für das Schätzen der Lage von ungeordnet vorliegenden Objekten zu entwickeln.
Am Wettbewerbstag erhielten die Teilnehmer einen Testdatensatz, anhand dessen sie ihr Verfahren vorstellten. Kriterium für den Sieg war, wer am genauesten die meisten Objekte erkennen konnte. Tatsächlich siegte ein auf der IROS neu vorgestelltes KI-basiertes Verfahren. Auf dem zweiten Platz war wiederum ein klassisches Verfahren, welches im Schätzen der Lage von verdeckten Objekten etwas schlechter abschnitt. Die Challenge diente somit einerseits dazu, Ansätze für die Objektlageschätzung zu vergleichen und die Entwicklung neuer Methoden voranzutreiben.
Blechteile vereinzeln
Aktuelle Forschungstätigkeiten fließen regelmäßig in neue Anwendungen, die zusammen mit Endanwendern umgesetzt werden. Ein Beispiel für eine solche Griff-in-die-Kiste-Realisierung ist im Rahmen des EU-Projekts Robott-Net zusammen mit den Partnern Danish Technological Institute, Trumpf, Arnold und dem Start-up für flexible Greiftechnik Formhand entstanden. In dem Sosta genannten Pilotprojekt ging es darum, zu untersuchen, inwieweit eine roboterbasierte Griff-in-die-Kiste-Lösung bei komplexen Blechteilen möglich ist, auch wenn diese in anspruchsvollen Bereitstellungssituationen vorliegen und je nach Folgeprozess getrennt gestapelt werden müssen.
Herausfordernd hier: Die Teile sind glänzend, dünn und besonders die letzten Teile am Kistenboden sind schlecht zu erkennen, weil sie in der 3D-Punktewolke mit dem Kistenboden verschmelzen und nur schwer für Bildverarbeitungsalgorithmen wahrnehmbar sind. Das vollständige Entleeren von Kisten, das heißt auch das Entnehmen dieser letzten Teile vom Kistenboden, ist jedoch für den Griff-in-die-Kiste ein praxisrelevantes Qualitätsmerkmal.
Deshalb kam an dieser Stelle erstmals unterstützend Deep Learning zum Einsatz, um die Punktewolke zu segmentieren. Anschaulich gesprochen, schneidet das neuronale Netz die Bereiche der Punktewolke mit Werkstücken aus und übergibt diese an die weitere Bildverarbeitung. In Kombination mit einem flexiblen Sauggreifer von Formhand ergab sich so für den Griff-in-die-Kiste eine entscheidende Verbesserung bei der Vereinzelung von Blechteilen.
Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA
Nobelstraße 12
70569 Stuttgart
