Search-and-Pick mit einem Kuka-Arm

Die Zahl der in der Fertigung genutzten Industrieroboter steigt rasant an. Diese Entwicklung geht hauptsächlich auf Investitionen in die digitale Transformation von Wertschöpfungsketten zurück, auch bekannt unter dem Schlagwort Industrie 4.0. Für das Jahr 2019 prognostiziert die International Federation of Robotics (IFR) 2.6 Millionen installierte Roboter in der industriellen Fertigung weltweit. Hauptsächlich werden Roboter in der Montage, Verpackung und für Tätigkeiten, die ein hohes Maß an Präzision erfordern, eingesetzt. In diesem Forschungsprojekt geht es um eine weitere Einsatzmöglichkeit eines kollaborierenden Roboterames im Kontext der IoT-Fabrik (IoT: Internet-of - Things), die am CfADS in Gütersloh entsteht. In einem vollständig autonomen Produktionszyklus soll ein mit Kamerasausgestatteter Kuka Roboterarm mit Hilfe Maschineller Lernverfahren (insbesondere Deep Learning) ein vorgegebenes Produktteil aus einer Kiste mit Produktbestandteilen heraussuchen, der Kiste entnehmen und dem weiteren Produktionsprozess zuführen (Search & Pick).

Entwicklung und Anwendung Maschineller Lernverfahren zur autonomen Steuerung eines Roboterarmes im Kontext einer Search-and-Pick-Aufgabe.

Problemstellung und Ziele
Der/ die Studierende soll in diesem Projekt die Search-and-Pick-Aufgabe an einem Kuka-Roboterarm mit RGBD-Kameras umsetzen. Die Aufgabe besteht aus zwei Teilen: Erstens der Objekterkennung, zweitens dem Greifen desvisuell ausgewählten Objektes. Der aktuelle Stand der Forschung verwendet Deep-Learning-Algorithmen für beide Aufgabenteile. Die Aufgabe besteht darin, die bereits bestehenden Deep-Learning-Algorithmen und Netze so zu adaptieren, dass beide Aufgabenteile zunächst getrennt voneinander betrachtet und gelöst werden. Dazu werden Convolutional Neural Networks (CNN) eingesetzt, die in Tensorflow/Keras implementiert werden. Dabei soll evaluiert werden, ob die bereits bestehenden CNNs durch Transfer-Lernen oder Fine-Tuning von dem gegebenen Setup im Labor adaptiert werden können. Des Weiteren soll es für einen flexiblen Produktionsprozess möglich sein, neue Objekte hinzuzufügen, die nach einer kurzen Trainingsphase dem Roboter bekannt sind und ebenfalls gezielt der Teilekiste entnommen werden können. Zuletzt fügt der/ die Studierende die Ergebnisse aus beiden Aufgabenteilen zusammen.

Bezug zum Thema Data Science
Die Anwendung von Maschinellen Lernverfahren zur Steuerung autonomer Roboter basierend auf sensorischenInformationen ist ein Kernthema der Data-Science und wird auch in den Veranstaltungen des Forschungsmasters behandelt.

Verfügbare Ressourcen

• Der Ansprechpartner im CfADS wird über die volle Projektlaufzeit zur Verfügung stehen
• Der CfADS-Rechencluster (mit umfassendem ML-Software-Toolstack) stehen während der Projektlaufzeit zur Verfügung
• Der Roboterarm (Kuka), die Kameras sowie sonstiges benötigtes Material wird im Kontext des Transfer-Labs der HSBI bereitgestellt

Projektplan
Erstes Semester: 
Das Ziel des ersten Semesters ist es, sich mit dem Roboterarm-Kamera Setup und insbesondere mit der Steuerung des Kuka Armes vertraut zu machen. Des Weiteren soll eine Einarbeitung in Deep Learning und die Tools Tensorflow/Keras zum Erstellen, Trainieren und Evaluieren von Deep Neural Networks erfolgen. Außerdem gilt es, sich mit den algorithmischen Grundlagen zum Trainieren und Evaluieren von tiefen Neuronalen Netzen bei großen Datenmengen (auf dem CfADS-Cluster) vertraut zu machen. Die Prüfungsleistung ist das Erstellen eines Forschungsexposés auf Englisch und ein dazugehöriges Kolloquium.

Zweites Semester: 
Im zweiten Semester soll durch Literaturrecherche der aktuelle Stand zu relevanten Arbeiten im Themenfeld der Objektdetektion auf Bilddaten ermittelt werden. Ziel ist es mit Hilfe der im ersten Semester erworbenen Fähigkeiten und der Erkenntnisse aus der Literaturrecherche ein/mehrere Neuronale Netze zur gezielten Detektion von Objekten auf Bilddaten umzusetzen. Die dabei genutzte Netzwerkarchitektur/Lernstrategie und die Anwendung an dem Roboter-Setup soll in Form eines Papers als Prüfungsleistung gewertet werden. Die Ergebnisse werden idealerweise im Rahmen einer Konferenz präsentiert.

Drittes Semester: 
Im dritten Semester soll durch Literaturrecherche der aktuelle Stand zu relevanten Arbeiten im Themenfeld desRobotischen Greifens von Objekten ermittelt werden. Ziel ist es, mit Hilfe der Erkenntnisse aus der Literaturrechercheein/mehrere Neuronale Netze zum Greifen von Objekten an Hand von Bilddaten zu trainieren. Insbesondere sollen dabei Strategien des Transfer Learnings angewandt und evaluiert werden. Auch hier ist das veröffentlichen der Ergebnisse als Paper und eine Präsentation im Rahmen einer Konferenz erwünscht.

Viertes Semester: 
Inhalt der Masterarbeit ist das Erstellen eines vollständigen Search-and-Pick-Zyklus. Dabei sollen die Ergebnisse aus dem zweiten und dritten Semester zu einem Algorithmus zusammengeführt werden. Zudem soll eine Strategie entwickelt werden, wie bis dahin unbekannte Objekte dem System antrainiert und anschließend vom Roboterarmgezielt gegriffen werden können. Die Ergebnisse werden in der Masterarbeit dargestellt. Ergänzend ist das Schreiben eines Journal- Papers möglich. In jedem Fall wird die Masterarbeit mit einem Kolloquium abgeschlossen.

Eignungskriterien
Zwingend:

• Bachelorabschluss in einer einschlägigen Fachrichtung (Informatik, Elektrotechnik, Mechatronik, angewandte Mathematik, Kognitionswissenschaft o.ä.)
• Umfassende Programmierkenntnisse in mindestens einer objektorientierten Programmiersprache
• Gute mathematische Kenntnisse
• Fließendes Englisch in Wort und Schrift 

Optional:

• Praktische Erfahrung in der Steuerung eines Roboterarmes
• Grundlegende Kenntnisse in der Bildverarbeitung
• Grundlegende Kenntnisse im maschinellen Lernen
• Erfahrung im Erstellen, Trainieren und Evaluieren von CNNs mit Tensorflow/Keras
• Python-Programmierung

Erwerbbare Kompetenzen
Der / die Studierende ist nach Abschluss des Projekts in der Lage,

• die im industriellen Kontext relevanten ML-Verfahren zielgerichtet anzuwenden und anwendungsbezogen anzupassen und ggf. weiterzuentwickeln,
• Algorithmen der Bildverarbeitung anzuwenden,
• ML-Verfahren zu entwickeln und modifizieren
• die theoretischen Anforderungen von ML-Verfahren mit den Erfordernissen der Praxis in einer realen Fertigungslinie in Einklang zu bringen,
• die eigenen Forschungsergebnisse vor einem Fachpublikum zu präsentieren
• und wissenschaftliche Texte zu verfassen.