FH Bielefeld und Uni Bielefeld entwickeln audiovisuelles Assistenzsystem für die Industrie

Bielefeld (fhb). Wer kennt das nicht: Man hat ein Regal gekauft und möchte es zuhause sofort aufbauen. Doch das ist nicht so einfach wie gedacht. Die Bauanleitung ist umständlich formuliert, überall liegen Schrauben herum. Der Blick schweift zwischen der komplizierten Zeichnung, den Regalbrettern und den Dübeln hin und her, und man wünscht sich, man hätte drei Hände zur Verfügung.

Vor einem ähnlichen Problem stehen viele Mitarbeitende in der Montage- und Logistikindustrie. Abhilfe könnte hier ein kognitives, seh- und hörbares Assistenzsystem schaffen, das Forscherinnen und Forscher der Fachhochschule (FH) Bielefeld und der Universität Bielefeld gemeinsam in dem Forschungsprojekt „AVIKOM“ entwickeln. Über eine Datenbrille mit intelligenten Kopfhörern und Mikrofon erhalten die Mitarbeitenden individuell und vorausschauend Unterstützung. Ob akustisch, visuell oder beides – das lässt sich je nach Bedarf einstellen. Das Assistenzsystem sorgt so dafür, dass beide Hände frei sind. Es denkt mit, leitet motivierend an und macht die Beschäftigten dennoch nicht abhängig von dem System.

Beschäftige individuell und aufgabenbezogen unterstützen

„In modernen Montage- und Logistikprozessen werden bis heute wesentliche Arbeiten von Hand erledigt“, erklärt Prof. Dr. Joachim Waßmuth, Professor für elektrotechnische Gebiete der Mechatronik an der FH Bielefeld. „Außerdem werden immer mehr individuell angepasste Produkte in Auftrag gegeben.“ Beschäftigte in der Montage müssen darum von Produkt zu Produkt unterschiedliche Abläufe beherrschen. Als Anleitungen dafür erhalten sie häufig nur eine technische Zeichnung als Papierdokument, was das freie Arbeiten mit beiden Händen erschwert. Waßmuth: „Das ist umständlich und unproduktiv, da sie sich sowohl auf das Ablesen als auch auf die Montage konzentrieren müssen.“

Genau hier kommt nun AVIKOM ins Spiel: „Audiovisuelle Unterstützung durch ein kognitives und mobiles Assistenzsystem“. Es kann sich individuell und aufgabenbezogen an die Mitarbeiterinnen und Mitarbeiter und den entsprechenden Arbeitskontext anpassen. Mit visuellen und auditiven Handlungshinweisen soll es die Beschäftigten entlasten, die Produktivität steigern sowie langfristig digitalisierte Prozesse in kleinen und mittelständischen Unternehmen (KMU) fördern.

Intelligente Kombination von Headset und AR-Brille

Ein Clou von AVIKOM ist die Kombination eines Headsets mit einer Daten-Brille, der Microsoft Hololens 2. AVIKOM „erweitert“ die Realität (Augmented Reality, kurz AR), indem es beispielsweise Hologramme in das reale Sichtfeld einblendet. Neben Texten, Grafiken, Bildern, Videos und Hologrammen kann AVIKOM auch auf Dokumente zugreifen, die in den Prozessen der Unternehmen etabliert sind.

Eine weitere Schnittstelle ist das intelligente Kopfhörer-System. „Es besteht aus einem mobilen Endgerät, Kopfhörern und Mikrofon“, so Lars Schalkwijk, Projektmitarbeiter im Institut für Systemdynamik und Mechatronik (ISyM) der FH Bielefeld. „So erhalten Nutzerinnen und Nutzer ihre Hilfshinweise über synthetisierte Sprache und Klänge. Mitarbeiterinnen und Mitarbeiter können das System über Sprachbefehle aktiv steuern, zusätzliche Hinweise anfordern und sogar in Lärmumgebungen Rückfragen stellen.“

Über Klang und Bild zum richtigen Produkt

Prof. Dr. Waßmuth hat das Kopfhörer-System in einem vorangegangenen Projekt namens „HEA²R“ entwickelt. In dem Verbundprojekt AVIKOM werden nun einzelne Komponenten aus dem Vorgängerprojekt verwendet und für industrielle Anwendungsszenarien adaptiert und erweitert. „Fehlermeldungen, deren Lokalisierungen und Navigation über Klänge und visuelle Einblendungen haben wir als neue Elemente hinzugefügt“, erklärt Schalkwijk. So navigiert das Assistenzsystem beispielsweise den Beschäftigten zum richtigen Regal und Produkt bei Kommissionier-Tätigkeiten.

Forschungskonsortium aus Fachhochschule und Universität

Bei AVIKOM ist die FH Bielefeld für die Entwicklung der auditiven, die Forschungsgruppe „Neurokognition und Bewegung – Biomechanik“ der Universität Bielefeld um Prof. Dr. Thomas Schack für die Entwicklung der visuellen Komponente zuständig. Darüber hinaus ist die Forschungsgruppe mit der Diagnostik betraut. Mit einer softwarebasierten Analyse ermitteln sie Vorwissen und Fertigkeiten der Beschäftigten, das sogenannte Assistenzlevel, anhand dessen anschließend individualisierte Handlungshinweise erstellt werden. Unter der Leitung von Prof. Dr. Günter Maier kümmert sich die Arbeits- und Organisationspsychologie der Universität Bielefeld um die Bereiche Arbeitsgestaltung, Qualifizierungsbedarf und Change Management. Gemeinsam kreieren alle drei Forschungsgruppen die Schnittstellen zwischen den Systemkomponenten sowie zwischen dem System und dem Menschen, modellieren Anwendungsszenarien mit den KMU und testen das System vor Ort.

Wichtig ist dem Forschungsteam, dass AVIKOM die Beschäftigten bestmöglich dabei unterstützt, Arbeitsschritte eigenständig durchführen zu können. „Wir wollen keine Abhängigkeiten schaffen“, erläutert Lars Schalkwijk. „Deswegen erklärt das System auch, warum eine bestimmte Tätigkeit ausgeführt werden soll.“ Wurde eine Aufgabe mehrmals erfolgreich abgeschlossen, reduziert AVIKOM seine Assistenztätigkeit schrittweise. Und die Nutzenden können das Assistenzlevel für jeden Arbeitsschritt jederzeit selbst aktiv erhöhen oder verringern.

Einzigartiges System unter den AR-Brillen: es arbeitet interaktiv und modular

In der Unterhaltungsbranche, im OP-Saal und in der Automobilindustrie, aber auch immer mehr im verarbeitenden Gewerbe kommen AR-Brillen bereits zum Einsatz. „Das Besondere an unserem Assistenzsystem ist allerdings, dass sich AVIKOM individuell an den Wissensstand, die Präferenzen und Einschränkungen des Nutzenden ebenso wie an die Umgebungsfaktoren und Informationstypen anpasst“, erklärt Schalkwijk. „Es liefert Informationen genau dann, wenn sie benötigt werden. Und genau so, wie sie benötigt werden.“ Neu seien außerdem der modulare Aufbau des Systems sowie die multimodale und aufeinander abgestimmte Aus-und Eingabe von Informationen.

Positives Feedback von testenden Unternehmen

Praxistests haben gezeigt, wie hilfreich und richtungsweisend das System ist. „Die Unternehmen sind sehr interessiert und melden positives Feedback“, sagt Tobias Ehlentrup, der als technischer Geschäftsführer des ISyM verschiedene Forschungsprojekte unterstützt und verbindet, so auch das Teilvorhaben im Verbundprojekt. Langfristig wünscht sich das Forschungsteam, dass AVIKOM Teil unserer Arbeitswelt wird und insbesondere ältere Beschäftigte, Menschen mit Behinderungen oder mit Migrationshintergrund im Job unterstützt. Ende Mai präsentierte das Forschungskonsortium das AVIKOM-System auf Deutschlands größter Industrie-Messe, der Hannover Messe. Und wer weiß, vielleicht hilft es uns demnächst auch zuhause, wenn wir mal wieder „schnell“ ein Regal aufbauen möchten. (nsc)