Augmented-Reality-Interaktion zur dreidimensionalen Roboter-Arbeitsbereich-Beschränkung unter Berücksichtigung semantischer Informationen

Augmented Reality, Mensch-Technik-Interaktion, Robotersteuerung, Roboter, semantische Informationen, Roboter-Arbeitsbereichsbeschränkung, 3D-Interaktionsmethoden, Interaktionsmethoden, Drohnensteuerung, Nutzeranforderungen, Nutzerzentriertes Design, User centred design. Semantisches Szenenverständnis, mobile AR

 

Hochschule Bielefeld
Fachbereich Campus Minden
Artilleriestr. 9
32427 Minden

 

Projektleitung

Prof. Dr. Dr.-Ing. Matthias König 


Laufzeit
01.02.2022 - 31.07.2023


Projektförderung

Deutsche Forschungsgemeinschaft (DFG)   
Projektnummer 465783762

DFG Förderung

  

 

 

 Kurzbeschreibung

Das Projekt befasst sich mit neuen Ansätzen der Augmented-Reality-Interaktion zur dreidimensionalen Roboter-Arbeitsbereich-Beschränkung unter Berücksichtigung semantischer Informationen.

Mobile Roboter arbeiten mehr und mehr in menschlichen Innenraum-Umgebungen, wie Büros oder Wohnungen, in denen sie sich den Raum mit Menschen teilen. Die Arbeitsbereiche dieser mobilen Roboter – also die Bereiche, die die Roboter über ihr Fortbewegungssystem erreichen können – sind normalerweise nur durch physische Grenzen eingeschränkt, zum Beispiel Wände oder Möbel. Die Roboter können daher in solch einem Innenraum ohne Beschränkungen operieren. Allerdings ist es manchmal notwendig, die Arbeitsbereiche der Roboter einzugrenzen.

Solche eingegrenzten Bereiche können allerdings nicht ohne Weiteres von einem mobilen Roboter erkannt werden, da die Bereiche oft keine klaren visuellen Merkmale haben, die mittels Sensorik des Roboters erkannt werden können.

Daher ist eine Interaktion zwischen Menschen und Roboter notwendig, die es erlaubt, komplexe räumliche Information über einen zu begrenzenden Arbeitsbereich zwischen Menschen und Roboter festzulegen. Das Projekt beschäftigt sich genau mit dieser interaktiven Beschränkung eines dreidimensionalen Arbeitsbereichs für mobile Roboter. Hierbei werden Laien ohne zwingend notwendiges technisches Verständnis für die Benutzung adressiert.

Hierzu sollen Augmented-Reality-Interaktionen unter Berücksichtigung von semantischen Kontextinformationen weiterentwickelt werden. Ziel ist es, neue dreidimensionale Interaktionsmethoden für Augmented-Reality zu entwerfen, die den semantischen Kontext während der Nutzerinteraktionen verwenden. Im Projekt wird ein nutzerzentrierter Ansatz verfolgt der die Nutzeranforderungen und -rückmeldungen stark berücksichtigt. Das Projekt auf aktuelle Techniken aus den Bereichen mobile Augmented-Reality, semantisches Szenenverständnis und Roboter-Arbeitsbereich-Beschränkung auf. Dies wird in erster Linie zu neuen dreidimensionalen Interaktionsmethoden zur Roboter-Arbeitsbereich-Beschränkung führen, die zudem in andere Bereiche der dreidimensionalen Interaktion übertragbar sind.

 

The project addresses research of novel 3D semantic-aware interaction methods based on augmented reality techniques in the domain of 3D robot workspace restriction.

Mobile robots enter human-centered indoor environments, such as offices or home environments, which results in human-robot shared spaces. The workspaces of such mobile robots, i.e. the space that can be reached by the robots using their locomotion system in 2D/3D, are typically only limited by physical borders, such as walls or furniture. They can operate in the entire (indoor) environment without further restrictions. However, humans sometimes prefer to or need to restrict these workspaces of their mobile robots.

These restriction spaces cannot be recognized by a mobile robot on its own because the spaces often do not feature distinct visual characteristics, which could allow their recognition using on-board sensors such as cameras.

Therefore, an interaction process between human and mobile robot is necessary. Such an interaction process has to allow the transfer of complex spatial 3D information about a restriction space between human and robot and has to provide complex feedback to the human, e.g. visualization of 3D restriction spaces. Thus, the proposed project deals with research for interactive restriction of a mobile robot’s 3D workspace by non-expert users in order to change the mobile robot’s navigational behavior.

Semantically context-aware AR interaction methods will be further developed focusing on the domain of 3D robot workspace restriction. It is the goal to design new 3D interaction methods based on AR, that incorporate semantic context information during user interaction, and to extend the knowledge of interactive 3D robot workspace restriction. This aims at improving 3D user interaction with respect to user requirements. For this purpose, the project will build on techniques from the fields of mobile AR, semantic scene understanding and robot workspace restriction. This will lead to novel 3D interaction methods for robot workspace restriction, but that can also be applied to other domains dealing with 3D interaction in general, especially tasks of selection and manipulation. Due to the role of humans as intended users of the proposed interaction methods, a user-centered design approach will be pursued throughout the project to incorporate requirements and feedback of the users in all phases of the project.

 

Das Vorhaben „Augmented-Reality-Interaktion zur dreidimensionalen Roboter-Arbeitsbereich-Beschränkung unter Berücksichtigung semantischer Informationen“ wurde zum 31.07.2023 mit dem Ausscheiden von Prof. Dr. Dr.-Ing. Matthias König beendet.