Im Rahmen einer Robotik-Lehrveranstaltung am Campus Minden der FH Bielefeld haben Informatik Studierende zwei Roboter programmiert: einen überdimensionalen, Porträt-malenden Roboter-Arm und den humanoiden Roboter „Pepper“, der als Abstands-Warner und Masken-Aufpasser agiert.

Malte Riechmann und zwei Kommilitonen verwandelten einen Roboter-Arm in einen künstlerischen Porträt-Maler. (Foto: Patrick Pollmeier/FH Bielefeld)

Minden (fhb). Informatik-Student André Kirsch tritt im Informatik-Labor näher an seinen Kommilitonen Malte Riechmann heran. Erst einen Schritt, dann noch einen – und plötzlich ertönt es: „Ihr haltet zu wenig Abstand!“ Die Stimme klingt blechern. Kein Wunder, denn sie kommt aus Roboter „Pepper“, dessen Gesicht durch die großen schwarzen Augen vertrauenserweckend, beinahe schon menschlich wirkt. Im Hintergrund bewegt sich leise surrend ein überdimensionaler Roboter-Arm, der mit einem Stift schwarze Linien auf ein Blatt Papier zeichnet.

Malte Riechmann und André Kirsch sind als wissenschaftliche Mitarbeiter bereits im nächsten Roboter-Forschungsprojekt an der FH Bielefeld involviert. (Foto: Patrick Pollmeier/FH Bielefeld)

Entwickelt hat den Roboter Informatik-Student André Kirsch mit zwei weiteren Kommilitonen im Rahmen einer Robotik-Lehrveranstaltung am Campus Minden der Fachhochschule (FH) Bielefeld. Angeboten wurde die Veranstaltung von Dr. Matthias König, Professor für Embedded Software Engineering.

Riesiger Roboter-Arm malt Porträts

Einer anderen Programmieraufgabe hat sich Malte Riechmann gestellt: Porträtmalerei. „Wir konnten zu Beginn der Veranstaltung aus einer Liste von unterschiedlichen Robotikthemen wählen“, erklärt der Student, während er am Computer nach einem passenden Porträt für den von ihm programmierten Roboter-Arm sucht. Er wird schnell fündig: Albert Einstein als Schwarz-WeißZeichnung. Er lädt das Bild herunter, fügt es in ein Programm ein und los geht’s: Der riesige Roboter-Arm im „Internet-of-Things“-Labor (IoT-Lab) am Campus Minden setzt sich leise surrend in Bewegung. Mit etwas ungalanten Bewegungen greift er nach einem Stift und bringt die ersten, überraschend filigranen Striche auf das Papier. Doch bis der Roboter-Arm das konnte, mussten die Studierenden viel planen: Nachdem sie einen groben Ablaufplan entworfen hatten, teilten die Studenten das Projekt in drei Bereiche auf: Bildverarbeitung, das Mapping der Striche und schließlich die Robotersteuerung. Riechmann erklärt: „Der erste Schritt war, ein beliebiges digitales Bild durch Algorithmen zu verarbeiten, um wichtige Merkmale, wie zum Beispiel Konturen und Flächen, zu extrahieren. Danach folgte das sogenannte Mapping: Dabei werden die zu zeichnenden Linien in einem digitalen 3D-Raum auf das Blatt Papier übertragen. Schließlich mussten im letzten Schritt aus diesen Merkmalen Bewegungsabläufe generiert werden, die der Roboter dann umsetzt.“

Corona-bedingt konnten die Projekte zunächst nur simuliert werden

Riechmann war in seiner Gruppe für die Robotersteuerung zuständig, unter einer zusätzlichen Herausforderung: Durch Corona konnten die drei Studenten das Projekt zunächst nur am Computer simulieren und nicht direkt am Roboter arbeiten. Das war erst am Ende des Semesters möglich, als die Corona-Regelungen gelockert wurden. Riechmann erinnert sich: „Bei dem Überspielen auf den Roboter sind neue Probleme aufgetaucht, mit denen wir in der simulierten Umgebung nicht gerechnet hatten. Aber am Ende tatsächlich zu sehen, wie der Roboter erfolgreich die Porträts auf einen halben Millimeter genau nachzeichnet, war ein echtes Erfolgserlebnis!“

Roboter „Pepper“ als Abstands-Warner und Masken-Aufpasser

Dank der Robotik-Lehrveranstaltung kann Pepper jetzt auch auf die Maskenpflicht und ausreichend Abstand zwischen Personen hinweisen. (Foto: Patrick Pollmeier/FH Bielefeld)

Ähnlich erging es auch der Arbeitsgruppe um Master-Student André Kirsch. Ihre Mission: Roboter Pepper sollte zum Abstands-Warner und Masken-Aufpasser umfunktioniert werden. Dafür nutzte die Gruppe zunächst die frei verfügbare Künstliche Intelligenz (KI) „OpenPose“, die in der Lage ist, Menschen und deren Pose, unter anderem den Kopf, zu erkennen. Diese Information verwendete die Gruppe dann in einem zweiten Schritt, um den Kopf aus dem Bild auszuschneiden. Diese Bilder mussten schließlich einer zweiten KI übergeben werden, die erkennen sollte, ob auf dem Gesicht eine Maske zu sehen ist oder nicht. Dafür musste die Gruppe eigens eine KI trainieren, denn eine KI mit dieser Fähigkeit gab es bis dato noch nicht. Kirsch erklärt: „Um die KI zu trainieren, haben wir ihr viele verschiedene Bilder von Köpfen mit und ohne Maske gespeist. Nach ausreichender Datenmenge konnte die KI diese Entscheidung schließlich selbstständig treffen.“ Zuletzt musste noch die Reaktion von Pepper programmiert werden: Hochgehaltene Roboterhände und die Worte „Halt, bitte Maske aufsetzen!“ machen ihn zum perfekten Aufpasser.

Für Peppers Funktion als Abstandswarner musste zusätzlich zum Farbbild auch ein Tiefenbild aufgenommen werden. Dafür erkennt Pepper zunächst mithilfe der KI „OpenPose“ die Person, also das Farbbild. In einem zweiten Schritt wird dann das Tiefenbild aufgenommen: Ein in Pepper verbauter Infrarot-Projektor versendet kleine Infrarotpunkte, die dann wiederum von einem Infrarotsensor aufgenommen werden. Anhand des Abstands zwischen diesen Punkten kann Pepper schließlich ermitteln, wo genau die Objekte oder Personen sich im 3D- Raum befinden und so die Distanz zwischen ihnen berechnen. Auch hier wurden im letzten Schritt Peppers Bewegungen und seine Worte programmiert, in diesem Fall: „Ihr haltet zu wenig Abstand!“.

Nächstes Projekt: Roboter-Mensch-Interaktion mit Augmented-Reality

Sowohl Riechmann als auch Kirsch hat die Zusammenarbeit im Team besonders Spaß gemacht. Die größte Belohnung war jedoch, ihre Roboter in Aktion zu erleben. Ihrem Interesse an Robotik können die beiden auch zukünftig nachgehen: Mittlerweile arbeiten sie als wissenschaftliche Mitarbeiter am Lehrstuhl von Prof. Dr. Matthias König und sind auch im nächsten, größeren Forschungsprojekt zur Roboter-Mensch-Interaktion involviert: „Semantic-Aware Augmented Reality Interaction for 3D Robot Workspace Restriction“ wurde kürzlich bewilligt und wird von der Deutschen Forschungsgemeinschaft (DFG) gefördert.

Arbeitsbereich soll für Roboter begrenzt werden

Ziel des Projekts ist, mittels Augmented-Reality-Interaktionen und semantischen Kontextinformationen die Arbeitsbereiche von Robotern einzugrenzen, die nicht durch physische Grenzen eingeschränkt sind oder mittels klarer visueller Merkmale vom Roboter erkannt werden können. Prof. Dr. Matthias König erklärt: „Im Projekt wird es um die Arbeitsbereich-Beschränkung von mobilen Robotern gehen, die immer häufiger in menschlichen Innenraum-Umgebungen wie Büros oder Wohnungen arbeiten und sich dort den Raum mit Menschen teilen. In manchen Fällen gibt es aber nur bestimmte Bereiche eines Raumes, in dem ein Roboter agieren soll. Im Projekt werden wir für die Begrenzung dieses Einsatzbereichs eine Technologie entwickeln.“ Malte Riechmann und André Kirsch können ihre Erfahrungen aus der Robotik-Lehrveranstaltung somit direkt in das nächste Projekt einfließen lassen.