Robots@Play: Speech-based Interaction and Control of Robots
Wann und Wo
Semesterprojekt: Mittwoch, 13-17 Uhr, RUD 26, 1'307
Wer
Dozent: Prof. Holger Schlingloff / Marc Carwehl
Beschreibung und Aufbau der Lehrveranstaltung
Sprachbasierte Interaktion mit Softwaresystemen wie Siri, Assistant, chatGPT, Copilot usw. gehört heute zum Stand der Technik. Die nächste Stufe ist die Integration in physische Objekte wie z.B. autonome mobile Roboter.
In diesem Semesterprojekt sollen Turtlebots mit Greifarmen ausgerüstet werden und mit einer natürlichsprachlichen Schnittstelle versehen werden, so dass man sich mit ihnen unterhalten und in einer Spielumgebung sprachliche Anweisungen geben kann (z.B. "Bring mir den roten Ball"). Dazu muss eine Zwischensprache entwickelt und implementiert werden, in die die Sprachbefehle von einem LLM (large language model) übersetzt werden, und die seinerseits in Aktionen für ROS (robot operating system) übersetzt werden können. Ferner ist es nötig, verschiedene Bildverarbeitungs- und Steuerungsalgorithmen, z.B. zum Greifen von Gegenständen, in das System zu integrieren, damit die Roboter ihre Umgebung wahrnehmen und entsprechend reagieren können.
Die Teilnehmerinnen und Teilnehmer lernen in diesem Semesterprojekt, in einem Team ein komplexes cyber-physisches System zu konstruieren, das verschiedene Robotik-Module und KI-Komponenten integriert.