Modul Interaktion und Technologie, Informatik (Master) (SPO 7)
Maschinen können heute bereits auf "natürliche" Art und Weise mit Menschen kommunizieren, indem sie Sprache verstehen, Schrift erkennen oder Gesten interpretieren können. Sie können aber auch die Wahrnehmung der Menschen erweitern, indem sie die Darstellung von Situationen mit zusätzlichem Wissen anreichern ("Augmented Reality"), d.h., die Darstellung von Information erfolgt im Kontext der von der Maschine wahrgenommenen Situation, in der sich der Mensch befindet. Beispiele finden sich in Smartphones und Tablets (Sprachsteuerung, Gesichtserkennung, Musikerkennung) in Fahrzeugen in Form von Fahrerassistenzsystemen, in Spieleboxen zur Bewegungsinterpretation, aber auch in der Arbeitswelt wie z.B. der Chirurgie oder Mensch-Roboter-Kooperation).
In der Vorlesung werden die Grundlagen von Sprach- und Gestenerkennung, die Erfassung und Erkennung von Umgebungsobjekten und deren Nutzung in der Interaktion und Informationspräsentation behandelt. Anwendungsbeispiele (z.B. mit dem Kinect Sensor) vertiefen das Verständnis des Stoffes. Die Themen im Einzelnen:
- Systemleistung der wahrnehmungsbasierten Interaktion
- Sensorik zur Erfassung der Umgebungssituation (Schall, Video, 3D, Touch, Beschleunigungen und Drehraten)
- Erkennung (Objekterkennung in Video und 3D, Sprach- und Verhaltenserkennung)
- Interaktionsmodelle (Augmented Reality, Situationsgraphen)
Maschinen können heute bereits auf "natürliche" Art und Weise mit Menschen kommunizieren, indem sie Sprache verstehen, Schrift erkennen oder Gesten interpretieren können. Sie können aber auch die Wahrnehmung der Menschen erweitern, indem sie die Darstellung von Situationen mit zusätzlichem Wissen anreichern ("Augmented reality"), d.h., die Darstellung von Information erfolgt im Kontext der von der Maschine wahrgenommenen Situation, in der sich der Mensch befindet. Beispiele finden sich in Smartphones und Tablets (Sprachsteuerung, Gesichtserkennung, "Goggle", Musikerkennung) in Fahrzeugen in Form von Fahrerassistenzsystemen, in Spieleboxen zur Bewegungsinterpretation, aber auch in der Arbeitswelt wie z.B. der Chirurgie oder Mensch-Roboter-Kooperation).
In der Vorlesung werden die Grundlagen von Sprach- und Gestenerkennung, die Erfassung und Erkennung von Umgebungsobjekten und deren Nutzung in der Interaktion und Informationspräsentation behandelt. Anwendungsbeispiele (z.B. mit dem Kinect Sensor) vertiefen das Verständnis des Stoffes. Die Themen im Einzelnen:
- Systemleistung der wahrnehmungsbasierten Interaktion
- Sensorik zur Erfassung der Umgebungssituation (Schall, Video, 3D, Touch, Beschleunigungen und Drehraten)
- Erkennung (Objekterkennung in Video und 3D, Sprach- und Verhaltenserkennung)
- Interaktionsmodelle (Augmented Reality, Situationsgraphen)
- Vorlesungsfolien
- Lawrence R. Rabiner, Biing-Hwang Juang Juang, "Fundamentals of Speech Recognition", 1993, ISBN 0-13-015157-2
- Nitin Indurkhya (Editor), Fred J. Demerau (Editor), "Handbook of Natural Language Processing", Second Edition, Chapman & Hall/CRC Machine Learning & Pattern Recognition, February 22, 2010, ISBN-10 1420085921, ISBN-13 978-1420085921
- Roberto Cipolla (Editor), Alex Pentland (Editor), "Computer Vision for Human-Machine Interaction", Massachusetts Institute of Technology Online Publication, Cambridge Books Online Date: July 2010, Online ISBN 9780511569937
- Marcus Tonnis, "Augmented Reality: Einblicke in die Erweiterte Realität" (Informatik im Fokus), Springer 2010
- Alan B. Craig, "Understanding Augmented Reality - Concepts and Applications", Morgan Kaufman 2013 ISBN 978-0-240-82408-6
Vorlesung, Teilnahme am seminaristischen Unterricht.
Die Vorlesungsinhalte werden anhand der Konzeption und der Umsetzung eines im Rahmen der Vorlesung gemeinsam definierten Aufgabe vertieft.