Claudia Oster, Norbert Wenzel, Verena Lugmayr, …


@tivo

Interaktion mit einem virutellen Character


@tivo winkt dir zu! [link 01]

@tivo winkt dir zu!

Technik

Technische Beschreibung

Die Umsetzung erfolgte mit Hilfe von mehreren Programmen und Libraries. Für die Modellierung und Animation des Charakters wurde Alias Maya 6.5 eingesetzt und mit dem Cal3D-Exporter für Maya wurden das Modell und die Animationen dann exportiert.

Die Programmierung erfolgte mit C++. Als API verwenden wir Open GL und für die Integration der 3D-Modelle in unsere Applikation nutzen wir die Möglichkeiten von Cal3D. Cal3D ist eine, noch relativ junge, Library für skelettbasierte Characteranimation.

Für die Auswertung der Kamerabilder wurde Open CV eingesetzt. Das Kamerabild wird über verschiedene Algorithmen ausgewertet, beispielsweise das Auslösen von Motion-Buttons oder der Abgleich mit einem selbst generierten Referenzbild (Hintergrund).

Für unsere Installation wurde auch noch das Abspielen von Audio-Files mittels der Sound-Library FMOD eingebunden.

Besonders wichtig war bei der Realisierung, dass sowohl die Auswertung der Kamerabilder als auch die Reaktion des Characters in Echtzeit läuft.

Hardware / Software

Bei der Umsetzung wurde auf einen Reduzierung der notwendigen Hard- und Software sowohl für den Benutzer, als auch für die Installation selbst geachtet. Für den Benutzer sind keine Hardwareelemente notwendig.

Für die Installation selbst benötigt man einen Rechner (CPU-Leistung sollte nicht zu gering sein – sonst kann Ruckeln auftreten) und eine Kamera, wobei hier eine herkömmliche Webcam ausreicht. Natürlich gilt hier: je besser das Bild (Farbkorrektheit, Helligkeitsempfindlichkeit), desto besser die Erkennung der Aktionen vor dem Bildschirm.

Kontext

Hochschule / Fachbereich

FH Hagenberg
Medientechnik und -design

URL der Hochschule

» http://www.fh-hagenberg.at [link 02]

Betreuer des Projekts

Mag. Volker Christian

Kommentar des Betreuers

Mit ihrer Arbeit @tivo hat die Studentengruppe ein alternatives Mensch-Maschine-Interface in eine spannende Installation gepackt. Durch den Einsatz aufwendige Echtzeit-Bildverarbeitungsalgorithmen versuchen die Studenten auf die Stimmung und Emotionen der mit der Installation interagierenden Menschen zu reagieren und sie in schlüssige Kommandos für den virtuellen Character (@tivo) umzusetzen. Dies gelingt so gut, dass man sich in einer echten Kommunikation mit @tivo wähnt. Durch sein unaufdringliches, sympathisches Wesen zieht @tivo die Menschon sofort in seinen Bann und animiert zur weiteren Interaktion.

Seminar / Kurzbeschreibung

Die Studenten haben diese Installation im Rahmen eines Pflicht-Semesterprojekts im 5. Semester des Bakkalaureatstudiums „Medientechnik und Design“ an der FH-Hagenberg absolviert. Dieses Projekt ist in die Basislehrveranstalltungen „Angewandte Softwaretechnik“, „Computergraphik“ und „3D-Modellierung“ eingebettet.

Zuordnung Forschungsbereich

Human-Computer Interaction
Alternative Interfaces
Realtime Image Processing
Pervasive Computing

  • › digital sparks 2006 [link 03]

» http://www.ativo.at.tp [link 04]

  • › @tivo - Ein virtueller Character stellt sich vor! [9 MB ] [link 05]