Simone Alder, Florian Riechers, Bettina Söhle


Flirtbank

Teil der Aufführung 'sensoric garden' des studentisches Projekts 'methea' zum Thema Theater und virtuelle Realitäten.


Leinwand [link 01]

Leinwand

Technik

Technische Beschreibung

Das ARToolkit (Augmented Reality Toolkit) ist eine Software-Bibliothek, die es in Echtzeit ermöglicht, vordefinierte Muster (patterns) zu erkennen und an deren Stelle dreidimensionale Objekte zu setzen.
Mit Hilfe von Kai Schmundlach und besonders Martin Faust entstand eine abgewandelte Version des ARToolKit, die keine Muster mehr benötigt und stattdessen Veränderungen zu einem Referenzbild wahrnimmt. Vordefinierte Posen und Gesten, wie z.B. eine ausgestreckte Hand, werden erkannt und 3D-Objekte an eine vorbestimmte Stelle des Bildes eingeblendet.
Bei der Bewegungserkennung wurde zuerst ein Referenzbild aufgenommen. Das Bild musste dafür möglichst stabil sein. Störende Dinge, wie bewegte Blätter von Bäumen, mussten vermieden werden. Aufgrund dessen hatten wir eine Rückstellwand hinter die Bank gestellt. In der oberen Ecke des ARToolkit-Fensters war ein schwarzes Rechteck zu sehen (nimmt ca. 1/6 des Fensters ein). Sobald z.B. eine Person in das Bild tritt, wird sie in diesem Rechteck durch weiße Umrandungen und einem umschließenden magenta-farbigen Polygon dargestellt. Entspricht das Polygon einer vordefinierten Pose, so taucht ein 3D-Objekt auf. Dabei kann die Empfindlichkeit der Erkennung (Treshold) erhöht und erniedrigt werden. Bei unserer Vorführung zeigte sich, dass die Empfindlich zu sensibel war, was u.a. zur Folge hatte, dass permanent das gleiche 3D-Objekt zu sehen war und die Gesten der Personen keine Auswirkungen hatte.
Mustererkennung
Mit Hilfe des HIRO-Patterns werden die 3D-Objekte platziert. In diesem Modus besitzt das ARToolkit-Fenster kein schwarzes Rechteck mehr und kann keine Person (vor allem wenn mehrere Personen gleichzeitig Platznehmen) mehr verdecken. Mit der Tastenkombination SHIFT-1, -2,..., -9 kann zwischen den verschieden 3D-Objekten gewechselt werden.
Damit das HIRO-Pattern gut erkannt wird, ist es wichtig, dass das Bild gut ausgeleuchtet ist (siehe 3. Abend). Die Mustererkennung hatte bei unseren Vorführungen den meisten Erfolg. Die Erkennung läuft mit 10 - 15Hz, wobei das Capturing der Bilder ~60ms und die Erkennung ~35ms einnimmt.
Verbindungen und Einstellungen
Wir hatten bei der Vorführung 2 PCs, einen Desktop mit Monitor, Frame-Grabber-Karte und TV-OUT, der für die Bilderkennung zuständig war, und einen Laptop, der mit dem Verstärker verbunden war und die Trailer bzw. die Hintergrundmusik abspielte.
Zudem hatten wir einen 3-Kanal-AV-Controler, der uns ermöglichte, zwischen den Trailern und der Bilderkennung hin und her zu schalten. Dabei gab es folgenden Aufbau:
Das Videosignal vom Camcorder war mit der Frame-Grabber-Karte verbunden und der TV-OUT ging zu einem Eingang vom 3-Kanal-AV-Controler. Ein weiterer Eingang war mit dem TV-OUT(S-Video) des Laptops verbunden und der Ausgang vom 3-Kanal-AV-Controler ging zum Eingang (S-Video) des Beamers.
Wir benutzten eine Auflösung von 800 x 600 und konnten auf diese Weise die Bilderkennung im Vollbildmodus laufen lassen und außerdem einen Monitor gleichzeitig zum Beamerbild betreiben.

Hardware / Software

Software:
Adobe Premiere 6.0
Media Player 7
3D Studio max
Poser 4
ARToolKit 2.43vrml
Visual Basic 6.0
Photoshop 6.0
Edit Plus
Hardware und sonstige Elemente der Installation:
2 PCs mit Monitoren (2000 und XP mit guter Grafik- und Soundkarte)
1 Beamer (mit Spiegelfunktion)
1 Leinwand (2m x 1,80m), AV- & Audio-Kabel
1 Camcorder
3-Kanal-AV-Controler
2 Par 64 Scheinwerfer
2 Par 16 Scheinwerfer
2 Filter Rosko 317
2 3-Wege-Boxen mit Ständer
1 Verstärker
Bank
Rückstellwände
Tische und Stühle
2 Pavillons
roter Stoff, Deko und Planen

Kontext

Hochschule / Fachbereich

Uni Bremen
Informatik

URL der Hochschule

» http://www.medien.in…ormatik.uni-bremen.de [link 02]

Betreuer des Projekts

Prof. Dr. Wilhelm Bruns

Kommentar des Betreuers

Die Flirtmaschine war eine von sieben Installationen zum Bremer Open Air Ereignis "Sensoric Garden", das von zwanzig Studierenden der Medien Informatik der Universität Bremen im Rahmen der Jubiläumsfeier 200 Jahre Bremer Wallanlage - FestiWALL der Sinne - veranstaltet wurde. "Sensoric Garden" fand an drei Abenden auf dem Theaterberg im Zentrum Bremens parallel zur Rosenausstellung "A Rose is a Rose is a .." statt und behandelte das Thema reale und virtuelle Welten. Es war eine Einladung an die Besucher, Übergänge zwischen Realität und Virtualität mit allen Sinnen zu erleben: Duft der Rosen, Gespür von Erde, Stein und Wasser, Ansicht einer weiblichen Steinstatue, die zum virtuellen Leben erwachte, Kampf gegen virtuelles Feuer mit einer realen Wasserpumpe, Tanz zwischen Rosen zu selbsterzeugtem Licht und Sound, und Spiel mit Avataren in einer Flirtmaschine.
Bei der Flirtmaschine konnten Paare auf einer Parkbank sitzen, sahen sich als Videoprojektion auf einer Leinwand und hielten in ihren Händen oder neben sich sitzend ein vom Computer generiertes, in das Videobild eingepasstes virtuelles Objekt. Die Installation zog viele Besucher an, die sich erstaunt und verspielt in die Interaktion mit ihrem Abbild und seiner virtuellen Anreicherung als Augmented Reality vertieften.
Die Installation Flirtmaschine demonstrierte in eindrucksvoller Weise, mit welch einfachen Mitteln über 3D-Modellierung gemischt mit Videoprojektionen, Bilderkennung, interessanter Beleuchtung, integriert in eine reale Park-Umgebung eine Stimmung von phantastischer und surrealer Welt erzeugt werden konnte. Sie zeigte zugleich neue Konzepte der Human-Computer Interaction.

Seminar / Kurzbeschreibung

Das Ereignis war Teil eines Einjahresprojektes "Methea - Medien und Theater" an der Universität Bremen im Studiengang Medieninformatik/Digitale Medien. Das Ziel des Projektes war es, ein Verständnis für und Erfahrungen mit Human-Computer Interaktion zu gewinnen. Virtuelle Realität und ihre Erweiterung zur Mixed Reality wurde in Bezug zur Darstellenden Kunst, zur Theatermetapher im Interaktionsdesign und zu MECHANEE als einer alten Wurzel des Theaters thematisiert. Verschiedene kleinere Reflektionen und Aufführungen bereiteten den Weg für Sensoric Garden:
"Theater der Maschinen", "A wedding rehearsal in Cybertown", "Mixed Reality Stages", "Sensors and Actuators".

Zuordnung Forschungsbereich

Das Projekt stand in Beziehung zu unseren eigenen Arbeiten im Forschungszentrum artec der Universität Bremen. Wir entwickeln neue Formen der Mensch-Maschine Interaktion auf der Basis von Mixed Reality, gemischten realen und virtuellen Welten, die über die Desktopmetapher hinausgehen. Unser Fokus ist die Beziehung zwischen Kunst, Arbeit und Technik.

  • › digital sparks 2003 [link 03]
  • › Auszug aus dem Projektbericht (12 S.) [Microsoft® Word | 3 MB ] [link 04]
  • › Interaktion mit der Sitzenden [JPEG | 35 KB ] [link 05]
  • › Bewegungserkennungsmodus [JPEG | 75 KB ] [link 06]
  • › Projektbericht des Gesamtprojekts METHEA [PDF | 9 MB ] [link 07]
  • › Gesamtbild [JPEG | 182 KB ] [link 08]
  • › Musik der Flirtbank [MP3 | 2 MB ] [link 09]
  • › Trailer zur Flirtmachine [RealMedia] [link 10]
  • › Trailer zur Flirtmachine [RealMedia] [link 11]
  • › Dokumentation der Flirtbank [RealMedia] [link 12]