Simone Alder, Florian Riechers, Bettina Söhle


Flirtbank

Teil der Aufführung 'sensoric garden' des studentisches Projekts 'methea' zum Thema Theater und virtuelle Realitäten.


Leinwand [link 01]

Leinwand

Kurzdarstellung

Kurzbeschreibung

Die Flirtbank ist eine Teilinstallation der öffentlichen Aufführung "sensoric garden" des studentischen Projekts "methea". Der Projektname "methea" steht für Medien und Theater. Das Projekt untersuchte mögliche Verbindungen zwischen Theater und virtueller Realität.
Der Schauplatz der Flirtbank war eine Parkbank, wo Publikum sich interaktiv an der Schaffung von visuellen und narrativen Liebesgeschichten beteiligen konnte. Die BesucherInnen konnten auf der Flirtbank Platz nehmen. Vor ihnen stand eine Leinwand, auf die wechselweise Film projiziert wurde. Drei kurze Videogeschichten über die Flirtbank wechselten sich ab mit der Life-Aufnahme der Bank, so dass die Banksitzenden plötzlich sich selbst sehen konnten. Auf der Bank lagen kleine Schilder mit Mustern. Wenn das Publikum die Schildchen in die Kamera hielt, ersetzte ein Programm die Muster durch 3D-Objekte, die in Echtzeit in das Videobild eingefügt wurden. Ein anderer Programmmodus ermöglichte die Platzierung der 3D-Objekte durch Bewegungserkennung.

KünstlerInnen / AutorInnen

  • Simone Alder
  • Florian Riechers
  • Bettina Söhle

MitarbeiterInnen

  • Ance Wildt, Musik
  • Martin Faust, "Pate", artec
  • Kai Schmudlach, "Pate", artec

Entstehung

Deutschland, 2001-2002

Partner / Sponsoren

artec (Forschungszentrum für Arbeit, Technik und Umwelt,
Stadtgrün Bremen

Eingabe des Beitrags

Simone Alder, 16.05.2003

Kategorie

  • künstlerische Arbeit

Schlagworte

  • Themen:
    • Interface |
    • Konzeptuelle Arbeit |
    • Avatare |
    • Wahrnehmung |
    • nonlineare Narration |
    • Körper |
    • Urbaner Raum |
    • öffentlicher Raum |
    • Performance Kunst |
    • Augmented Reality |
    • Interaktivität |
    • Echtzeit-Rendering
  • Formate:
    • Performance |
    • Installation |
    • 3D |
    • interaktiv |
    • Video
  • Technik:
    • Digitales Video |
    • VRML |
    • Gesture Recognition

Inhalt

Inhaltliche Beschreibung

Der Ort unserer Aufführung war der Theaterberg in den Wallanlagen Bremens. Wir wählten den Theaterberg als Schauplatz wegen seiner reichen historischen und landschaftlichen Verknüpfungen zum Theaterwesen. Auf dem Berg stand ehemals das Bremer Theater, lange bevor eine terrassenförmige Parkanlage dort angelegt wurde. Am untersten Ende der Terrassen steht die Skulptur "Aegina" von Gerhard Marcks. Sie ist von jedem Punkt des Parks aus zu sehen und wurde somit eine zentrale Figur des Ortes und eine wichtige Muse für unser Projekt. Sie schuf den Gedanken des Flirtens. Wir waren uns sicher, dass Flirten ein guter Antrieb war, um Publikum aus einer passiven Rolle in eine spielerische und interaktive hineinzulocken. Ein Grundgedanke der Flirtbank war die interaktive Einbeziehung von traditionell passivem Publikum in ein dynamisches Bühnengeschehen mit Hilfe von Maschinen-Mensch-Schnittstellen. Wir hatten ein Jahr Zeit, unser virtuelles Flirtkonzept zu verfeinern und durchwanderten verschiedene Stadien bis zur endgültigen Form.
Von grundsätzlicher Bedeutung war die Frage, wie die virtuelle Realität die gewohnte Realität des Publikums durchbrechen konnte. Denkbar war die Virtualität als Auslöser für Irritationen und Grenzüberschreitungen, um beispielsweise andere Wahrnehmungsebenen zu ermöglichen. Wir dachten daran, die Zuschauer mit menschenähnlichen Avataren zu konfrontieren und sie mit ihnen flirten zu lassen. Im Laufe der Zeit schien die Herausarbeitung von Unterschieden zwischen virtuellen und realen Wahrnehmungsumgebungen reizvoller als die bloße Imitation von realen Figuren. Wir interessierten uns für die visuellen Unterschiede, die beim ersten Blick sichtbar wurden und die das Abweichen von der Realität bewirkten: Übelkeit, Scheu oder eine neue Wahrnehmung.
Inhaltlich wurde die Flirtbank beeinträchtigt durch die Ereignisse des 11. Septembers, welche das Aufgreifen von wichtigen Themen dieser Tage erforderte. Wie wurden Medien auf der Weltbühne Kriegsschauplatz eingesetzt und wie wurden Realitäten durch die Kraft des künstlichen, bewegten Bildes manipuliert? Das Medium Film als Vehikel für menschliche Realitätsbildung, ohne dass die Zuschauenden jemals in physische Berührung mit der jeweils abgebildeten Realität gekommen sind.
Wir lernten das Tool ARToolKit kennen. Es brachte uns Augmented Reality und Augmented Reality brachte uns unserer Idee näher. Uns erschien es reizvoll einen Raum zu bieten, in dem der Prozess der Verkünstlichung von Bildern nachvollziehbar, sichtbar oder absurd gemacht werden konnte. Wir wollten Verwirrung auslösen durch das offensichtlich künstliche Einfügen von Objekten in Bilder, wo eigentlich keine sind, außer man selbst. Die Rahmenbedingungen sollten fröhlich sein, eine verspielte Flirtumgebung, in der es darum ging zu assoziieren und neue Wahrnehmungsebenen zu betreten.

Technik

Technische Beschreibung

Das ARToolkit (Augmented Reality Toolkit) ist eine Software-Bibliothek, die es in Echtzeit ermöglicht, vordefinierte Muster (patterns) zu erkennen und an deren Stelle dreidimensionale Objekte zu setzen.
Mit Hilfe von Kai Schmundlach und besonders Martin Faust entstand eine abgewandelte Version des ARToolKit, die keine Muster mehr benötigt und stattdessen Veränderungen zu einem Referenzbild wahrnimmt. Vordefinierte Posen und Gesten, wie z.B. eine ausgestreckte Hand, werden erkannt und 3D-Objekte an eine vorbestimmte Stelle des Bildes eingeblendet.
Bei der Bewegungserkennung wurde zuerst ein Referenzbild aufgenommen. Das Bild musste dafür möglichst stabil sein. Störende Dinge, wie bewegte Blätter von Bäumen, mussten vermieden werden. Aufgrund dessen hatten wir eine Rückstellwand hinter die Bank gestellt. In der oberen Ecke des ARToolkit-Fensters war ein schwarzes Rechteck zu sehen (nimmt ca. 1/6 des Fensters ein). Sobald z.B. eine Person in das Bild tritt, wird sie in diesem Rechteck durch weiße Umrandungen und einem umschließenden magenta-farbigen Polygon dargestellt. Entspricht das Polygon einer vordefinierten Pose, so taucht ein 3D-Objekt auf. Dabei kann die Empfindlichkeit der Erkennung (Treshold) erhöht und erniedrigt werden. Bei unserer Vorführung zeigte sich, dass die Empfindlich zu sensibel war, was u.a. zur Folge hatte, dass permanent das gleiche 3D-Objekt zu sehen war und die Gesten der Personen keine Auswirkungen hatte.
Mustererkennung
Mit Hilfe des HIRO-Patterns werden die 3D-Objekte platziert. In diesem Modus besitzt das ARToolkit-Fenster kein schwarzes Rechteck mehr und kann keine Person (vor allem wenn mehrere Personen gleichzeitig Platznehmen) mehr verdecken. Mit der Tastenkombination SHIFT-1, -2,..., -9 kann zwischen den verschieden 3D-Objekten gewechselt werden.
Damit das HIRO-Pattern gut erkannt wird, ist es wichtig, dass das Bild gut ausgeleuchtet ist (siehe 3. Abend). Die Mustererkennung hatte bei unseren Vorführungen den meisten Erfolg. Die Erkennung läuft mit 10 - 15Hz, wobei das Capturing der Bilder ~60ms und die Erkennung ~35ms einnimmt.
Verbindungen und Einstellungen
Wir hatten bei der Vorführung 2 PCs, einen Desktop mit Monitor, Frame-Grabber-Karte und TV-OUT, der für die Bilderkennung zuständig war, und einen Laptop, der mit dem Verstärker verbunden war und die Trailer bzw. die Hintergrundmusik abspielte.
Zudem hatten wir einen 3-Kanal-AV-Controler, der uns ermöglichte, zwischen den Trailern und der Bilderkennung hin und her zu schalten. Dabei gab es folgenden Aufbau:
Das Videosignal vom Camcorder war mit der Frame-Grabber-Karte verbunden und der TV-OUT ging zu einem Eingang vom 3-Kanal-AV-Controler. Ein weiterer Eingang war mit dem TV-OUT(S-Video) des Laptops verbunden und der Ausgang vom 3-Kanal-AV-Controler ging zum Eingang (S-Video) des Beamers.
Wir benutzten eine Auflösung von 800 x 600 und konnten auf diese Weise die Bilderkennung im Vollbildmodus laufen lassen und außerdem einen Monitor gleichzeitig zum Beamerbild betreiben.

Hardware / Software

Software:
Adobe Premiere 6.0
Media Player 7
3D Studio max
Poser 4
ARToolKit 2.43vrml
Visual Basic 6.0
Photoshop 6.0
Edit Plus
Hardware und sonstige Elemente der Installation:
2 PCs mit Monitoren (2000 und XP mit guter Grafik- und Soundkarte)
1 Beamer (mit Spiegelfunktion)
1 Leinwand (2m x 1,80m), AV- & Audio-Kabel
1 Camcorder
3-Kanal-AV-Controler
2 Par 64 Scheinwerfer
2 Par 16 Scheinwerfer
2 Filter Rosko 317
2 3-Wege-Boxen mit Ständer
1 Verstärker
Bank
Rückstellwände
Tische und Stühle
2 Pavillons
roter Stoff, Deko und Planen

Kontext

Hochschule / Fachbereich

Uni Bremen
Informatik

URL der Hochschule

» http://www.medien.in…ormatik.uni-bremen.de [link 02]

Betreuer des Projekts

Prof. Dr. Wilhelm Bruns

Kommentar des Betreuers

Die Flirtmaschine war eine von sieben Installationen zum Bremer Open Air Ereignis "Sensoric Garden", das von zwanzig Studierenden der Medien Informatik der Universität Bremen im Rahmen der Jubiläumsfeier 200 Jahre Bremer Wallanlage - FestiWALL der Sinne - veranstaltet wurde. "Sensoric Garden" fand an drei Abenden auf dem Theaterberg im Zentrum Bremens parallel zur Rosenausstellung "A Rose is a Rose is a .." statt und behandelte das Thema reale und virtuelle Welten. Es war eine Einladung an die Besucher, Übergänge zwischen Realität und Virtualität mit allen Sinnen zu erleben: Duft der Rosen, Gespür von Erde, Stein und Wasser, Ansicht einer weiblichen Steinstatue, die zum virtuellen Leben erwachte, Kampf gegen virtuelles Feuer mit einer realen Wasserpumpe, Tanz zwischen Rosen zu selbsterzeugtem Licht und Sound, und Spiel mit Avataren in einer Flirtmaschine.
Bei der Flirtmaschine konnten Paare auf einer Parkbank sitzen, sahen sich als Videoprojektion auf einer Leinwand und hielten in ihren Händen oder neben sich sitzend ein vom Computer generiertes, in das Videobild eingepasstes virtuelles Objekt. Die Installation zog viele Besucher an, die sich erstaunt und verspielt in die Interaktion mit ihrem Abbild und seiner virtuellen Anreicherung als Augmented Reality vertieften.
Die Installation Flirtmaschine demonstrierte in eindrucksvoller Weise, mit welch einfachen Mitteln über 3D-Modellierung gemischt mit Videoprojektionen, Bilderkennung, interessanter Beleuchtung, integriert in eine reale Park-Umgebung eine Stimmung von phantastischer und surrealer Welt erzeugt werden konnte. Sie zeigte zugleich neue Konzepte der Human-Computer Interaction.

Seminar / Kurzbeschreibung

Das Ereignis war Teil eines Einjahresprojektes "Methea - Medien und Theater" an der Universität Bremen im Studiengang Medieninformatik/Digitale Medien. Das Ziel des Projektes war es, ein Verständnis für und Erfahrungen mit Human-Computer Interaktion zu gewinnen. Virtuelle Realität und ihre Erweiterung zur Mixed Reality wurde in Bezug zur Darstellenden Kunst, zur Theatermetapher im Interaktionsdesign und zu MECHANEE als einer alten Wurzel des Theaters thematisiert. Verschiedene kleinere Reflektionen und Aufführungen bereiteten den Weg für Sensoric Garden:
"Theater der Maschinen", "A wedding rehearsal in Cybertown", "Mixed Reality Stages", "Sensors and Actuators".

Zuordnung Forschungsbereich

Das Projekt stand in Beziehung zu unseren eigenen Arbeiten im Forschungszentrum artec der Universität Bremen. Wir entwickeln neue Formen der Mensch-Maschine Interaktion auf der Basis von Mixed Reality, gemischten realen und virtuellen Welten, die über die Desktopmetapher hinausgehen. Unser Fokus ist die Beziehung zwischen Kunst, Arbeit und Technik.

  • › digital sparks 2003 [link 03]
  • › Auszug aus dem Projektbericht (12 S.) [Microsoft® Word | 3 MB ] [link 04]
  • › Interaktion mit der Sitzenden [JPEG | 35 KB ] [link 05]
  • › Bewegungserkennungsmodus [JPEG | 75 KB ] [link 06]
  • › Projektbericht des Gesamtprojekts METHEA [PDF | 9 MB ] [link 07]
  • › Gesamtbild [JPEG | 182 KB ] [link 08]
  • › Musik der Flirtbank [MP3 | 2 MB ] [link 09]
  • › Trailer zur Flirtmachine [RealMedia] [link 10]
  • › Trailer zur Flirtmachine [RealMedia] [link 11]
  • › Dokumentation der Flirtbank [RealMedia] [link 12]