» ..ein Raum gefüllt mit Daten«

Das Konzept Mixed Reality (MR) löst Echtzeit-Interaktivität von immersiven Umgebungen und integriert Techniken der medialen Partizipation in Prozesse, die im realen Raum lokalisiert sind. MR wird damit zu einer Methode für die räumliche und zeitliche Überlagerung von aktuellen, physikalischen Räumen und elektronischen, immateriellen Daten-Räumen. Konzeptueller Ausgangspunkt ist die vielschichtige Verzahnung der unterschiedlichen Realitätsebenen, die als Referenzsysteme die Bewältigung der Realität bestimmen. Der Psychologe Hinderk Emrich stellt fest »dass wir Menschen eigentlich immer in einer Mixed Reality leben, die fortwährend von uns selbst konditioniert und konstruiert wird«. Kurz gesagt: Wir leben in einem Raum der mit Information -mit Daten- gefüllt ist.

Der Einsatz von Mixed-Reality-Techniken mündet somit in Wahrnehmungs- und Erkenntnisprozessen, die gleichzeitig im aktuellen und im virtuellem Raum angesiedelt sind.

Ein zentrales Element der hier vorgestellten MR-Strategien ist, den Benutzern zu ermöglichen, mit Hilfe von einfach zu bedienenden Interfaces zu agieren und durch Ausdrucksweisen, die Bestandteil der alltäglichen Praxis sind, mit entfernten Partnern zu kommunizieren: durch Sprache, Geste, Berührung und Bewegung. Der Einsatz von Schnittstellen, die bereits etablierte Praktiken der Kommunikation - sowohl unmittelbare als auch technisierte - fließend in komplexe mediale Kommunikationssysteme integriert, ermöglicht eine intuitive Navigation und Interaktion im Datenraum.

Tracking-, Positionserfassungs-, und Bilderkennungs-Systeme können als öffentliche Interfaces zu Displays in wiederum öffentlichen Datenräumen eingesetzt werden. Persönliche Interfaces wie Cellular Phones oder Palmtops können als Schnittstellen zum öffentlichen Datenraum weiterentwickelt werden.

Skizze der mixed Reality Versuchsanordnung {vergrößern}

eMUSE
Das Electronic Multi-User Stage Environment (eMUSE) ist eine Software-Plattform für die Fusion von virtuellen und realen Handlungsräumen. Das audiovisuelle Modul und das Netzwerk-Modul der eMUSE-Architektur unterstützen in Echtzeit vernetzte Szenarien auf der Basis von Java und des VRML-Browsers. Das MARStrack Vision System überträgt die Positionsdaten (X-/Y-Koordinaten und gestische Ausdehnung der Benutzer) an den eMUSE-Server, der diese wiederum an mehrere Clients übermittelt. eMUSE ermöglicht, neben der Einbindung mehrerer Personen in einem gemeinsamen aktuellen Raum und ihrer Darstellung in einer virtuellen Umgebung, die Partizipation von räumlich entfernten Benutzern via Internet.

Die Plattform bietet wichtige Komponenten performativer Künste und verknüpft sie mit interaktiven vernetzten Szenarien: die Möglichkeit der freien Bewegung im Raum, die Übertragung der Bewegung in Echtzeit in eine virtuelle Umgebung, die Partizipation mehrerer Performer und deren Interaktion untereinander. Eine erste Anwendung erfolgte in der Installation Murmuring Fields auf der Transmediale 1999 in Berlin. Damit wurde die Praktikabilität des Interfaces in einem öffentlichen Raum untersucht, der durch eine hohe Fluktuation und einer heterogenen Nutzergruppe gekennzeichnet ist. Die Präsentation wurde durch die Evaluierung des Nutzerverhaltens begleitet, die Aufschlüsse über die Möglichkeiten des Einsatzes in Funktionszusammenhängen jenseits des Kunstkontextes verschaffen soll.

Kommunikationsfluss und Telepräsenz verbinden realen und virtuellen Raum {vergrößern}

Murmuring Fields
Bei der Präsentation auf der Transmediale 1999 unterteilt eine Projektionsfläche den Raum in einen Aktionsraum und einen Zuschauerraum. Auf diesem zweidimensionalen Bildträger, der beinahe vollständig die gesamte Raumhöhe und -breite einnimmt, erscheint ein virtuelles Szenarium. Die Struktur dieser computergenerierten Kulisse stimuliert körperliche Aktivität. Sie besteht aus skizzenhaften, zeichenartigen Figuren, die durch ihre organische Formgebung auf die Dynamik körperlicher Bewegung Bezug nehmen. Betritt der Besucher den Bereich vor der Projektion, beginnt er intuitiv mit der virtuellen Welt zu interagieren. Eine Kamera an der Raumdecke erkennt die Position des Benutzers und repräsentiert seine Bewegungen durch einen Avatar im virtuellen Raum, der sich, der realen Position des Users entsprechend, in Echtzeit perspektivisch ausrichtet.

Durch die gleichzeitige Präsentation von Vogel- und Subjektperspektive werden dem Benutzer alternierende Bezugsebenen angeboten, die das Spannungsverhältnis zwischen medialer Immersion und physischer Distanz zum virtuellem Raum thematisieren.

{[1] vergrößern} {[2] vergrößern}

Durch das MARStrack Vision-System ist ein Interface eingesetzt, das einen maximalen Grad an freier Bewegung ermöglicht. Der mediale Raum wird somit nicht im Sinne einer immersiven Umgebung als Surrogat des realen Raumes definiert, sondern überlagert sich mit dem realen Raum. Verbindendes Element dieser beiden Bereiche ist die Interaktion des Benutzers, seine intuitiven Bewegungen im realen Raum.

Das interaktive Geschehen wird durch den Einsatz einer Soundscape begleitet, die abhängig von den Bewegungen und Gesten des Nutzers im realen Raum Klangcollagen generiert. Sie liefern das akustische Pendant zum visuellen Szenarium auf der Projektionsfläche.

Anlässlich des Symposiums »Wahrnehmung der Wirklichkeit, Wirklichkeit der Wahrnehmung« 1999 in Bochum, veranstaltet im Rahmen des Festivals »Figurentheater der Nationen« (FIDENA), wurde das ästhetische Potenzial von Murmuring Fields als experimentelle Mixed Reality-Bühnenform untersucht.

Diese Version von Murmuring Fields setzt den interaktiven Klangraum als Hauptelement der Inszenierung ein. Der akustische Raum besteht aus philosophischen Zitaten zur Medialisierung der Lebenswelt, die in einen Klangraum umgesetzt werden, in dem sie bis zur phonetischen Ebene fragmentiert werden. Durch die Klanggenerierung wird die Aufmerksamkeit des Publikums gezielt auf die realen Akteure gerichtet. Damit lokalisiert die Installation den Schwerpunkt der Handlung nicht in einem virtuellen, visuell vermittelten Bildraum, sondern im Spannungsfeld von physischen Körpern, realem Bühnenraum und der immateriellen Atmosphäre der interaktiven Soundscape.

Landkarte der Klanglandschaft von Murmering Fields {vergrößern}

Die beiden Versionen von Murmuring Fields untersuchen die Möglichkeiten des Einsatzes des eMUSE-Systems im künstlerischen Kontext. Ziel einer Weiterentwicklung ist es, das zentrale Element des intuitiven Interfaces und die Möglichkeit der Vernetzung für weitere funktionale Zusammenhänge nutzbar zu machen, um Praktiken der Interaktion zu entwickeln, die das Paradigma des Mixed-Reality-Raumes in alltäglichen Szenarien umsetzt.

i2tv - Eine Plattform für interaktive Sendeformate und Live-Produktion
Das i2tv (Interactive Internet TV) ist eine mediale Inszenierung zur Integration von Teilnehmern via Internet mit Teilnehmern vor Ort. Die Herausforderung liegt in der Entwicklung einer Umgebung, in der Teilnehmer im Internet und Teilnehmer vor Ort gleichberechtigte Partner sind, aber gleichzeitig ihre spezifische Situation (online, onsite) beibehalten. Um dies zu ermöglichen, verbindet das System 3D-Internet-Umgebungen mit digitalem Fernsehen und mobilen Kommunikationsinterfaces.

i2tv stimuliert und erprobt Formen nicht-linearer Dramaturgie durch Kommunikationskonzepte, die den individuellen Nutzer über situationsbezogene Handlungen in eine medial verbundene Gemeinschaft einbindet.

i2TV Beteiligungsebenen {vergrößern}

Das Publikum vor Ort und im Internet kann das Geschehen nicht nur verfolgen, sondern mittels Text, Bild, Live-Audio oder Video aktiv beeinflussen. Dabei wird die unterschiedliche Sichtweise der Teilnehmer zu einem Instrument, das die Dramaturgie mitgestaltet.

So wurde Ernst Jandls Lautgedicht »Ottos Mops« in einem prototypischen Mixed-Reality-Fernsehspiel in einzelne Worte als Ausgangspunkt für eine kollaborative Wort-Klang-Collage bearbeitet. Teilnehmer vor Ort, im Internet-Café, auf der Straße und im Büro werden mit Handy, PC, Palmtop oder Touch Screen ausgestattet, um ihre Wortfragmente des Gedichts in das virtuelle Studio der GMD zu senden. Dort dirigiert und präsentiert der Moderator die eingehenden Wortbeiträge eines vernetzten Publikums als neues Lautgedicht. Die Experimente zu i2tv untersuchen die spezifischen Faktoren von Situationen, die vernetzte Teilnehmer in ein Geschehen im realen Raum integrieren: Wie kann das Spannungsverhältnis zwischen der unmittelbaren Einbeziehung in die interaktive Situation und dem Abstand für reflektiertes Handeln nutzbar gemacht werden? Wie müssen räumliche Situationen für Teilnehmer online und onsite ausgerichtet sein, um bei beiden Gruppen ein Gefühl von Präsenz zu vermitteln?

demnächst: Mixed Reality TV

Die hier vorgestellten Beispiele stellen Versuchsanordnungen dar, in der unterschiedliche Ebenen des Medialen und des Realen ineinander greifen. Durch die Auseinandersetzung mit grundlegenden Fragen der Raumerfahrung und durch die Einbettung in experimentelle Kontexte wird die Entwicklung medialer Kommunikationsstrukturen stimuliert, die den Datenraum nicht als Surrogat des realen Raumes, sondern als integrativen Bestandteil der Lebenswelt begreifen. Zentraler Forschungsgegenstand ist die Konzeption und Entwicklung der Übergänge zwischen diesen unterschiedlichen Handlungsebenen: Realität und Virtualität werden nicht als sich ausschließende Lebenswelten begriffen, sondern als ineinander greifende Ebenen menschlichen Handelns, beispielsweise in einem neuen Format als »Mixed RealityTV«.