Technische Beschreibung
Technisches Konzept:
Prinzip
Das Prinzip beruht auf Motiontracking mit kabellosen tragbaren Beschleunigungssensoren, Musteranalyse der Sensordaten (Hidden Markov Models), Mapping von Bewegungszustandskategorien auf Emotions-Kategorien, Übersetzung in Parameter der Bildkomposition, dramaturgisch strukturiertes Verhalten des Bilderflusses beruhend auf dem Emotionsraum-Modell.
Zwei neuartige Softwaremodule einerseits für Bewegungsanalyse, andererseits für die Bildvisualisierung werden in Bluebottle/Aos http://www.oberon.ethz.ch/ entwickelt. Das entsprechende Wearable wird unabhängig von diesem Projekt im Rahmen des Euro-Projektes 2WEAR entwickelt. http://www.aramis-research.ch/d/13405.html.
User Interfaces
Ein fortlaufender Bildgestaltungsprozess soll innerhalb dieser Software über ein User Interface in XML ermöglicht werden, worin die Notation der Bilder im Detail sowie die Spiel-Verhaltensmodi laufend definiert werden können.
Ein weiteres User Interface sind die Sensoren. Diese werden aber voraussichtlich nicht zur expliziten Bildgestaltung (bewusstes Zeichnen) eingesetzt, denn von unserem Konzept her ist die Interpretation der Bewegung automatisiert. Grundsätzlich wäre es aber denkbar, durch bestimmte funktionalisierte Bewegungsabläufe bewusst zu zeichnen. Wie die unterschiedlichen Interaktionsweisen jeweils vom Benutzer adaptiert werden können, wird anhand des Prototyps getestet.
Verwendete Hardware
2 PCs (Active Oberon System)
2 Mac Laptops (Max/Jitter)
8 Beschleunigungssensoren
2 Sensorcontroller
2 Prototyp-Wearables
(mit Strongarm Prozessor
und Bluetooth Chip)
2 Beamer
1 Videokamera
2 Projektionswände ca. 3x5m2
ETH-eigene Software
wireless Kommunikationsmodul Sensor-PC
Kompositionssystem und Grafik
Bewegungsanalysemodul
Videoeffekt-Software: Max/Jitter
Methodisches Vorgehen
- Bewegungsregistrierung mit Sensoren
- Echtzeitstreaming von Daten
- Analyse der Sensordaten (Mustererkennung oder explizite Parameterumrechnung)
- Mapping über ein Übersetzungsprinzip (Struktur Empfindungsraum)
- Bildgenerierung gesteuert von den zugeordneten Parametern oder Kategorien
-Ebene des Systems
- Dramaturgische Arbeit mit System, Optimierung, Dokumentation
Der Übersetzungsprozess
Die Maschine registriert Beschleunigungsmuster oder einzelne Bewegungsparameter, übersetzt sie in Koordinaten in einem Emotions-Raum (einem System von abstrakten, ästhetischen Empfindungsdimensionen), und interpretiert diese Koordinaten als Bildparameter. Darüber baut sich eine Struktur von visuellen Ausdrucksmitteln auf (einzelne graphischen Parameter, Bildzeichen, Bildklassen bzw. kompositorische Klassen). Diese Empfindungs-Register-Struktur basiert auf bestimmten Dimensionen, welche sich flexibel zu neuen Qualitäten kombinieren lassen.
Als Kern eines solchen Systems wird also ein abstrakter Empfindungs-Raum dienen.
Von diesem 1:1 Übersetzungsprinzip aus werden die eigenen Behaviours des Systems abgeleitet. Diese sollen insbesondere
(1.) intuitiv wirksame Bezüge zum Tanzverhalten setzen
(2.) eine Ebene der Provokation ins Spiel bringen.
(3.) Besondere Spielregeln oder Schranken repräsentieren, die das jeweilige gestalterische und dramaturgische Setting unterstützen.
Das XML Interface, in dem Fotografien und Bildparameter und auch die dramaturgischen Verhaltensparameter geändert werden können, bietet im weiteren die Möglichkeit für einen fortlaufenden Gestaltungsprozess, aufbauend auf der Kernstruktur des Systems.
Träger bzw. Medium, Technik: SVGA Computer-Projektion und interaktiver digitaler Prototyp, sensorengesteuert während Tanzperformance.
Visuelle Variante A: Computergenerierte Echtzeit-Animation von digitaler Farbfotografie mit Typografie, welche via tragbarer Körpersensoren durch expressive Tanzgesten gesteuert wird. Für die Echtzeitanimation wird eine prototypische Grafiksoftware in Bluebottle/Aos (Active Oberon System) entwickelt. Für die Interpretation der Sensorendaten wird ebenfalls ein eigenes Expressivitätsanalyse- Bildkompositions- und Bildnavigationsprinzip prototypisch entwickelt, welches die dramaturgische Struktur der Animation grundsätzlich bedingt. Zum anderen Teil ist die Dramaturgie der Bilder und des gesamten Werkes unmittelbar bestimmt von der Interaktion einer improvisierenden Tanzperformerin.
Visuelle Variante B: interaktives Video und Videoeffekte in Max/Jitter, gesteuert wie Variante A.
Hardware / Software
Verwendete Hardware
2 PCs (Active Oberon System)
2 Mac Laptops (Max/Jitter)
8 Beschleunigungssensoren
2 Sensorcontroller
2 Prototyp-Wearables
(mit Strongarm Prozessor
und Bluetooth Chip)
2 Beamer
1 Videocamera
2 Projektionswände ca. 3x5m2
ETH-eigene Software Aos und Bluebottle
wireless Kommunikationsmodul Sensor-PC
Kompositionssystem und Grafik
Bewegungsanalysemodul