Technische Beschreibung
Leistungsstarkes, interaktives Echtzeit-System
Die technische Realisierung erfolgt über die modulare Kombination von Soft- und Hardwarekomponenten. Ein Bildverarbeitungssystem gewinnt aus dem Videobild einer Kamera Sensordaten über den Zustand der physikalischen Objekte Würfel und Kugel. Die Informationen der Video-Bild-Analyse werden an eine Processing-/ Javaapplikation gesendet. Diese vollzieht die Analyse der Daten und das so genannte Mapping. Zusammen bilden beide Softwareapplikationen ein Echtzeitsystem zur Segmentierung, Mustererkennung und Motion Tracking der realen Objekte. Die Javaapplikation beinhaltet darüberhinaus die Logik zur Steuerung und Synchronisation der audiovisuellen Inhalte, die in diesem System von zwei unterschiedlichen Programmen bereitgestellt sind. Die Audioausgabe basiert auf dem Programm »Live« der Firma Ableton. Die Fähigkeit des Programms Musik intuitiv, takttreu arrangieren zu können ist in dieser Arbeit von besonderer Bedeutung. Die Visualisierung erfolgt über die grafische Programmschnittstelle »Quartz Composer« des Apple Betriebssystems. Unter Verwendung aller Komponenten und Teilsysteme ist ein interaktives non-lineares Schnittsystem zur Komposition audiovisueller Medien realisiert worden.
Hardware / Software
Hardware: Webcam, 2xPC, WLAN DSL Netzwerk Router, LED-Tangibles, visuelle Ausgabegeräte, High Fidelity Audiosusagbegeräte
Software: EyesWeb, Java/ Processing Applikation, Apple Quartz Composer, Ableton Live, Midi-/ OSC-Protokoll