Technical Description
Das mobile head-mounted Eyetracking-System iViewHED (vgl. Abb.) in Verbindung mit einem PC-System und der Software iViewX erzeugen den Hauptteil der benötigten Video und Datenströme für "BLiNK":
- ein dokumentierendes Video (statisch, nicht rechnergestütz), das den Probanden bei der audivisuellen Bespielung/ Beeinflussung/ Sichtung beobachtet und zusätzlich zu den folgenden Komponenten körperliche Reaktion aufzeigt, aber auch als Orientierungshilfe für die Nachvollziehbarkeit der Installation dient (Setup je nach Installationsraum erweiterbar).
- ein Szenenvideo (MPEG 2, PAL Video) mit dem subjektiven Blick des Probanden auf eine Leinwand oder einen Bildschirm kombiniert mit einem eingeblendeten Kreis, der den aktuellen Blickpunkt des Probandenauges in Echtzeit mit Hilfe des Pupillen-Trackings anzeigt und die ständige Augenbewegung neu berechnet; dieses Video kann separat vom PC abgegriffen d.h. auch als Videosignal an ein anderes System weitergegeben werden – z.B. zur direkten Projektion über einen Beamer/ Monitor etc.
- ein Augenvideo (MPEG 2, PAL Video) generiert von einer weiteren kleinen Kamera montiert am iViewHED zeigt bildfüllend das Auge des Probanden; es dient iViewX für das Pupillen-Tracking, ermittelt über das Tracking der Pupille somit Daten zur Pupillenbewegungen und ermöglicht dann die Visualisierung des Probandenblickes bzw. seines Blickpunktes in dessen eigenem subjektivem Blick (dem Szenenvideo, s.o.).
Die durch das Eyetracking generierten Daten (z.B. x u. y Koordinaten der Pupillenposition) nutzt "BLiNK" auf unübliche Weise, um in Echtzeit die Momente des geschlossenen Auges (Blinzler: Werte gehen für Sekundenbruchteile auf Null) zu erfassen und zusammen mit dem vorgeführten Testvideo direkt in einem leistungsstarken Rechner (z.B. Power-Mac G5) in Verbindung mit einer speziellen Echtzeitprogrammierung aus dem MaxMSPs/JITTER–Programm zu verarbeiten. MaxMSP bzw. JITTER kombiniert dabei während der Sichtung durch den Probanden das Testvideo mit dessen "Blinzel-Events“. JITTER löscht die Frames des Testvideos, die der Proband durch seinen Blinzler verpasst hat und gibt die bearbeiteten, veränderten Bildinformationen als weiteren Videostrom mit schwarzen Auslöschungen in den Blinzel-Momenten live wieder aus. So sind während der Sichtung von audiovisuellen Materialien durch einen Probanden in der Installation immer gleichzeitig auch eigene Betrachtungen, Interpretationen und Eindrücke möglich.
Das Aufzeigen von Wechselwirkungen der Videoergebnisse zueinander und ihrer visuell an sich schon reizvollen Bilder bedingt dabei eine Installation im Raum. Hier lassen sich die Ergebnisse eindrucksvoll kombinieren, gleichzeitig zueinander in Beziehung oder Kontrast setzen und stellen dabei visuelle Anziehungspunkte dar.
Hardware / Software
iViewHED (head-mounted eyetracking-system; beispielweise dieses System von SMI_Berlin)
iViewX (zugehörige Software + koplettes, abgestimmtes PC-System)
PowerMAC G5 (dual)
DV-Kamera(s)
Monitore und/oder Leinwände + Beamer
Sound-System (Lautspreche, Verstärker)
Testvideo (zur Sichtung durch Probanden, vorproduziert)
RAUM