BLiNK _ DAS VERPASSTE BILD

• › BLiNK_Bsp.Videoströme(A) [18 MB ] [link 02]
• › BLiNK_Bsp.Videoströme(B) [6 MB ] [link 03]
• › Auge_Stills [JPEG | 171 KB ] [link 04]

Inhaltliche Beschreibung

Täglich betrachtet der Mensch unterschiedlichste Formen audiovisueller Medien. Auch dabei muss die Netzhaut befeuchtet werden; wir blinzeln – selbstständig und größtenteils unbewusst. Wie oft und wann – in welchen Momenten blinzeln wir beispielsweise bei der Sichtung eines Kinofilms? Reagiert unser Blinzelverhalten auf das Wahrgenommene? Haben Spannung, Anspannung, Entspannung in vorgegebenen filmischen Rhythmen (jeder erdenklichen Art) Einfluss auf unser Blinzelverhalten? Entsteht parallel zum audiovisuellen Rhythmus des Gezeigten ein erkennbarer Blinzel-Rhythmus beim Betrachter – und wenn, wie sieht dieser aus - ist er nur ähnlich, synchron oder total gegenläufig? Gibt es Synchronismen in der Wahrnehmung unterschiedlicher Menschen – gibt es Ähnlichkeiten unter verschiedenen Probanden in den verpassten Bildern? Und ist es möglich, am Blinzel-Rhythmus (der Anzahl der verpassten Bilder) die Aufmerksamkeit eines Menschen abzulesen? Kann der Blinzel-Rhythmus durch die Auswahl und Kombination audiovisueller Materialen beeinflusst oder sogar gesteuert werden?

"BLiNK" ist eine multidimensionale Videoinstallation, die wissenschaftliche Analysemethoden in Echtzeit nutzt, um diesen Fragenstellungen und Gedanken der Montage- und vor allem Wahrnehmungs- und Kognitionstheorie in Bezug auf audiovisuelle Medien näher zu kommen. Die Installation macht dabei Lösungsansätze zu diesen Fragen im Raum künstlerisch erfahrbar – lässt den Rezipienten an der ganz persönlichen Wahrnehmung einer fremden Person teilhaben und gibt ihm dabei die Möglichkeit, diese mit der eigenen abzugleichen und zu hinterfragen. Möglich ist dies durch verschiedene, vom Probanden ausgehende Videoströme – er ist demnach die "menschliche Datenquelle" und liefert seine Augenbewegungen (Saccaden), den Blinzelrhythmus, sein Augenbild und u.a. eine Subjektive seines Blickfeldes mit einem live erzeugten Blickpunkt; hier ergibt sich für den Rezipienten der Installation die Möglichkeit, direkt in die visuelle Wahrnehmung einer fremden Person zu schlüpfen und dabei zu erleben, welche Bildinhalte mit welcher Intensität vom Probanden (der sowohl als Mensch und als auch als Videostrom in der Installation sichtbar ist) betrachtet werden.

Die Basis der Installation ist ein mobiles (head-mounted) Eyetracking-System, das dem Probanden in diesem Fall ermöglicht, in entspannter Haltung und Position audiovisuelles Material zu erleben, gleichzeitig aber als entscheidender Lieferant "menschlicher Daten" Teil der Videoinstallation zu sein. Durch die Analyse und die Verarbeitung aller gewonnenen Daten und Videoströme in Echtzeit, können Bilder und die Ergebnisse aus der Kombination der Daten und Bilder des Probanden in der Installation wiederum direkt in Bezug zueinander gesetzt, vom Rezipienten betrachtet und mit der eigenen Wahrnehmung abgeglichen werden. Die Einzigartigkeit dieser zum einen visuell reizvollen und zum anderen analytisch überaus interessanten Bilder in ihrer direkten Gegenüberstellung und Vereinigung im Raum machen die Wahrnehmung des Probanden in der Installation nachvollziehbar – lassen dessen eigenen Rhythmus des Blinzelns spürbar und sichtbar werden.

Komponenten zu diesem Erlebnis sind ein bildfüllendes Augenvideo des Probanden, das jede Augen- und Pupillenbewegung/ -veränderung sichtbar macht; dabei dienen die aus dem Augenvideo ermittelten Eyetracking-Daten gleichzeitig dazu, über eine weitere Software das vorgeführte Testvideo (z.B. einen Filmauschnitt) in den Blinzel-Momenten mit Auslöschungen zu versehen – diese Bilder (Frames) hat der Proband verpasst bzw. nicht gesehen; dabei wäre auch denkbar die Echtzeit-Auswertung an dieser Stelle umzukehren und alle verpassten Bilder während der Sichtung zu sammeln, um sie dem Probanden dann z. B. als Collage aus Film-Stills ausdrucken und somit die verpassten Bilder nachreichen zu können. Es besteht außerdem die Möglichkeit "BLiNK" als Experiment bzw. Studie über einen bestimmten Zeitraum mit einer Vielzahl von Probanden zu betreiben und die oben beschriebenen Ergebnisse nachträglich (postproduziert) als Installation erlebbar in den Raum zu bringen; hier ergäbe sich eine weitere Option des Projekts, denn die Probandenergebnisse an sich mit ihrer von Mensch zu Mensch variierenden Wahrnehmung könnten sich nun in der Installation direkt gegenüberstehend als weiterer, künstlerisch erlebbarer Forschungsansatz präsentiert werden.

• › iViewHED [JPEG | 58 KB ] [link 05]
• › iTrackingPC_videos [4 MB ] [link 06]
• › Videoströme_Bsp [857 KB ] [link 07]

Technische Beschreibung

Das mobile head-mounted Eyetracking-System iViewHED (vgl. Abb.) in Verbindung mit einem PC-System und der Software iViewX erzeugen den Hauptteil der benötigten Video und Datenströme für "BLiNK":
- ein dokumentierendes Video (statisch, nicht rechnergestütz), das den Probanden bei der audivisuellen Bespielung/ Beeinflussung/ Sichtung beobachtet und zusätzlich zu den folgenden Komponenten körperliche Reaktion aufzeigt, aber auch als Orientierungshilfe für die Nachvollziehbarkeit der Installation dient (Setup je nach Installationsraum erweiterbar).
- ein Szenenvideo (MPEG 2, PAL Video) mit dem subjektiven Blick des Probanden auf eine Leinwand oder einen Bildschirm kombiniert mit einem eingeblendeten Kreis, der den aktuellen Blickpunkt des Probandenauges in Echtzeit mit Hilfe des Pupillen-Trackings anzeigt und die ständige Augenbewegung neu berechnet; dieses Video kann separat vom PC abgegriffen d.h. auch als Videosignal an ein anderes System weitergegeben werden – z.B. zur direkten Projektion über einen Beamer/ Monitor etc.
- ein Augenvideo (MPEG 2, PAL Video) generiert von einer weiteren kleinen Kamera montiert am iViewHED zeigt bildfüllend das Auge des Probanden; es dient iViewX für das Pupillen-Tracking, ermittelt über das Tracking der Pupille somit Daten zur Pupillenbewegungen und ermöglicht dann die Visualisierung des Probandenblickes bzw. seines Blickpunktes in dessen eigenem subjektivem Blick (dem Szenenvideo, s.o.).

Die durch das Eyetracking generierten Daten (z.B. x u. y Koordinaten der Pupillenposition) nutzt "BLiNK" auf unübliche Weise, um in Echtzeit die Momente des geschlossenen Auges (Blinzler: Werte gehen für Sekundenbruchteile auf Null) zu erfassen und zusammen mit dem vorgeführten Testvideo direkt in einem leistungsstarken Rechner (z.B. Power-Mac G5) in Verbindung mit einer speziellen Echtzeitprogrammierung aus dem MaxMSPs/JITTER–Programm zu verarbeiten. MaxMSP bzw. JITTER kombiniert dabei während der Sichtung durch den Probanden das Testvideo mit dessen "Blinzel-Events“. JITTER löscht die Frames des Testvideos, die der Proband durch seinen Blinzler verpasst hat und gibt die bearbeiteten, veränderten Bildinformationen als weiteren Videostrom mit schwarzen Auslöschungen in den Blinzel-Momenten live wieder aus. So sind während der Sichtung von audiovisuellen Materialien durch einen Probanden in der Installation immer gleichzeitig auch eigene Betrachtungen, Interpretationen und Eindrücke möglich.

Das Aufzeigen von Wechselwirkungen der Videoergebnisse zueinander und ihrer visuell an sich schon reizvollen Bilder bedingt dabei eine Installation im Raum. Hier lassen sich die Ergebnisse eindrucksvoll kombinieren, gleichzeitig zueinander in Beziehung oder Kontrast setzen und stellen dabei visuelle Anziehungspunkte dar.

Hardware / Software

iViewHED (head-mounted eyetracking-system; beispielweise dieses System von SMI_Berlin)
iViewX (zugehörige Software + koplettes, abgestimmtes PC-System)
PowerMAC G5 (dual)
DV-Kamera(s)
Monitore und/oder Leinwände + Beamer
Sound-System (Lautspreche, Verstärker)
Testvideo (zur Sichtung durch Probanden, vorproduziert)
RAUM