Dateien
Technische Beschreibung
Die Bildersuche des EyeVisionBot beruht auf einfachen Prinzipien: Eine Menge von Bildern wird, angeordnet in einer Matrix, gezeigt, das gerade vom Betrachter fokussierte Bild wird durch Zoomen gegenüber dem Rest vergrößert dargestellt. Da immer nur ein Bild fokussiert werden kann, konkurrieren die Bilder somit um den Blick und die Aufmerksamkeit des Betrachters. Die Daten, welche Bilder wie lange betrachtet wurden, können nun genutzt werden, um Bilder, die den am meisten betrachteten ähnlich sind, zu suchen. Die Ähnlichkeit von Bildern wird dabei auf zwei Arten bestimmt: Zum einen wird inhaltsbasierte Bildersuche (Content Based Image Retrieval) verwendet, also die algorithmisch bestimmte Ähnlichkeit von Textur- und Farbeigenschaften, zum anderen kommen den Bildern zugeordnete Metadaten zum Einsatz. EyeVisionBot vereinigt damit die beiden wohl wichtigsten Antworten der Informatik, auf die Frage wie Bilder verwaltet und verglichen werden können.
EyeVisionBot wurde als hybrides System entwickelt, das zahlreiche Technologien vereinigt. Im Zentrum des Systems steht eine Software, die einerseits die Bilder darstellt und andererseits das Zusammenspiel aller beteiligten Komponenten koordiniert. Die beteiligten Komponenten sind die Bilddatenbank und die Metadaten des Medien Kunst Netzes, eine Software für inhaltsbasierte Bildersuche, ein Eye-Tracking-System und eine Datenbank zur Protokollierung aller Aktionen des EyeVisionBot. Multithreading stellt sicher, dass Bilder gleichzeitig dargestellt, gesucht und heruntergeladen werden können.
Hardware / Software
Zur Hardware des EyeVisionBot gehören drei handelsübliche PCs, von denen einer zu einem Eye-Tracking-System der Firma SMI gehört. Um als Installation im Museum eingesetzt werden zu können wurde ein Tisch gebaut, auf dem ein höhenverstellbarer Einblickschirm und die Kamera des Eye-Tracking-Systems angebracht wurden. Die Bilder werden auf einer Videoprojektion oder einem Plasmabildschirm dargestellt.
Die Software des EyeVisionBot wurde als plattformunabhängige Applikation in C++ unter Verwendung der Open-Source-Bibliothek wxWidgets entwickelt. Die Darstellung der Bilder erfolgt mit Hilfe von OpenGL. Die verwendete Datenbank-Software ist MySQL, für inhaltsbasierte Bildersuche wird das Gnu Image Finding Tool (GIFT) verwendet. Die Bilder werden von einem Apache-Webserver bereitgestellt. Die Kommunikation aller Komponenten erfolgt über verschiedene Netzwerkprotokolle. Der Eye-Tracker wird über UDP angesprochen, das GIFT über HTTP und die Multimedia Retrieval Markup Language (MRML). Kleinere Skripte sorgen dafür, dass beim Einsatz der Installation im Museum alle Softwarekomponenten im Falle eines Ausfalls neu gestartet werden.