Martin Mack, Guido Stegmann, Dominik Rau, …


Virtuelle 3D-Unterwasserwelt

Eine interaktive echtzeit 3D-Simulation über zehn Anzeigegeräte mit Kamerainteraktion


Gesamtansicht der Installation [link 01]

Gesamtansicht der Installation

Kurzdarstellung

Kurzbeschreibung

Auf zehn NEC TFT Monitoren wird die zusammenhängende Simulation eines Korallenriffs im Indopazifik dargestellt. Das Korallenriff wird von ca. 100 Fischen belebt, deren Verhalten von einem künstlichen Intelligenzsystem gesteuert wird. Die Fische reagieren unmittelbar auf die Betrachter, sie schwimmen zu diesen hin und folgen ihnen über die Monitore hinweg.

KünstlerInnen / AutorInnen

  • Martin Mack, Projektleitung, realtime visions gbr
  • Guido Stegmann, Gestaltung, realtime visions gbr
  • Dominik Rau, Computergrafik, realtime visions gbr
  • Johannes Erb, Bildverarbeitung, realtime visions gbr
  • Peter Schütz, Konzept, Zwischen<>raum

Entstehung

Deutschland, 2004-2005

Partner / Sponsoren

Landesbank Saar

Eingabe des Beitrags

Martin Mack, 13.02.2006
mack@realtimevisions.de [link 02]

Kategorie

  • Bildung und Lernen

Schlagworte

  • Themen:
    • Künstliche Intelligenz |
    • Interaktivität |
    • Echtzeit-Rendering
  • Formate:
    • 3D
  • Technik:
    • Motion Tracking

Inhalt

  • › Totale aus Sicht eines Betrachters [JPEG | 541 KB ] [link 03]
  • › Screenshot der Monitore im ersten Schaufenster [JPEG | 503 KB ] [link 04]
  • › Screenshot der Monitore im zweiten Schaufenster [JPEG | 446 KB ] [link 05]
  • › Screenshot der Monitore im dritten Schaufenster [JPEG | 394 KB ] [link 06]
  • › Screenshot der Monitore im vierten Schaufenster [JPEG | 340 KB ] [link 07]
  • › Screenshot der Monitore im fünften Schaufenster [JPEG | 459 KB ] [link 08]
  • › Dokumentation der Betrachterinteraktion [4 MB ] [link 09]

Inhaltliche Beschreibung

In fünf Schaufenstern befinden sich zwei je ein Meter breite Flachbildschirme. In den Monitoren wird eine zusammenhängende Unterwasserlandschaft mit Fischen realitätsnah dargestellt. Die Fische sind wie die gesamte Unterwasserwelt als dreidimensionale Modelle realisiert. Sie werden ähnlich einem modernen 3D-Computerspiel in Echtzeit berechnet.

Die Fische der Unterwasserwelt werden so gesteuert, dass sie sich einem Passanten nähern, wenn dieser vor einen Monitor tritt und ihm folgen, wenn er an den Monitoren vorüber geht. Neben der Fähigkeit mit den Passanten zu interagieren verfügen die Fische über ein natürliches Verhalten, das auf einem künstlichen Intelligenzsystem beruht. Sie jagen einander, bilden Schwärme und schwimmen umher. Das System wurde im Januar 2005 in Betrieb genommen und funktioniert seit dem stabil und vollautomatisch.

Technik

Technische Beschreibung

3D-Gestaltung:
Alle sichtbaren Fische und Korallen wurden als 3D-Modelle in 3D-Studio erstellt. Die Texturen wurden aus Büchern, Internetseiten und Filmen extrahiert, angepasst und auf die manuell modellierten Geometrieobjekte projiziert.

Darstellung:
Die Darstellung erfolgt auf einem in C++ selbstprogrammierten Echtzeit-Rendering-System. Das System stellt animerte und texturierte 3D-Modelle in Echtzeit dar. Mittels verschiedener Textureffekte wird der Anscein einer Unterwasseroptik erzeugt. Ein Darstellungscomputer berechnet jeweils das Bild eines Monitors. Zusätzlich wird auf einem der zehn Darstellungscomputer die gesamte Szene verwaltet und über Netzwerk verteilt. Innerhalb der Szenenverwaltung wird sowohl das Eigenverhalten der Objekte wie auch die Reaktion auf Betrachter festgelegt. Auf allen zehn Darstellungscomputern läuft eine spezielle LINUX Debian Installation.

Interaktion:
Der Bereich vor dem Schaufenster wird von vier Kameras erfasst. Die Kameras sind in der Decke angebracht. Die Kameras wurden kalibriert. Das bedeutet ihre internen Abbildungseigenschaften und ihre Position und Ausrichtung im Raum sind bestimmt. Hierfür wurde ein eigenes Programm in C++ entwickelt. Betrachter können über die Kameras hinweg verfolgt und zugeordnet werden. Die Berechnung erfolgt auf einem Interaktionscomputer. Die Positionen und Zuordnung der Betrachter wird per Netzwerk an den Darstellungscomputer, welcher die gesamte Szene verwaltet übertragen. Insgesamt werden pro Sekunde acht Bilder ausgewertet. Die Kamerainteraktion wurde ebenfalls selbst in C++ entwickelt.

Kontrollfunktionen:
Das komplette System ist fernwartbar. Per gesicherter Verbindung kann auf die elf Computer zugegriffen werden. Das System startet morgens um fünf Uhr und endet um ein Uhr. Der Betrieb erfolgt vollautomatisch, eine Benutzereingabe ist nicht erfolrderlich.

Hardware / Software

Software:
Debian GNU/Linux
Windows XP
3D Studio 8
Visual C++
kdevelop

Hardware:
Das Gesamtsystem besteht aus zehn Darstellungscomputern, zehn 40-Zoll-NEC-TFTs, einem Interaktionscomputer, einem Gigabit-Switch, vier Kameras und einer Menge Kabel. Die Hardware ist so in die Räumlichkeiten der Saarländischen Landesbank integriert, dass keine Computer, Kameras oder Kabel im Normalbetrieb sichtbar sind.

Kontext

Hochschule / Fachbereich

Universität Koblenz-Landau
Informatik

URL der Hochschule

» http://www.uni-koble….de/index_extern.html [link 10]

Betreuer des Projekts

Professor Dr. Stefan  Müller

Kommentar des Betreuers

Das Projekt Unterwasserwelt der Studenten Martin Mack, Johannes Erb, Dominik Rau und Guido Stegmann wurde von den Arbeitsgruppen Computergrafik und Bildverarbeitung des Fachbereichs Informatik an der Universität Koblenz-Landau betreut. Alle vier Studenten haben im Rahmen ihrer Studienschwerpunkte und Diplomarbeiten an den Grundlagen für das Projekt geforscht. Martin Mack und Johannes Erb haben ihren Studienschwerpunkt in der Bildverarbeitung gewählt und in diesem Bereich ihre Diplomarbeiten geschrieben. Die Arbeitsgruppe Bildverarbeitung wird von Herrn Professor Dr. Dietrich Paulus geleitet. Ich selbst leite die Arbeitsgruppe Computergrafik
und habe die Diplomarbeiten von Guido Stegmann und Dominik Rau betreut. Für das Projekt wurde im Bereich der Computergrafik ein
Echtzeit-3D-Animationssystem auf Basis der OpenSG- und der OpenSteer-Bibliothek in C++ unter Linux umgesetzt. Die beiden Studenten Dominik Rau und Guido Stegmann haben dafür eine allgemein wieder verwendbare Softwarearchitektur auf Plugin-Basis entwickelt und implementiert. Die Software wird auf zehn über Netzwerk verbundene Computer verteilt berechnet.
Auf einem der Computer wird zusätzlich die gesamte sichtbare Szene
verwaltet. Im Bereich der Bildverarbeitung haben Martin Mack und Johannes Erb unter Verwendung der OpenCV-Bibliothek ein Echtzeit-Kameratrackingsystem für vier Kameras entwickelt. Das System enthält Methoden zur intrinsischen und extrinsischen Kalibrierung der Kameras. Es bestimmt Betrachtern zugeordnete Positionen mit jeweils acht Bildern pro Sekunde je Kamera. Die Kommunikation zwischen dem Echtzeit-3D-Animationssystem und dem Echtzeit-Kameratrackingsystem wurde von den vier Studenten über eine selbst entwickelte Netzwerkschnittstelle gelöst.

  • › digital sparks 2006 [link 11]

» http://www.realtimevisions.de [link 12]

  • › Totale aus Sicht eines Betrachters [JPEG | 541 KB ] [link 13]
  • › Screenshot der Monitore im ersten Schaufenster [JPEG | 503 KB ] [link 14]
  • › Screenshot der Monitore im zweiten Schaufenster [JPEG | 446 KB ] [link 15]
  • › Screenshot der Monitore im dritten Schaufenster [JPEG | 394 KB ] [link 16]
  • › Screenshot der Monitore im vierten Schaufenster [JPEG | 340 KB ] [link 17]
  • › Screenshot der Monitore im fünften Schaufenster [JPEG | 459 KB ] [link 18]
  • › Dokumentation der Betrachterinteraktion [4 MB ] [link 19]
  • › Interaktionsbereich [JPEG | 332 KB ] [link 20]
  • › Kalibrierung einer Kamera [312 KB ] [link 21]
  • › Hardwareintegration offen [JPEG | 251 KB ] [link 22]
  • › Hardwareintegration geschlossen [JPEG | 162 KB ] [link 23]