Technical Description
Das ARToolkit (Augmented Reality Toolkit) ist eine Software-Bibliothek, die es in Echtzeit ermöglicht, vordefinierte Muster (patterns) zu erkennen und an deren Stelle dreidimensionale Objekte zu setzen.
Mit Hilfe von Kai Schmundlach und besonders Martin Faust entstand eine abgewandelte Version des ARToolKit, die keine Muster mehr benötigt und stattdessen Veränderungen zu einem Referenzbild wahrnimmt. Vordefinierte Posen und Gesten, wie z.B. eine ausgestreckte Hand, werden erkannt und 3D-Objekte an eine vorbestimmte Stelle des Bildes eingeblendet.
Bei der Bewegungserkennung wurde zuerst ein Referenzbild aufgenommen. Das Bild musste dafür möglichst stabil sein. Störende Dinge, wie bewegte Blätter von Bäumen, mussten vermieden werden. Aufgrund dessen hatten wir eine Rückstellwand hinter die Bank gestellt. In der oberen Ecke des ARToolkit-Fensters war ein schwarzes Rechteck zu sehen (nimmt ca. 1/6 des Fensters ein). Sobald z.B. eine Person in das Bild tritt, wird sie in diesem Rechteck durch weiße Umrandungen und einem umschließenden magenta-farbigen Polygon dargestellt. Entspricht das Polygon einer vordefinierten Pose, so taucht ein 3D-Objekt auf. Dabei kann die Empfindlichkeit der Erkennung (Treshold) erhöht und erniedrigt werden. Bei unserer Vorführung zeigte sich, dass die Empfindlich zu sensibel war, was u.a. zur Folge hatte, dass permanent das gleiche 3D-Objekt zu sehen war und die Gesten der Personen keine Auswirkungen hatte.
Mustererkennung
Mit Hilfe des HIRO-Patterns werden die 3D-Objekte platziert. In diesem Modus besitzt das ARToolkit-Fenster kein schwarzes Rechteck mehr und kann keine Person (vor allem wenn mehrere Personen gleichzeitig Platznehmen) mehr verdecken. Mit der Tastenkombination SHIFT-1, -2,..., -9 kann zwischen den verschieden 3D-Objekten gewechselt werden.
Damit das HIRO-Pattern gut erkannt wird, ist es wichtig, dass das Bild gut ausgeleuchtet ist (siehe 3. Abend). Die Mustererkennung hatte bei unseren Vorführungen den meisten Erfolg. Die Erkennung läuft mit 10 - 15Hz, wobei das Capturing der Bilder ~60ms und die Erkennung ~35ms einnimmt.
Verbindungen und Einstellungen
Wir hatten bei der Vorführung 2 PCs, einen Desktop mit Monitor, Frame-Grabber-Karte und TV-OUT, der für die Bilderkennung zuständig war, und einen Laptop, der mit dem Verstärker verbunden war und die Trailer bzw. die Hintergrundmusik abspielte.
Zudem hatten wir einen 3-Kanal-AV-Controler, der uns ermöglichte, zwischen den Trailern und der Bilderkennung hin und her zu schalten. Dabei gab es folgenden Aufbau:
Das Videosignal vom Camcorder war mit der Frame-Grabber-Karte verbunden und der TV-OUT ging zu einem Eingang vom 3-Kanal-AV-Controler. Ein weiterer Eingang war mit dem TV-OUT(S-Video) des Laptops verbunden und der Ausgang vom 3-Kanal-AV-Controler ging zum Eingang (S-Video) des Beamers.
Wir benutzten eine Auflösung von 800 x 600 und konnten auf diese Weise die Bilderkennung im Vollbildmodus laufen lassen und außerdem einen Monitor gleichzeitig zum Beamerbild betreiben.
Hardware / Software
Software:
Adobe Premiere 6.0
Media Player 7
3D Studio max
Poser 4
ARToolKit 2.43vrml
Visual Basic 6.0
Photoshop 6.0
Edit Plus
Hardware und sonstige Elemente der Installation:
2 PCs mit Monitoren (2000 und XP mit guter Grafik- und Soundkarte)
1 Beamer (mit Spiegelfunktion)
1 Leinwand (2m x 1,80m), AV- & Audio-Kabel
1 Camcorder
3-Kanal-AV-Controler
2 Par 64 Scheinwerfer
2 Par 16 Scheinwerfer
2 Filter Rosko 317
2 3-Wege-Boxen mit Ständer
1 Verstärker
Bank
Rückstellwände
Tische und Stühle
2 Pavillons
roter Stoff, Deko und Planen