auditoryPong: Pong Meets Reality

• › auditoryPong: Pong Meets Reality [PDF | 382 KB ] [link 02]
• › Video zum "auditoryPong" [24 MB ] [link 03]

Inhaltliche Beschreibung

Das akustische Spielerlebnis mit "auditoryPong"

Das Interaktionsdesign von "auditoryPong" basiert auf einer akustischen dreidimensionalen Darstellung des Spielfeldes. Die akustische Ausgabe simuliert dabei die auditiven Eigenschaften eines physikalischen Raumes. Der Spieler erhält daher den Eindruck, als wenn das Spiel in seiner realen physischen Umgebung gespielt würde. Dieser Eindruck lässt sich entweder durch den Aufbau mehrerer Lautsprecher im Raum oder durch die Verwendung einer 3D-Soundkarte mit angeschlossenem Kopfhörer erzeugen. Die Soundkarte sorgt für die Simulation der 3D Akustik mittels der Head Related Transfer Function (HRTF). Bei "auditoryPong" werden Objekte wie der Ball, die Schläger und Wände in diesen akustischen Raum platziert und mit Soundquellen belegt, um dem Benutzer die Lokalisierung der Objekte im Spielfeld zu ermöglichen. Der Spieler hört also, wo sich gerade der Ball befindet oder z.B. eine Kollision stattfindet. Während der Ball kontinuierlich durch eine Melodie repräsentiert wird, damit der Spieler ihn zu jeder Zeit orten kann, erhalten Ereignisse wie Kollisionen zwischen Schläger und Wand oder Ball und Schläger kurze Soundeffekte.

Intuitive Eingaben für ein reales Spielgefühl

Neben der akustischen Ausgabe sorgen verschiedene Eingabetechniken für ein herausragendes und abwechslungsreiches Spielgefühl. In "auditoryPong" können physikalische Objekte und Körperbewegungen (Gestiken) verwendet werden, um zugleich den Schläger zu steuern, aber auch die akustische Ausgabe durch physikalische Interaktion zu unterstützen. Mit einem Grafiktablett beispielsweise kann nicht nur der Schläger absolut platziert werden, sondern auch die Spielfeldgröße und die Distanz des Schlägers zum linken oder rechten Rand erfühlt werden. Der Slider verwandelt den sonst virtuellen Schläger in ein physikalisches Objekt und macht ihn und das Spielfeld ertastbar. Auch der Kopf kann zur Steuerung des Spielbalkens mittels eines Headtrackers genutzt werden. Dabei wird die Ausrichtung des Kopfes an das Spiel geliefert und der Balken dadurch bewegt.

"auditoryPong" nicht nur für Blinde

Mittels der Eingabe durch haptische oder sensorische Interaktion wird ein digitales Spiel fühlbar und hörbar. Der digitale Spielraum wird dabei mit dem realen Raum verknüpft, der den Fähigkeiten der Spieler entspricht. Er kann damit auch zu einer barrierefreien Erfahrung für Menschen mit Einschränkungen und zu einer Integration mit Menschen ohne visuelle Einschränkung dienen. Das Spiel bietet damit nicht nur blinden Menschen eine aktive Teilnahme an einem bisher nur sehenden Menschen zugänglichem Spiel. Sehenden Menschen bietet es einen ganz neuen Erfahrungsraum, einen Ball einmal wirklich aus einer Ecke oben rechts heranfliegen zu hören und mit dem Körper den Spielbalken zu bewegen. Und schließlich schafft das Spiel in einer Verbindung einer Seite im akustisch-haptischen Raum und einer Seite im visuell haptischen Raum einen Spielraum zwischen Menschen mit und ohne Einschränkungen.

Technische Beschreibung

Auditive Ausgabe:

Das Interaktionsdesign von "auditoryPong" basiert auf einer akustischen dreidimensionalen Imitation des Spielfelds. Das Spiel wird also innerhalb eines virtuellen Raums gespielt. Objekte wie der Ball, die Schläger und die Wände befinden sich innerhalb dieses virtuellen Raums. Um dem Benutzer die Wahrnehmung der Objekte im Spielfeld zu ermöglichen wird ihr akustisches Verhalten simuliert. Dies erfolgt, indem jedem Objekt und jedem Ereignis (wie der Zusammenstoß von Ball und Wand) ein anderes Geräusch zugeordnet wird. Der Ball wird beispielsweise durch eine kontinuierliche Melodie dargestellt. Wenn sich der Ball bewegt, so bewegt sich auch die Melodie in die gleiche Richtung und mit der gleichen Geschwindigkeit. Kollisionen werden durch kurze Soundeffekte dargestellt, die ebenfalls an der Stelle platziert werden, an der sie auftreten. Damit der Benutzer verschiedene Kollisionen unterscheiden kann, werden unterschiedlichen Kollisionen unterschiedliche Geräusche zugeordnet. Mittels einer Head Related Transfer Function (HRTF) wird der räumliche Eindruck der akustischen Szene erzeugt.

Das visuelle "Pong" wird in der Regel in der Vogelperspektive dargestellt. Aufgrund der akustische Wahrnehmung von Menschen benötigt "auditoryPong" eine etwas andere Darstellung des Spielfeldes, weil die Auflösungsfähigkeit des Gehörs in der vertikalen Richtung relativ gering ist. Da sich in der Vogelperspektive der Ball und der Schläger in vertikaler Richtung bewegen würden, ist es deshalb nicht sinnvoll, diese Perspektive für die akustische Ausgabe zu benutzen. Aus diesem Grund nutzt "auditoryPong" eine perspektivische 3D-Ansicht. Der Benutzer befindet sich jeweils vor der eigenen Grundlinie. Von dort hört er den Ball und die Kollisionen. Wenn sich der Ball der Grundlinie nähert, wird das Geräusch des Balls lauter. Dadurch ist der Benutzer in der Lage, die Entfernung des Balls zu erkennen. Außerdem ist es ihm so möglich, die Richtung des Balls zu erfahren. Um die Wahrnehmung der Geschwindigkeit zu erleichtern, werden die Geräusche entsprechend dem so genannten Doppler Effekt gefiltert.

Eingabetechniken

Für unterschiedliche Situationen und Aufgaben sind verschiedenartige Eingabegeräte mehr oder weniger gut geeignet. Viele Eingabegeräte ermöglichen zudem nicht nur die Eingabe von Daten, sondern "erzeugen" gleichzeitig irgendeine Art von Feedback. Man stelle sich ein einfaches Beispiel vor: Der druckempfindliche Stift eines Grafiktabletts kann dem Benutzer die Information vermitteln, wie stark er den Stift auf das Tablett drückt, da der Widerstand des Stiftes je nach Druck stärker oder geringer ist. Andere Eingabegeräte, wie beispielsweise Force-Feedback Joysticks, können noch deutlich mehr Informationen bereitstellen. Im Folgenden werden die verschiedenen Eingabetechniken und Eingabegeräte, die für auditoryPong benutzt werden können, vorgestellt.

Grafiktablett

Das Grafiktablett wird mittels eines Stiftes bedient. Durch Positionierung des Stiftes auf dem Tablett kann eine zweidimensionale Koordinate ermittelt werden. Für "auditoryPong" wird allerdings nur die horizontale Position genutzt. Die Position des Schlägers entspricht dann der Position des Stiftes auf dem Tablett. Durch eine am Tablett angebrachte Begrenzung kann die Größe des Spielfeldes ertastet werden.

Head Tracking

Der genutzte Flock of Birds Headtracker der Firma Ascension Technlogoly Corporation ermöglicht die Bestimmung von Position und Ausrichtung eines Sensors mit insgesamt sechs Freiheitsgraden. Für das Spiel wird der Sensor auf dem Kopfhörer befestigt. Indem der Kopf nach links und rechts gedreht wird, lässt sich der Schläger steuern.

Zusätzlich zur Steuerung des Schlägers wird der Headtracker benutzt, um die virtuelle Ausrichtung des Spielers im akustischen Raum entsprechend anzupassen. Ein Geräusch, das sich vor dem Benutzer befindet, klingt auf beiden Ohren gleich laut. Wenn sich der Spieler nach rechts wendet, wandert der Schläger ebenfalls nach rechts. Das Geräusch erklingt nun auf dem rechten Ohr lauter und auf dem linken Ohr leiser. Hierdurch wird ein realistischeres Klangerlebnis erzeugt. Außerdem kann der Ball leichter getroffen werden, da sich der Schläger genau dann an der horizontalen Position des Balls befindet, wenn das Geräusch des Balls an beiden Ohren gleich laut erklingt.

Slider

Der Slider besteht aus einem Griff, der an einer Metallstange horizontal verschoben werden kann. Damit der Computer die Position des Sliders erkennen kann, ist am Griff, wie bei der Kopfrotation, ein Flock of Birds Sensor angebracht. Durch Verschieben des Griffes wird auch der Sensor bewegt, wodurch die Position durch den Computer ermittelt werden kann. Die Position des Schlägers entspricht somit der Position des Griffes.

Hardware / Software

Software:
Java, Java Native Interfaces

Hardware:
3D Soundkarte, Head Tracker, Grafiktablett, Slider, Kopfhörer

Hochschule / Fachbereich

Carl von Ossietzky Universität Oldenburg
Department für Informatik

URL der Hochschule

» http://www.uni-oldenburg.de [link 04]

Betreuer des Projekts

Jun.-Prof. Dr. Susanne Boll

Kommentar des Betreuers

In der studentischen Arbeit "auditoryPong" von Niels Henze verbindet sich ein innovatives Konzept mit einer gelungenen technischen Umsetzung. Ein Klassiker aus dem Gebiet visueller Computerspiele wurde einfallsreich in die natürliche, akustisch-haptische Erfahrungswelt des Menschen übersetzt. Herr Henze hat dabei nicht nur eine exzellente technische Umsetzung wie etwa des 3D-Hörraumes oder der verschiedenen haptischen Eingabemöglichkeiten aus Sicht der Informatik geschaffen, sondern auch ein einfallsreiches Konzept der multimodalen Gestaltung des Spiels und seiner akustisch-haptischen Ein- und Ausgaben entwickelt. Die Demonstration dieser kürzlich entstandenen Arbeit begeistert, überrascht und überzeugt unsere Gäste immer wieder.

Seminar / Kurzbeschreibung

Die Arbeit entstand in Kooperation der Arbeitsgruppe Multimedia und Internet-Technologien des Department für Informatik an der Universität Oldenburg und dem Oldenburger Forschungs- und Entwicklungsinstitut für Informatik-Werkzeuge und -Systeme (OFFIS). Eingebettet in die Forschungsfragestellungen des Projektes ENABLED - "Enhanced Network Accessibility for the Blind and Visually Impaired" hat Herr Henze in einem studentischen Projekt das Spiel "auditoryPong" von der Idee, über den Entwurf bis zur Realisierung eigenständig entwickelt und durchgeführt. Der Schwerpunkt der Arbeit liegt dabei auf der Entwicklung und Erprobung neuer Konzepte Gestaltung und Realisierung von Nutzungsschnittstellen der nächsten Generation.

Zuordnung Forschungsbereich

Das eingereichte Projekt "auditoryPong" bettet sich ein in die Arbeiten im Forschungsprojekt ENABLED - "Enhanced Network Accessibility for the Blind and Visually Impaired" am Oldenburger Forschungs- und Entwicklungsinstitut für Informatik-Werkzeuge und -Systeme (OFFIS). Ziel des Projekts ist die Überwindung von Barrieren bei der Informationssuche und -aufnahme über das Internet für blinde und sehbehinderte Menschen. Die Zugangsmöglichkeiten sollen verbessert werden, um so allen Benutzergruppen gleiche Chance zu ermöglichen. Menschen mit visuellen Einschränkungen bleiben von vielen Erfahrungen, die wir heute typischerweise oft visuell machen ausgeschlossen. Insbesondere auch die meist mit aufwendiger Grafik gestalteten Computerspiele sind für blinde Menschen nicht zugänglich. Durch die Umsetzung des visuellen in den akustischen Raum beispielsweise im Rahmen des eingereichten akustischen Spiels können Menschen mit visuellen Einschränkungen nun an einer bisher nur visuell erlebbaren Erfahrung interaktiv teilhaben.