Inhaltliche Beschreibung
"Digitale Akustische Kartographie" ist eine interaktive Informationsgrafik, die akustische Daten in eine konkrete visuelle Sprache übersetzt. Ausgangsmaterial für die Visualisierungen sind Bildsequenzen der "Akustischen Kamera" (Mikrofon-Array mit Kamera). Die akustischen und fotografischen Bilder werden durch eine speziell dafür entwickelte Software analysiert. Das Farbspektrum dient als Verzerrungsmatrix, die das Originalbild in ein dreidimensionales Höhenrelief übersetzt. Diese Methode ermöglicht es, bisher nur schwer abbildbare, akustische Facetten zu visualisieren. Sie erlaubt neue Interaktionsmodelle in der Analyse akustischer Messungen.
Einleitung
Das Ohr ist neben dem Auge unser wichtigstes Sinnesorgan. Mindestens die Hälfte unserer Wahrnehmung und Informationsgewinnung läuft über akustische Impulse. "Weghören" ist nur im inhaltlichen oder sprichwörtlichen Sinn möglich. Auch ungewünschte akustische Einflüsse, z.B. Verkehrs-, Flug- oder Arbeitslärm, müssen gehört werden. Gesundheitliche Auswirkungen bei Dauerbelastung durch Lärm sind nur bedingt nachweisbar, werden aber inzwischen stark vermutet.
Vor allem in Forschung und Technik haben sich zahlreiche Abbildungsmodelle aus der Mathematik und Physik etabliert. Diese Visualisierungen dienen vorwiegend der wissenschaftlichen Auswertung von Zahlen und können nur mit entsprechendem Fach- und Hintergrundwissen interpretiert werden.
Digitale Systeme bieten sich heute mehr denn je als Sensoren zur Erweiterung unserer eigenen Wahrnehmungsfähigkeit (z.B. in der Akustik) an. Sie erlauben uns, (fast) unbegrenzt, komplexe Daten zu erfassen, zu verarbeiten, zu archivieren und diese miteinander zu vernetzen. Vor allem fehlt es uns heute an Abbildungsmodellen und Visualisierungen, die es ermöglichen, diese komplexen Zusammenhänge zu verstehen und zu interpretieren.
Technik
Ausgangspunkt für die Visualisierungen sind bereits vorhandene Aufzeichnungen der "Akustischen Kamera" (entwickelt von der GfaI, www.acoustic-camera.com). Die aufgezeichneten akustischen Einzelbilder und Bildsequenzen werden mit einer für dieses Projekt entwickelten Software in Echtzeit analysiert und abgebildet.
Akustische Messsysteme
Die "Akustische Kamera" und verschiedene Systeme der akustischen Holographie sind in der Industrie zur Fehleranalyse und Prototypen-Entwicklung bereits im Einsatz. Technische Grundlage dieser Methoden ist ein Matrix-Aufbau mit mehreren Mikrofonen (Array), in Kombination mit einer optischen Kamera. Durch die Berechnung des Laufzeitunterschiedes kann der Schall mit dem Mikrofon-Array lokalisiert und dem optischen Referenzbild zugeordnet werden.
Allen Messverfahren ist die Abbildung der Daten durch Spektralbilder gemeinsam. Im Gegensatz zu Thermobildern, besteht zwischen akustischem Bild (Daten) und Original (Foto) aber meist nur sehr wenig optischer Zusammenhang.
Häufig wird deshalb auf Überlagerungsdarstellungen zurückgegriffen, in denen allerdings nur ein Bruchteil der ursprünglichen optischen Information sichtbar bleibt. Da das Farbspektrum in der Regel für jede Messung neu definiert wird, sind akustische Bilder nur schwer miteinander vergleichbar.
Software
Technische Vorraussetzung für die Visualisierungen ist ein in JAVA/Processing entwickelter Software-Prototyp. Er ermöglicht es, die Spektralbilder der "Akustischen Kamera" in Echtzeit zu analysieren und nach neuen, frei definierten Kriterien wieder zusammenzusetzen. Dadurch konnte eine einheitliche Datengrundlage geschaffen werden, die es erlaubt, unterschiedliche akustische Szenarien abzubilden und miteinander zu vergleichen.
Im ersten Schritt wird das Bildmaterial durch die Software zweidimensional analysiert. Aus jedem einzelnen Pixel wird der abgebildete Farbwert (HSB) extrahiert. Dadurch kann der ursprüngliche Messwert (mit gewissen Unschärfen) an diesem Bildpunkt rekonstruiert werden. Die ausgelesenen Werte dienen als Verzerrungsmatrix, die das akustische Spektralbild in ein dreidimensionales Höhenrelief übersetzt. Anstelle des akustischen Bildes kann nun eine Textur des Originalbildes über das Relief gelegt werden. Beide Bilder können gleichzeitig sichtbar gemacht werden, ohne dass es zu Überlagerungen kommt.
Zur besseren räumlichen Orientierung ist das Relief in eine dreidimensionale Bühnenfläche mit Skala eingeschlossen. Die Bühne kann frei rotiert, verschoben und vergrößert werden. Weitere Filterebenen zur Kennzeichnung von Minimal- oder Maximalwerten können eingeblendet werden und erleichtern die Betrachtung im dreidimensionalen Raum. Nach diesem System wurden mit der Software verschiedene, experimentelle Visualisierungsmodelle entwickelt, die es ermöglichen, akustische und optische Informationen gleichzeitig in einer Abbildung sichtbar zu machen.
Visualisierung: Akustische Kinetik
Die Visualisierungen zeigen die zeitliche (kinetische) Veränderung des Schalls beim Türschlag eines Automobils. Die Einblendung unterschiedlicher akustischer "Bewegungszustände" durch feine, transparente Liniengitter in regelmäßigen, zeitlichen Abständen erlaubt es, den kompletten Zeitraum von 62ms (entspricht 124 Einzelbilder) auf einen Blick zu erfassen. Durch Überlagerungen und Verdichtungen werden schnelle und langsame Veränderungen der Lautstärke sichtbar.
Visualisierung: Akustische Anatomie
Eine entscheidende Rolle in der Bewertung akustischer Szenarien spielt das Lautstärkevorkommen innerhalb eines Frequenzspektrums. Durch das typische Schwingverhalten bestimmter Materialien, können Frequenzen (z.B. in der Fehleranalyse) Hinweis auf mögliche Ursachen geben.
Ausgangsmaterial für die Visualisierung "Akustische Anatomie" ist eine Bildsequenz, bei der für jedes Frequenzband ein Spektralbild verwendet wird. Jeder Frequenzbereich wird durch eine eigene Farbkodierung gekennzeichnet. Bisher werden diese Aufzeichnungen als Film interpretiert, d.h. die "Gleichzeitigkeit" der Frequenzen wird dabei übergangen. Durch die mehrdimensionale Darstellung ist nun eine synchrone Abbildung möglich, die es erlaubt, Gemeinsamkeiten und Tendenzen aller Frequenzbereiche auf einen Blick zu erkennen.
Zusammenfassung
Die entstandenen Visualisierungen bieten zahlreiche Ansätze, wie grafische Auswertungen von Daten intuitiver funktionieren können (nicht nur in der Akustik). Sie ermöglichen es, mehr Informationen gleichzeitig zu visualisieren, ohne dabei unübersichtlich zu werden und liefern neue Interpretationsmöglichkeiten. Szenarien für Informationsgrafiken dieser Art sind z.B. der Einsatz als Echtzeit-Abbildung in der "Erweiterten Realität" (AR) oder als Simulation im Virtual Prototyping, wobei vor allem völlig neue Interaktionsmodelle (z.B. "Datenmodellierung") denkbar wären.