| URL: | http://netzspannung.org/database/99026/de |
| Last update: | 01.07.2003 |
| Date of print: |
|
Visualisation of Sound |
Kurzdarstellung
Kurzbeschreibung
Die Arbeit beschreibt die Konzeption und Implementierung von abstrakten Musikvisualisierungen.
Die sich im Verlauf der Zeit ändernden Attribute eines Musikstücks werden in dieser Arbeit durch Animationen visualisiert. Unter Berücksichtigung von wahrnehmungstechnischen Kriterien wurden diese aus einfachen geometrischen Objekten konzipiert.
Die Animationen basieren entweder auf einer Abbildung der Lautstärke auf die Größe oder der Tonhöhe auf die Farbe von Objekten. Während der Schaffensphase entstand die Hypothese, dass eine Zuordnung von Lautstärke auf Objektgröße die für den Benutzer verständlichere Abbildungsvorschrift wäre. Zur Verifikation wurde ein Experiment durchgeführt. Dabei verfolgten potentielle Benutzer die Musikvisualisierungen und beantworteten Fragen über ihren persönlichen Eindruck, Verständnis und Wahrnehmung. Das Ergebnis des Experiments bestätigt die Hypothese, nämlich dass die befragten Benutzer eine Zuordnung zwischen Lautstärke und Objektgröße favorisieren.
KünstlerInnen / AutorInnen
- Elisabeth Weber
Entstehung
Vereinigtes Königreich, 2002
Eingabe des Beitrags
Elisabeth Weber, 01.07.2003
Kategorie
- künstlerische Arbeit
Schlagworte
- Themen:
- Mensch-Maschine-Interaktion HCI |
- Kommunikation |
- Wahrnehmung |
- Musik |
- Audio |
- Animation |
- Design
- Formate:
- Software
- Technik:
- Java
Ergänzungen zur Schlagwortliste
- Visualisierung
Inhalt
Inhaltliche Beschreibung
Durch die starke Entwicklung digitaler Technologien während der letzten Jahre öffneten sich dem Bereich der Musikvisualisierung neue Türen. Nun war es möglich, Musik und Bilder mit derselben Einheit, nämlich dem Bit, zu repräsentieren. Diese technische Entwicklung vereinfachte es, Beziehungen zwischen der musikalischen und visuellen Domäne herzustellen.
Das übergeordnete Ziel der Arbeit ist, Visualisierungsvorschriften so zu automatisieren, dass der musikalische Input durch visuelle Ereignisse sichtbar gemacht wird. Die Herausforderung bestand darin, Audiodateien unabhängig von deren Musikrichtung und Arrangement in einer klaren, bedeutungsvollen und für den Anwender einfach zu verstehenden Art und Weise zu kommunizieren. Das Ergebnis ist eine Software, die Audiodateien interpretiert und visuell umsetzt.
Um herauszufinden auf welche Art und Weise Musik am besten kommuniziert werden kann, wurden sechs systematische Animationen definiert, die auf einem der beiden Konzepte basieren: Das erste Konzept impliziert die Abbildung der Lautstärke auf die Größe geometrischer Objekte. Das zweite Konzept sieht eine Zuordnung zwischen Tonhöhe und Farbe vor.
Da es keine allgemein gültigen Regeln für die Zuordnung von auditiven und visuellen Attributen gibt und die Konzeption von Abbildungsvorschriften somit ein intuitiver Prozess ist, wurden die Animationen zukünftigen Benutzern präsentiert. Das Ergebnis dieses Benutzertests sind Aussagen, die als Richtlinien für das Design von komplexen audiovisuellen Stücken herangezogen werden können.
Wird eine Musikvisualisierungssoftware erstellt, so ist technisches und grafisches Know How gefragt: Zur Extraktion der Attribute eines Musikstücks werden Techniken der Signalverarbeitung angewendet; den Animationen liegen Prinzipien des Grafik Designs und der Wahrnehmungspsychologie zugrunde.
Technik
Technische Beschreibung
Die der Software zugrunde liegende Programmiersprache ist Java.
Zur Soundwiedergabe und -verarbeitung wurde das Java Sound API verwendet. Dies ist eine Softwareschicht, welche die Kommunikation zu einer Audio oder Midi Engine ermöglicht und folglich digitales Audio und Midi Daten unterstützt. Da in der "Visualisation of Sound"-Software ausschließlich digitale Audiodaten als Input dienen, wurde für die Programmierung insbesondere das "Digital Audio Package" verwendet. Dieses stellt Schnittstellen zum Aufnehmen, Mixen und zur Wiedergabe von digitalem Audio bereit.
Da die Basiskompomenten der Animationen einfache, geometrische Elemente sind, ist das java.awt.API zur Grafikdarstellung verwendet worden.
Eine wichtige Anforderung an das entstehende System war, die Zuweisungsalgorithmen zwischen auditiven und visuellen Ereignissen so zu gestalten, dass sowohl Musikstück als auch Animation reibungslos abgespielt werden. Die Lösung dieser Forderung ist ein Handshake, der zwischen Sound- und Grafikthread abläuft. Dieser stellt die Synchronisation zwischen auditiven und visuellen Ereignissen sicher.
Hardware / Software
HW-Voraussetzung:
PC, Prozessorleistung >= 800 Mhz, Soundkarte
SW-Voraussetzung:
jdk 1.3.1 oder neuere Version
|
|
| |
|
|