Visualisation of Sound

Inhaltliche Beschreibung

Durch die starke Entwicklung digitaler Technologien während der letzten Jahre öffneten sich dem Bereich der Musikvisualisierung neue Türen. Nun war es möglich, Musik und Bilder mit derselben Einheit, nämlich dem Bit, zu repräsentieren. Diese technische Entwicklung vereinfachte es, Beziehungen zwischen der musikalischen und visuellen Domäne herzustellen.
Das übergeordnete Ziel der Arbeit ist, Visualisierungsvorschriften so zu automatisieren, dass der musikalische Input durch visuelle Ereignisse sichtbar gemacht wird. Die Herausforderung bestand darin, Audiodateien unabhängig von deren Musikrichtung und Arrangement in einer klaren, bedeutungsvollen und für den Anwender einfach zu verstehenden Art und Weise zu kommunizieren. Das Ergebnis ist eine Software, die Audiodateien interpretiert und visuell umsetzt.
Um herauszufinden auf welche Art und Weise Musik am besten kommuniziert werden kann, wurden sechs systematische Animationen definiert, die auf einem der beiden Konzepte basieren: Das erste Konzept impliziert die Abbildung der Lautstärke auf die Größe geometrischer Objekte. Das zweite Konzept sieht eine Zuordnung zwischen Tonhöhe und Farbe vor.
Da es keine allgemein gültigen Regeln für die Zuordnung von auditiven und visuellen Attributen gibt und die Konzeption von Abbildungsvorschriften somit ein intuitiver Prozess ist, wurden die Animationen zukünftigen Benutzern präsentiert. Das Ergebnis dieses Benutzertests sind Aussagen, die als Richtlinien für das Design von komplexen audiovisuellen Stücken herangezogen werden können.
Wird eine Musikvisualisierungssoftware erstellt, so ist technisches und grafisches Know How gefragt: Zur Extraktion der Attribute eines Musikstücks werden Techniken der Signalverarbeitung angewendet; den Animationen liegen Prinzipien des Grafik Designs und der Wahrnehmungspsychologie zugrunde.

Hochschule / Fachbereich

Fh Augsburg/ Heriot-Watt University Edinburgh
Multimedia/ Computer Science

URL der Hochschule

» http://www.macs.hw.ac.uk [link 02]

Betreuer des Projekts

Dr. Greg Michaelson

Kommentar des Betreuers

Elisabeth Weber's visualisation of music represents an engaging synthesis of technical skill and aesthetic sensibility. Elisabeth has investigated how to relate the aural properties of frequency, amplitude and duration inherent in a piece of music with more open visual properties of colour, shape, spatial location and dynamic change. Rather than mechanically linking these properties, as if their integration were purely an engineering problem, Elisabeth has explored the subtleties of their interaction, focusing on combinations for which there is broad psychological plausibility, tempered with her own well enunciated sense of visual and sonic media.
Elisabeth has constructed a robust and flexible system based on sound software engineering principles, making use of advanced contemporary techniques. She has employed a Fast Fourier Transform to identify significant components of the source music and has exploited concurrency to enable independent visual and aural components to change and interact. The system is controlled by a simple but effective graphical user interface. The system was constructed systematically, using simple prototypes to guide detailed design and implementation decisions.
Elisabeth's system clearly reflects the synergies between her technical and artistic training. In particular, she has drawn strongly on the Masters level modules she took during her year as a SOCRATES student at Heriot-Watt University, notably those covering software development, usability evaluation, human factors, multi-media technology and multi-media design. Elisabeth was awarded high marks for her dissertation on her music visualisation system. As well as providing a detailed account of system development, this presented her system evaluation with users which suggested that, in music visualisation, size changes are more significant than colour changes for conveying the sense of a piece of music. Above all though, her system is a fascinating artefact in its own right.

Seminar / Kurzbeschreibung

Zuordnung Forschungsbereich