Visualisation of Sound

Technische Beschreibung

Die der Software zugrunde liegende Programmiersprache ist Java.
Zur Soundwiedergabe und -verarbeitung wurde das Java Sound API verwendet. Dies ist eine Softwareschicht, welche die Kommunikation zu einer Audio oder Midi Engine ermöglicht und folglich digitales Audio und Midi Daten unterstützt. Da in der "Visualisation of Sound"-Software ausschließlich digitale Audiodaten als Input dienen, wurde für die Programmierung insbesondere das "Digital Audio Package" verwendet. Dieses stellt Schnittstellen zum Aufnehmen, Mixen und zur Wiedergabe von digitalem Audio bereit.
Da die Basiskompomenten der Animationen einfache, geometrische Elemente sind, ist das java.awt.API zur Grafikdarstellung verwendet worden.
Eine wichtige Anforderung an das entstehende System war, die Zuweisungsalgorithmen zwischen auditiven und visuellen Ereignissen so zu gestalten, dass sowohl Musikstück als auch Animation reibungslos abgespielt werden. Die Lösung dieser Forderung ist ein Handshake, der zwischen Sound- und Grafikthread abläuft. Dieser stellt die Synchronisation zwischen auditiven und visuellen Ereignissen sicher.

Hardware / Software

HW-Voraussetzung:
PC, Prozessorleistung >= 800 Mhz, Soundkarte
SW-Voraussetzung:
jdk 1.3.1 oder neuere Version

Hochschule / Fachbereich

Fh Augsburg/ Heriot-Watt University Edinburgh
Multimedia/ Computer Science

URL der Hochschule

» http://www.macs.hw.ac.uk [link 02]

Betreuer des Projekts

Dr. Greg Michaelson

Kommentar des Betreuers

Elisabeth Weber's visualisation of music represents an engaging synthesis of technical skill and aesthetic sensibility. Elisabeth has investigated how to relate the aural properties of frequency, amplitude and duration inherent in a piece of music with more open visual properties of colour, shape, spatial location and dynamic change. Rather than mechanically linking these properties, as if their integration were purely an engineering problem, Elisabeth has explored the subtleties of their interaction, focusing on combinations for which there is broad psychological plausibility, tempered with her own well enunciated sense of visual and sonic media.
Elisabeth has constructed a robust and flexible system based on sound software engineering principles, making use of advanced contemporary techniques. She has employed a Fast Fourier Transform to identify significant components of the source music and has exploited concurrency to enable independent visual and aural components to change and interact. The system is controlled by a simple but effective graphical user interface. The system was constructed systematically, using simple prototypes to guide detailed design and implementation decisions.
Elisabeth's system clearly reflects the synergies between her technical and artistic training. In particular, she has drawn strongly on the Masters level modules she took during her year as a SOCRATES student at Heriot-Watt University, notably those covering software development, usability evaluation, human factors, multi-media technology and multi-media design. Elisabeth was awarded high marks for her dissertation on her music visualisation system. As well as providing a detailed account of system development, this presented her system evaluation with users which suggested that, in music visualisation, size changes are more significant than colour changes for conveying the sense of a piece of music. Above all though, her system is a fascinating artefact in its own right.

Seminar / Kurzbeschreibung

Zuordnung Forschungsbereich