Synaesthetic Sound Synthesis

• › Synaesthetic Sound Synthesis [PDF | 941 KB ] [link 02]
• › SYNALIZER 0.7alpha im Wireframe-Modus [30 KB ] [link 03]
• › Synästhetisches Phänomen meiner Wahrnehmung beim Anhören eines Sinus-Tones bei 420 Hz [JPEG | 20 KB ] [link 04]
• › Analysierte 3-D-Form des SYNALIZER eines Sinus-Tones bei 420 Hz [30 KB ] [link 05]
• › SYNALIZER 0.7alpha im Render-Modus [27 KB ] [link 06]
• › SYNALIZER 0.7alpha im Point-Modus [21 KB ] [link 07]
• › Ein Sample von Gustav Mahler im Point-Modus [27 KB ] [link 08]

Inhaltliche Beschreibung

Ein VJ in Berlin erzählte mir vor einigen Jahren: "Ich vermute, dass es außer der bewussten oder emotionalen Interpretation oder Assoziation [also der Dekoration von Musik] keine wirkliche Verbindung von Klang und Visuals gibt und ich glaube, es wird nie eine geben."

Wie ich nun weiß, lag sie mit dieser Einschätzung falsch, da eine Verbindung von Klang und Visuals in unserer Wahrnehmung generiert wird. Ein Ergebnis davon ist die synästhetische Wahrnehmung. Wie ich in meiner theoretischen Arbeit ausgeführt habe, deuten neuere wissenschaftliche Studien darauf hin, dass eine unter 30 Personen zumindest einem Synästhesie-Subtyp zuzuordnen ist. Mich würde es nicht wundern, wenn eines Tages alle Menschen sich als verifizierte Synästhetiker herausstellen würden.

Zusammenfassend existiert also in unserer Wahrnehmung ein natürliches Modell der Visualisierung von Musik jenseits der Dekoration von Musik.

Für das Projekt war dabei weniger der Aspekt der subjektiven Ausprägung der synästhetischen Phänomene wichtig als der objektive Tatbestand der Generierung der Phänomene durch die neuronale Vernetzung im Gehirn.

Es kristallisierten sich konkret zwei Ziele des Projektes heraus:

1. Eine parametrische Simulation meines Synästhesie-Subtyps Klangfarbe = Formen zu erreichen, um dieses natürliche Modell der Visualisierung von Musik besser nachzuvollziehen zu können.

2. Synästhetische visuelle Aspekte von Klängen in ein softwarebasiertes Musikinstrument (SYNALIZER) zu integrieren. Zukünftige Versionen des work-in-progress Projekts sollen nicht nur per GUI bedienbar sein, sondern ein spezielles Hardware Interface für live electronic Performances bekommen.


Technische Konzeption des SYNALIZER in der Version 0.7alpha – Realisierung in MAX/MSP/JITTER:

Grundlage der synästhetischen Simulation sind verschiedene Klangquellen:

a. die elektronischen Wellenformen Sinus, Rechteck, Sägezahn, Dreieck sowie Weißes und Rosa Rauschen
b. eine einfache FM-Klangerzeugung
c. der Input durch ein Mikrofon
d. ein einfacher Sample-Player, der beliebige .aif- und .wav-Audiodateien abspielen kann

Die digitalen Tondaten werden zum einen in eine Klanganalyse geroutet, zum anderen in einen Verstärker, über den die Klänge hörbar werden. In MAX/MSP wurde der "Analyzer" von Tristan Jehan verwendet, der Fourier- und Spektralanalyse in einem verbindet und damit einen guten Querschnitt dessen bietet, was gegenwärtig an physikalischer Klanganalyse, die sich an das menschliche akustische System anlehnt, geläufig ist.

Die Parameter, die aus den Tondaten analysiert werden, sind:
a. Pitch (Hz) [Tonhöhe]
b. Loudness [Lautstärke]
c. Brightness [Tonhelligkeit]
d. Noisiness [Rauschanteile]
e. Amplitude
f. Sinusoid 1 (Freq) [1. Formant/Partialton]

Die Parameter aus der Klanganalyse werden in ein JITTER-Modul gemappt. Zum Einsatz kommt das jit.gl.gridshape-Objekt, das die mathematische Generierung von einfachen Grundformen als verknüpftes Netz innerhalb einer 3D-Matrix ermöglicht.

Es wurden sechs Grundformen ausgewählt:
a. Sphere [Kugel]
b. Torus [Ring]
c. Cylinder [Zylinder]
d. Cube [Würfel]
e. Plane [Ebene]
f. Circle [ebener Kreis]

Um nun möglichst viele Formvarianten zu erreichen
werden die sechs Grundformen prozentual ineinander gemischt. Das Mischungsverhältnis bestimmen die Parameter aus der Klanganalyse. Das Mapping erfolgte so, dass die Verknüpfung der Parameter Sinn macht und einen entsprechenden visuellen Effekt hat.

Folgende Parameter wurden verknüpft:
Klangparameter >> Mischung (%) Grundform
a. Pitch >> Plane
b. Loudness >> Sphere
c. Brightness >> Torus
d. Noisiness >> Cylinder
e. Amplitude >> Circle
f. Sinusoid 1 >> Cube

Das Ergebnis der Mischungen wird in eine 3-D Matrix ausgegeben, die die Formen mit schwarzem Hintergrund entsprechend dem "Inneren Monitor" anzeigt.

Als Darstellungsform wurde die ungerenderte Darstellung als Wireframes gewählt, da von den folgenden Detail-Aspekten meiner synästhetischen Formen

a. Grundform
b. Oberflächenstruktur
c. Farbe
d. Transparenz
e. diffuser "Nebel"

bei indifferenten Formen nur die Grundform bislang vollständig umgesetzt ist. Die Farbe der Wireframes ist ein Graublau-Weiß, welches bei meinen synästhetischen Formen in der Regel dominant ist. Ein gewisser "Nebel-Effekt" ist durch einen Regler (alpha) in der 3D-Controller-Leiste möglich, der bei einem Refresh des Bildes das vorherige je nach Einstellung langsamer transparent aus blendet. Die Software wurde noch um einige Features erweitert, die eine größere Interaktion mit den Formen möglich machen sollen. So kann das Mischungsverhältnis mit einem zusätzlichen Multiplikator interaktiv im Sinne einer VJ-Software manipuliert werden und die Formen herangezoomt sowie im Koordinatensystem gedreht werden. Es ist ferner möglich, Presets abzuspeichern und die Darstellung der oft "zittrigen" Formen deutlich zu beruhigen. Es sind auch einige OpenGL-Rendering-Kontrollmöglichkeiten implementiert worden, um die Oberflächenstruktur zu simulieren: Lichtintensität und Rendertyp. Die meisten Parameter sind auch über einen Midi-Controller steuerbar, und zwar über die Midi-Controllernummern Ctrl 0-15.

Folgende Ziele wurden bislang erreicht:
1. Das Hauptproblem einer echten Simulation von Synästhesie lag darin, dass viele Detailaspekte wie das Gehirn die durch den Klang ausgelösten Visuals generiert, zum gegenwärtigen Zeitpunkt der Synästhesieforschung völlig unbekannt sind. Auf der Basis von bekannten Erkenntnissen haben sich folgende technische Details ergeben:

- Trotz aller Beschränkungen besonders in Bezug auf polyphone Klänge hat sich die Fourier-, bzw. Spektralanalyse für den SYNALIZER bislang als am geeignetsten für die Repräsentation der Klangverarbeitung des Gehirns, bzw. präziser des Cortischen Organs, herausgestellt. Nach Curtis Roads sollten zukünftige Analysesysteme Erfahrungen von vorherigen Analysen in die laufende Analyse mit einbeziehen, was auch der menschlichen Klangverarbeitung im Gehirn näher kommen würde.

- Das "neuronale Mapping" der Audio-Parameter auf die 3-D-Verarbeitung im Gehirn ist weitgehend unerforscht. Im SYNALIZER wird eine Mixtur aus geometrischen Grundformen durch analysierte Klangparameter ausgelöst. Nach Richard E. Cytowic gibt es vermutlich eine Grundcodierung von geometrischen Formen in der menschlichen Wahrnehmung. Eine neuere Studie mit Angehörigen des Naturvolks Mundurukú in der Amazonasregion, die keine Bezeichnung für geometrische Grundformen haben aber komplexe geometrische Tests ohne Probleme meistern, scheint diese Hypothese zu bestätigen.

Zusammenfassend ist der SYNALIZER in der Version 0.7alpha vielleicht ein Anfang in Richtung Synästhesie-Simulation, da er den synästhetischen Ablauf berücksichtigt, jedoch die phänomenologische Ausprägung noch zu rudimentär ist, bzw. oft nicht mit den von mir wahrgenommenen synästhetischen Phänomenen übereinstimmt. Dies liegt vor allem an der undifferenzierten Analyse der Klangfarbe.

Es gibt im Bereich der synästhetischen Phänomene meines Klangfarben=3D-Form-Subtyps dennoch überraschende Übereinstimmungen zu physikalischen Visualisierungen: der Sinus-Ton wird im Oszilloskop als Lissajous-Figur ebenfalls exakt kreisförmig dargestellt. Auch bei der Sägezahn-Wellenform gibt es Parallelen in Bezug auf die Zackenform. Ob diese Parallelen Zufall sind, oder eine gemeinsame physikalische Grundlage haben, ist gegenwärtig Spekulation.

Die jeweils aktuelle Version des SYNALIZER kann unter http://www.gro.de/index.php?visualization02down_en herunter geladen werden.

Technische Beschreibung

Programmierung des SYNALIZER als Standalone Application in Max/MSP/Jitter.

Hardware / Software

Hardware: Apple iBook G4 800 MHZ (Mindest-Systemanforderung)
Software: Max/MSP 4.5.4/Jitter 1.2.4 unter MacOS X 10.3 "Panther"

Hochschule / Fachbereich

Kunsthochschule für Medien
Mediengestaltung

URL der Hochschule

» http://www.khm.de [link 09]

Betreuer des Projekts

Prof. Andreas Henrich

Kommentar des Betreuers

Das Projekt befasst sich mit Fragen synästhetischer Wahrnehmung außerordentlich profund und stellt ein prototypisches Konzept für eine computergestützte Umsetzung dieses Phänomens dar. Zahlreiche Probleme der synästhetischen Zuordnung von visueller und auditiver Information werden analysiert und modellhaft umgesetzt. Damit werden auch neue Möglichkeiten der gestalterischen Nutzung und Korrespondenz der beiden Wahrnehmungsebenen entwickelt. Das Modell weist schon jetzt einen großen Reichtum an ästhetischen Darstellungsmöglichkeiten auf, hat aber die Potenz für weitere Differenzierung. Besonders ist es auch auf den nächsten Schritt, der Entwicklung eines eigenen Interfaces zur gestischen Modulation von Bild und Ton ausgerichtet.

Seminar / Kurzbeschreibung

Die Projektarbeit ist keinem Seminar fest zugeordnet, sondern eine eigenständige Projektentwicklung im postgradualen Studienbereich der Hochschule.

Zuordnung Forschungsbereich

Es ist eine Projektentwicklung, die sowohl künstlerische, als auch designerische Elemente beinhaltet und sich damit an einer Schnittstelle bewegt. Das Lehr-/Forschungsgebiet "Grundlagen medialer Gestaltung" umfasst alle grundsätzlichen Fragen des gestalterischen Umgangs mit audiovisuellen und digitalen Medien, damit auch Fragen der Wahrnehmung und der menschlichen Informationsverarbeitung, wie sie im Projekt bearbeitet werden.