| URL: | http://netzspannung.org/database/60593/de |
| Last update: | 05.06.2002 |
| Date of print: |
|
Magic Music Hand |
Kurzdarstellung
Kurzbeschreibung
Magic Music Hand realisiert eine intuitive Schnittstelle zum freien, kreativen und echtzeitgesteuertem Komponieren von Musik.
KünstlerInnen / AutorInnen
- Alexander Kläser
Entstehung
Kanada, 2001-2002
Eingabe des Beitrags
alexander.klaeser@smail.inf.fh-brs.de, 05.06.2002
Kategorie
- Forschungsprojekt
Schlagworte
- Themen:
- Interface |
- Mensch-Maschine-Interaktion HCI |
- Kommunikation |
- Mixed Reality |
- Musik |
- Audio |
- Hypermedia |
- Tracking |
- Performance Kunst |
- Interaktivität |
- Klang |
- Augmented Reality |
- Virtuelle Realität
- Formate:
- Installation |
- interaktiv |
- Audio
- Technik:
- Optical Tracking |
- Gesture Recognition
Inhalt
Inhaltliche Beschreibung
Magic Music Hand realisiert eine intuitive Schnittstelle zum freien, kreativen und echtzeitgesteuertem Komponieren von Musik. Dazu wird die Handbewegung des Benutzers mit einer Videokamera aufgenommen, Computer gestützt ausgewertet und in dem virtuellen Kontext des Computers umgesetzt wiedergegeben. Es wird möglich, über einfache Handgesten und -bewegungen Melodien zu erzeugen und verschiedenste Effekte der Musik beizumischen. Der Benutzer kann sich auf diese Weise durch die intuitive Mensch-Maschine Schnittstelle seiner eigenen Hand frei kreativ entfalten. Dadurch verschwimmen die Grenzen zwischen Mensch und Maschine. Die Funktionsfähigkeit des Systems wird am Beispiel der Improvisation über einen Blues mit seiner eigenen Hand dargestellt.
Technik
Technische Beschreibung
Das Projekt wurde unter Windows 2000 auf einem Pentium III mit 933 MHz entwickelt. Als Grabberkarte haben wir eine ATI Radeon Grafikkarte mit Videoeingang (an der York University, Kanada) sowie Winnov Videum Grabberkarte (an der FH Bonn-Rhein-Sieg, Deutschland) benutzt, die Kamera war eine KX-DP702 von Panasonic. Zum Ansteuern des Capture Devices der Grafik-, bzw. Grabberkarte sowie zum Erzeugen der Musik und zum Kontrollieren der Effekte wurde Microsoft DirectX 8 benutzt. Die dazugehörige GUI-Anwendung wurde auf der QT-Lirbary entwickelt
Hardware / Software
Pentium III 933 MHz
ATI Radeon, bzw. Winnov Videum
KX-DP702 von Panasonic
Microsoft DirectX 8
Trolltech Qt-Library
Kontext
Hochschule / Fachbereich
Fachhochschule Bonn-Rhein-Sieg
Angewandte Informatik
URL der Hochschule
» http://www.fh-brs.de
Betreuer des Projekts
Prof. Dr.-Ing. Rainer Herpers
Kommentar des Betreuers
Das Magic Music Hand Projekt von Herrn Alexander Kläser entstand in Zusammenarbeit mit dem Center for Vision Research (CVR) der York University, Toronto, Kanada (http://www.cvr.yorku.ca/) unter der Leitung von Prof. J. K. Tsotsos (http://www.cs.yorku.ca/~tsotsos/ ) während eines 6-monatigen Forschungsaufenthaltes des Autors in Toronto.
Das York Center for Vision Research führt seit vielen Jahren sehr erfolgreich interdisziplinäre Forschungen auf den Gebieten der sensorischen und motorischen Prozesse, der Wahrnehmung und der Computer Vision durch.
Aufgabe von Herrn Kläsers Projekt war, eine multimediale Anwendung zu entwickeln, die über die Auswertung von visuellen Informationen in der Lage ist, akustische und andere mediale Informationen, wie Signale oder allgemein Stimuli auszugeben sowie geeignet zu steuern. Dies ist ihm im Rahmen der zur Verfügung stehenden Ressourcen hervorragend gelungen. Eine Handgeste wird dynamisch visuell erfasst und in Echtzeit ausgewertet, so dass verschiedene Freiheitsgrade durch die Handgeste bzw. durch die Fingerbewegungen gesteuert werden können. Als Anwendung wurde die Improvisation von Musik gewählt, die eine sehr eindrucksvolle und effiziente Umsetzung der entwickelten Methodik darstellt. Die in der Kürze der Zeit erzielten hervorragenden Ergebnisse machen die besondere Befähigung von Herrn Klaeser sowohl in technischer als auch in kreativer Hinsicht deutlich.
Einige Grundlagen und Vorarbeiten zu dem Projekt wurden im Rahmen einer Projektlehrveranstaltung zum Thema 'Computer Vision' im Fachbereich Angewandte Informatik im Sommersemester 2001 gelegt. Nach der Rückkehr von Herrn Kläser wird das Magic Music Hand Projekt im Rahmen eine weiterführenden Lehrveranstaltung fortgeführt. Die Anwendbarkeit der Handgesten soll dabei erweitert und flexibilisiert werden. So soll ein dreidimensionales Handmodell entwickelt werden, welches die natürliche Handbewegung abzubilden in der Lage ist und darüber hinaus weitere multimediale Anwendungen unterstützen hilft.
Zusammenfassend möchte ich dieses Projekt ausdrücklich für diesen Wettbewerb empfehlen, da es eine sehr 'anschauliche' (im akustischen Sinne) Leistung eines jungen Wissenschaftlers darstellt, die einen intuitiven Zugang durch Handgesten zum Medium Computer herstellt. Im Rahmen des Projektes werden verschiedene Sinne angesprochen, die in ihrer Einheit eine sinnvolle Anwendung ergeben. Der erzielte Spaßfaktor bei der gewählten Anwendung stellt einen weiteren wichtigen Pluspunkt dar. Darüber hinaus bietet das Projekt eine Vielzahl von möglichen Erweiterungen, die auf der Grundlage des ausgelobten Stipendiums durchgeführt werden könnten.
Seminar / Kurzbeschreibung
Die Studierenden sollen im Rahmen der Lehrveranstal-tungsreihe zum Thema 'Computer Vision' anhand von kleinen, modularisierten Projekttätigkeiten ausgewählte, aktuelle Bereiche des Computer Visions und der Anwendungen von Multimediasystemen kennen und praktisch einüben lernen. Hierbei stehen insbesondere Anwendungen an der Schnittstelle zwischen natürlicher Interaktion und Interaktion mit dem Computer im Vordergrund. Dabei werden die mit Kamera- und Videotechnik gewonnenen Daten als eine wesentliche natürliche Informationsquelle betrachtet. Zu deren computergestützten Verarbeitung gilt es, in den Lehrveranstaltung die notwendigen Grundlagen zu legen und in Rahmen von Kleingruppen geeignete Lösungen für kleine exemplarische Fragestellungen zu erarbeiten.
Die Veranstaltung wird durch ein Literaturstudium und durch eine Serie von Gastvorträgen ergänzt, in dem aktuelle Fragestellungen aus den betroffenen Bereichen vorgestellt und ausführlich diskutiert werden.
Zuordnung Forschungsbereich
Diese Arbeit ist dem Forschungsschwerpunkt der Hochschule 'Anwendungen von Multimediasystemen in Forschung und Lehre' zugeordnet.
Das Forschungsgebiet Computer Vision, welches sich sowohl von der technologischen Seite als auch von der wahrnehmungspsychologischen Seite dem Thema Maschinensehen versucht zu nähern, ist integraler Bestandteil des oben genannten Forschungsschwerpunktes der Hochschule. Die eingereichte Arbeit ist aufgrund der Integration des Computer Vision Systems für einen multimedialen Einsatz insbesondere im Rahmen des Forschungsgebietes Computer Vision entstanden.
|
|
| |
|
|