ROB

Inhaltliche Beschreibung

Die ROB-Software besteht aus 2 Teilen, dem ROB-Client für das Handy und der ROB-Server-Anwendung. Notwendig ist ein javafähiges Handy, das natürlich über eine Bluetooth-Schnittstelle verfügt, und ein Bluetooth-Dongle am PC.

Der ROB-Server ist multiuserfähig, das heißt es können sich mehrere Handys mit ihm verbinden. Er nimmt die Daten jedes verbundenen Handys entgegen, bereitet Sie im OSC-Format zur Übertragung auf und kann sie an jede Ziel-Software weitergeben, die über eine OSC-Schnittstelle verfügt.

OSC steht für „Open Sound Control“ und wurde am Center for New Music and Audio Technology (CNMAT) der Berkeley University in Kalifornien entwickelt. Seine deutlich besser aufgelösten Steuerdaten, sowie die dem Midi-Standard überlegene Übertragungsgeschwindigkeit, könnten in Zukunft sogar MIDI ablösen. Derzeitig ist die Anzahl der Programme, die das OSC-Format lesen können noch recht beschränkt, aber neben reinen Audio-Programmen wie Max/MSP (Cycling 74) oder Reaktor (Native Instruments), gibt es inzwischen auch andere, visuelle Anwendungen, wie zum Beispiel EyesWeb vom „InfoMus Lab“ in Italien.

Während der Entwicklungsphase von ROB hat das ROB-Team ein komplettes fernbedienbares Instrumenten-Ensemble in Reaktor entwickelt. Es besteht aus Synthesizern, Samplern und Audio-Visualisierungsmodulen, die z.B. als Grundlage einer Klanginstallation dienen können.

Auf der ROB-Website finden sich ebenfalls kleine Implementationen für EyesWeb und sogar ein Flash-Game, das per Handy als Game-Controller gespielt werden kann.

• › ROB-Kurzinfo [PDF | 65 KB ] [link 02]
• › ROB-Kommunikationsmodell [34 KB ] [link 03]
• › Dokumentation der Implementierung des ROB-Clients [PDF | 1 MB ] [link 04]
• › Dokumentation der Implementierung des ROB-Servers [PDF | 2 MB ] [link 05]

Technische Beschreibung

Die Implementierung von Server und Client wurde in Java vorgenommen, d.h. mit Hilfe der Java 2 Standard Edition (J2SE) und der Java 2 Micro Edition (J2ME, für das Handy). Die Bluetooth-Kommunikation wurde mit Hilfe des Java Specification Requests 82 (Link siehe unten) umgesetzt, der speziell dafür von einer Expert Group bestehend aus Firmen wie Nokia, Motorola, IBM und Symbian (und weitere) entworfen wurde.

Ein großes Problem bestand in der Abwicklung der Bluetooth-Kommunikation des Servers, da die aktuelle J2SE noch keine Bibliotheken dafür bereitstellt. Dafür wurde die "BlueCove-API", eine Open Source Bibliothek verwendet, die eine auf die J2SE portierte Version des JSR-82 darstellt.

Die vom Handy empfangenen Daten werden im Server als OSC-Messages in Datagrammen verpackt und über das Datagram Protocol (kurz UDP) verbindungslos an die Zielsoftware versendet. Verbindungslos bedeutet dabei lediglich, dass nicht erst eine Verbindung zum Gegenüber aufgebaut werden muss – ein Handshake findet nicht statt.

Wie aus der der Grafik (ROB-Kommunikationsmodell) ersichtlich, basiert die Kommunikation zwischen Client, Server und Zielsoftware thread-basiert. Nur durch die nebenläufige Abwicklung der Datenübertragung wird eine performante Echtzeitsteuerung möglich.

Das Instrumenten-Ensemble, das ebenfalls auf der ROB-Website zum Download bereitsteht, wurde mit Hilfe von "Reaktor" von der Firma Native Instruments entwickelt. Dieses Programm ermöglicht die Entwicklung komplexester Klangmodule wie z.B. Synthesizer und Sampler mit Hilfe eines leicht verständlichen grafischen Editors. Dabei werden atomare Bausteine wie z.B. ANDs und ORs aber auch Oszillatoren, Filter oder Hüllkurvengeneratoren logisch miteinander verschaltet. Auch die Benutzeroberfläche der so entstehenden virtuellen Instrumente lässt sich größtenteils frei gestalten, sodass der User nur die gewohnten Regler und Displays zu sehen bekommt.

JSR-82:
http://www.jcp.org/en/jsr/detail?id=82

BlueCove-API:
http://sourceforge.net/projects/bluecove/

OSC:
http://www.cnmat.berkeley.edu/~adrian/

Reaktor:
http://www.native-instruments.de/index.php?id=reaktor_de

Hardware / Software

Folgende Hardware wurde benutzt:

4 x Siemens S65
(bereitgestellt von BenQ Mobile GmbH & Co. OHG)
2 x Nokia 6230
2 x Nokia 6230i
1 x Bluetooth-USB-Stick


Folgende Software wurde verwendet:

J2ME Wireless Toolkit 2.2 (KToolbar),
Siemens Mobility Toolkit 3.0,
Nokia S40 DP 2.0 SDK 1.1,
Eclipse 3.1,
Jigloo (Eclipse-PlugIn, SWT/Swing GUI Builder),
NetBeans 4.1,
NetBeans Mobility Pack,
Reaktor 5,
Flash 8,
EyesWeb 4

Hochschule / Fachbereich

Technische Fachhochschule Berlin
Fachbereich VI - Informatik und Medien

URL der Hochschule

» http://www.tfh-berlin.de [link 06]

Betreuer des Projekts

Prof. Dr. Heinrich P. Godbersen

Kommentar des Betreuers

"ROB" ist Technik, Musik und Visualisierung. André Gräf, Eystathios Klotsikas, Philip Kretschmann und Tim Schenk haben sich hervorragend als Multi-Talente qualifiziert, die bereit sind, neue Wege zu gehen.

Die erstellte Technik stellt ein attraktives HCI- Paradigma vor: Mehrere Menschen steuern mit ubiquitären Geräten eine gemeinsame Applikation. Diese besitzt eine 3 Tier Architektur mit den Schnittstellen Bluetooth und Open Sound Control.

Die Studenten bringen sich zudem als Musiker ein, die ein umfangreiches Instrumenten- Ensemble auf einem programmierbaren Synthesizer sehr erfolgreich entwickelt haben.

In einer Performance anlässlich der öffentlichen Vorführung haben sie unter großem Beifall ihr „Handy-Orchester“ erklingen lassen.

Meine Empfehlung: Der noch während der Projektphase zusätzlich produzierte Trailer gibt einen sehr guten Eindruck, was in diesem Semesterprojekt erreicht wurde.

Seminar / Kurzbeschreibung

ROB entstand im Rahmen einer Multimedia-Gruppenprojektarbeit im WS 05/06.

In "Multimedia-Projekte" entwickeln die Studierenden bei uns in Teamarbeit komplexe Multimedia- Applikationen bzw. Produktionen, bei denen neben dem software-technischen Bereich die medienspezifische Konzeption und Gestaltung betont werden.

Ich lege Wert auf: Weitgehend freie Wahl des Themas, Innovation und Risikobereitschaft, rigorose zeitliche Vorgaben, hohe Anforderungen an die Dokumentation in allen Phasen der Produktion.

Eine Liste der von mir betreuten Multimedia-Projektarbeiten ist unter www.godbersen.info abrufbar.

Zuordnung Forschungsbereich

Informatik und Medien ist einer der größten Fachbereiche an der TFH Berlin.