Musik Gestensteuerung SoundEmotion
Gestengesteuerte Manipulation von Musikthemen
Studiengang
Elektrotechnik (B.Eng.)Projektbeschreibung
Das zu entwickelnde Produkt "soundEmotion" soll Bewegungen und Gesten von Personen erfassen, in Musik umwandeln und diese ausgeben. Es soll in seiner Funktion dem "MotionComposer" ähneln, allerdings einen geringeren Funktionsumfang besitzen. Dadurch soll dem Fritz-Felsenstein-Haus, dem Auftraggeber des Projekts, ein weiteres Mittel zur Gestaltung des Alltags seiner Klienten zur Verfügung gestellt werden.
Beteiligte Personen
VeranstaltungSystems Engineering 1 (IK) LaufzeitSS 2022 Labore | |||||
Anforderungen
Muss Kriterien
- Erkennung einer Kopfbewegung
- Wählen zwischen verschiedenen Klangwelten
- Akustische Ausgaben
Soll Kriterien
- Erkennung weiterer Körperteile
- Bereitstellen eines externen Lautsprechers
Kann Kriterien
- Unterstützung mehrerer Benutzer
- Erkennung von Mimik
Nicht-funktionale Anforderungen
- Maschinensicherheit
- Erweiterbarkeit des Systems
- Robustheit des Produktes
- Reproduzierbarkeit des Produktes
Umsetzung
Hardware
- Singleboard-Computer (NIVIDIA Jetson Nano)
- Kamera
- 1 Reset-Taster
- 1 Taster mit LED-Satusanzeige (Ein-/Ausschalten)
- 2 3,5mm-Klinkenausgänge (Audioausgabe, Tastereingabe)
- Netzteil
- Lüfter
- Bopla-Gehäuse
- Stativ
Software
Die Softwarekomponenten in diesem System sind essenziell für ein funktionsfähiges Produkt. Mit Hilfe der Software werden die Bewegungen der Nutzer erfasst, analysiert, interpretiert und schlussendlich aus diesen Informationen ein Audiosignal generiert.
Die Software wird in zwei seperate Teile/Programme untergliedert. Einmal soll ein Programm zur Erkennung der Gestik und einmal ein Programm zur Generierung des Audiosignals entwickelt werden. Die bestehende Gestik-Software wird geprüft und entsprechend angepasst bzw. erweitert. Die Software für die Audiogenerierung wird neu entwickelt.
Folgende Bibliotheken werden benötigt:
- tensorflow lite: ein deep-learning framework, mit dem Modelle trainiert und ausgeführt werden können. In diesem Fall wird das Modell Posenet verwendet, mit dem Kopf- und Körperbewegungen über Langmarks erkannt werden können.
- fluidsynth: eine freie Bibliothek unter Linux, mit der Musik programmatisch abgespielt werden kann. Sie bietet eine hohe Flexibilität untershiedliche Soundfonts geladen werden können. Damit ist es möglich ein und dieselbe Melodie mit unterschiedlichen Instrumenten zu spielen.
- json: Diese Bibliothek wird verwendet, um unterschiedliche Konfigurationen für die fluidsynth-Bibliothek zu laden.
Verwendung
Der Nutzer positionier sich vor dem Gerät.
Durch Betätigen des Klinkentasters kann die Klangwelt gewechselt werden.
Je nach gewählter Klangwelt kann durch eine Bewegung des Kopfes und/oder der Hände die Tonausgabe verändert werden.
In der Standard-Klangwelt beispielsweise kann man mit der Bewegung/Neigung des Kopfes nach links bzw. nach rechts die Geschwindigkeit des Takts erhöhen oder verringern.
Mit der Höhe der linken Hand bestimmt der Nutzer die Tonhöhe der Melodie.
Mit der Höhe der rechten Hand bestimmt der Nutzer die Tonhöhe der Violine.
