INTERNATIONAL AUDIO LABORATORIES ERLANGENA joint institution of Fraunhofer IIS and Universität Erlangen-Nürnberg

Konzeption einer webbasierten Benutzerschnittstellezur Unterstützung des Jazz-Piano Unterrichts Stefan Balke1, Paul Bießmann2, Sebastian Trump2, Meinard Müller1

Übersicht

Datensatz

Webbasierter Demonstrator

Aufbereitung der Aufnahmen

Literaturverzeichnis

Die International Audio Laboratories Erlangen sind eine Gemeinschaftseinrichtung der Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) und des Fraunhofer-Institut für Integrierte Schaltungen IIS. Die vorgestellte Arbeit wurde durch die Deutsche Forschungsgemeinschaft gefördert (MU 2686/6-1).

[1] Dannenberg, Roger B.: Human Computer Music Performance. Multimodal Music Processing, Jgg. 3 in Dagstuhl Follow-Ups, S. 121–133. Germany, 2012.

[2] Dittmar, Christian; Cano, Estefanía; Abeßer, Jakob; Grollmisch, Sascha: Music Information Retrieval Meets Music Education. Multimodal Music Processing, Jgg. 3 in Dagstuhl Follow-Ups, S. 95–120. Germany, 2012.

[3] Liem, Cynthia C. S.; Gómez, Emilia; Schedl, Markus: PHENICX: Innovating the Classical Music Experience. In: Proc. of the IEEE International Conference on Multimedia and Expo Workshops (ICMEW). Torino, Italy, S. 1–4, 2015.

[4] Röwenstrunk, Daniel; Prätzlich, Thomas; Betzwieser, Thomas; Müller, Meinard; Szwillus, Gerd; Veit, Joachim: Das Gesamtkunstwerk Oper aus Datensicht – Aspekte des Umgangs mit einer heterogenen Datenlage im BMBF-Projekt “Freischütz Digital”. Datenbank- Spektrum, 15(1): 65–72, 2015.

1International Audio Laboratories Erlangen, 2Hochschule für Musik Nürnberg

Das Erlernen von Jazz stellt eine Herausforderung für viele Musiker dar. InsbesondereSpieler von Harmonieinstrumenten (z. B. Klavier oder Gitarre) müssen dieauftauchenden harmonischen Zusammenhänge verstehen und im eigenenSpieleinbauen können. Zum Nachvollziehen der zum Teil komplexen Harmonien reichtdie Unterrichtszeit mit einem Lehrer oftmals nicht aus. In diesem Beitrag deuten wirMöglichkeiten an, wie webbasierte Technologien verwendet werden können, umLehrinhalte aufzubereiten und für den Schüler erfahrbar zu machen. Dazu nehmen wirzunächst exemplarisch Lektionen zu typischen Lehrinhalten aus dem Jazz-PianoUnterricht auf und bereiten diese für die multimediale Nutzung auf. Insbesonderepräsentieren wir einen webbasierten Demonstrator, der eine benutzerfreundlicheInteraktion mit diesen multimedialen Lehrinhalten ermöglicht. Mithilfe unseresDemonstrators ist der Schüler in der Lage, im Unterricht besprochene Konzepteanhand eingespielter und annotierter Beispiele im individuellen Lerntemponachzuvollziehen und zu wiederholen. Darüber hinaus ermöglichen verschiedeneNavigationsmöglichkeiten einen flexiblen Zugang zu den multimedialen Daten.

§ Webbasierter Demonstrator ermöglicht multimedialen Zugang zu Lehrinhalten

§ Schüler können Lehrinhalte in eigenem Tempo wiederholen

§ Systematischer Datensatz interessant für weitere Aufgabenstellungen der

automatischen Musikverarbeitung (z. B. Klaviertranskription)

16 Takte 16 Takte 16 Takte

F‹7 B¨13(b9) E¨Œ„Š7 A¨Œ„Š7 D‹7(b5) G7(b13) C‹ A13

D‹7(b5) G7(b9) C‹7 C‹7/B¨ A‹7(b5) A¨13 D‹7(b5) G7(b13)5

A‹7(b5) D7½ G7(b13) G‹7(b5) C7(b9) F‹7 C7(b9)9

F‹7 A¨‹7 D¨9 G7½ C7(b9) F‹7 B¨13(b9) E¨% C7(b9)13

4

4&

b

b

b

I Fall In Love Too Easily

Music: Jule Styne

&

b

b

b

&

b

b

b

&

b

b

b

‰œ

J

œnœœb

™

œ

j

œœ

˙™

‰œ

j

œœ

Ϫ

œ

j

w

‰

œ

j

œnœœb

™

œ

j

œœ

œ

œ ˙

‰

œ#

j

œœn

œ œ w

‰

œ

J

œœœ

™

œ

J

˙n œ

œœœ

˙ ™

œbœ

˙ œœœœ

œ ™ œ

J

Ϫ

œ

j

œœ

˙™

‰

œ

j

œœ

Ϫ

œ

j

˙™

Œ

Head-In Head-Out

16 Takte16 Takte

Icon

s m

ade

bySi

mpl

eIco

n

Videoaufnahme

Audioaufnahme

Sensordaten(MIDI)

© Y

AMAH

A< > http://mir.audiolabs.uni-erlangen.de/jazz-piano

Multimediaobjekte:

§ Tastenanschlag und Pedalbewegungen

mittels Disklavier (MIDI)

§ Videoaufnahme der Tastatur

§ Audioaufnahme

Systematische Aufnahmen:

§ rechte Hand (Hauptmelodie)

§ linke Hand (Begleitung)

§ Hände kombiniert

§ weiterführende Techniken (z. B. Solospiel)

Überblick der aufgenommenen Stücke:

Typische Elemente eines Jazzstücks

8

Standard Lektion #Durchgänge Länge (hh:mm)

Alone Together Rechte Hand: Melodie 1 01:18Tempo: 137 bpm Linke Hand: Basslinie, Walking Bass 2 02:37Taktart: 4/4 Einfaches Arrangement: Linke und rechte Hand 2 02:37

Komplexes Arrangement: Blockakkorde 2 01:18Soloteil 2 01:18

I Fall In Love Too Easily Rechte Hand: Melodie 1 01:01Tempo: 64 bpm Linke Hand: Akkorde, Stride-Piano 1 01:01Taktart: 4/4 Einfaches Arrangement: Linke und rechte Hand 1 01:01

Einfaches Arrangement plus Soloteil 3 03:11Komplexes Arrangement plus Soloteil 4 04:05

Yardbird Suite Rechte Hand: Melodie 1 00:58Tempo: 128 bpm Linke Hand: Basslinie 1 00:58Taktart: 4/4 Akkorde ausspielen 1 00:58

Mittelschweres Arrangement: Linke und rechte Hand 1 00:58Komplexes Arrangement: Mehrtönige Begleitung 1 00:58Soloteil 1 00:58Soloteil 1 00:58

Summe/Dauer 17 26 26:13

Tab. 1: Überblick über die aufgenommenen Standards mitsamt den zugehörigen Lektionen.

der Musikaufnahme wird manuell ermittelt und in einer zusätzlichen Annotations-datei abgespeichert. Der Notentext wurde in einem Notensatzprogramm gesetztund anschließend in eine Sequenz von 4-taktigen Segmenten als statische Bilderexportiert.

Um das synchrone Abspielen und die objektübergreifende Navigation innerhalbder unterschiedlichen Medienobjekte zu ermöglichen, wird eine Referenzachse(gemessen in Takten) verwendet. Dazu wurden die zu den Taktanfängen korrespon-dierenden Zeitpositionen in allen Medienobjekten bestimmt und manuell annotiert.Bei unseren Musikaufnahmen kann die Bestimmung die Taktanfänge berechnetwerden, da der Pianist die Aufnahmen mithilfe eines Metronoms eingespielt hat.Mithilfe der Taktart, dem für die Komposition gewählten Tempo und der Zeitpositiondes ersten Taktes, können alle Taktanfänge hinreichend genau ermittelt werden.Im Falle von Temposchwankungen könnten Methoden zur automatischen Musik-synchronisation verwendet werden (z. B. [EMG09]). Der Notentext ist ebenfallsin Takten angegeben. Alle weiteren Annotationen, wie z. B. weiterführende Erklä-rungen des Lehrers verwenden ebenfalls Zeitangaben in Takten, um eine direkteVerknüpfung mit der Referenzachse zu gewährleisten.

§ Leadsheet enthält Hauptmelodie und

Begleitharmonien in Akkordnotation

§ Zunächst wird die Melodie vorgestellt

§ Anschließend wiederholt sich die Harmonie

und Musiker spielen improvisierte Soli

§ Am Ende wird das Thema erneut gespielt

§ Aufnahmen werden mithilfe eines Metronoms eingespielt

§ Verknüpfung der verschiedenen Modalitäten wird über eine gemeinsame

Referenzachse (gemessen in Takten) hergestellt

§ Versatz zwischen den Modalitäten wird ausgeglichen

§ Notentext wird in 4-taktige Segmente geschnitten

§ Weitere Annotationen (z. B. ergänzende Erklärungen) werden hinzugefügt und

verlinkt (über Taktangaben)

Notentext

I Fall in Love Too Easily

Learning Goals:• Learn to play the melody in

your right hand!

Explanations:• 5: Thumb on C

ErgänzendeErklärungen

Visualisierungder Melodie

Notentext