Ses teknolojisinde Türk müziğine özgü tasarımlar

Notalar üzerinden otomatik ezgi bölütleme ve ezgi analizi

Automatic phrase segmentation

on symbolic data

Culture specific approaches in music technology: Turkish music case

M. Kemal Karaosmanoğlu

PresenterPresentation NotesI’m going to talk about a Turkish makam music phrase collection, and preliminary studies built on it. These scores and phrases are in symbolic format such as MIDI and MusicXML, so they are easily readable by the computers. Scores were segmented into phrases by experts of this music. We shared automatic phrase segmentation tools written it Matlab also… As an exampe I’ll present our newly proposed system which uses two novel features, a makam-based and an usul-based feature.

Turkish makam music (TMM) and computational musicology

Automatic melodic segmentation is the first step for computational research and MIR. Computational studies dedicated to melodic analysis for TMM are mainly based on pitch class distribution.

Fo fill this gap we collected a score database consisting of manually segmented melodic phrases and used them to do automatic melodic segmentation.

PresenterPresentation NotesTMM* ve Hesaplamalı MüzikolojiOtomatik ezgi bölütlemesi hesaplamalı müzikoloji araştırmalarındaki ve müzik bilgi erişimi alanındaki ilk adımdır. TMM için ezgi analizine yönelik şimdiye çalışmalar esas olarak perde dağılımlarına dayanmaktadır.Bu boşluğu doldurmak amacıyla elle ezgisel cümleciklere ayrılmış bir basılı nota koleksiyonu oluşturduk ve bu malzemeyi otomatik ezgi analizi için kullandık.

Melodic Analysis

Melodic analysis practice is part of the conservatory education today. But in the TMM musicology literature, there isn’t any explicitly formalized methodology for it.

In this work, we target the development of an automatic segmentation system for TMM at phrase level.

PresenterPresentation NotesBugün konservatuvar ve Türk musikisi dernek ve vakıf mensuplarının eğitiminde ezgi analizi konusu işlenmektedir. Fakat TMM müziği literatüründe kabul görmüş bir metodoloji yoktur.Biz bu çalışmamızda, TMM müziği için cümlecik düzeyinde otomatik bölütleme tekniği geliştirmeyi hedefledik.

Segmentation

The Gestalt principles were first considered as an automatic segmentation methodology by Tenney & Polansky. Following this work, various computational studies implemented. These algoritms mainly based on two principles: Discontinuity: Phrase boundaries are generally

located wide musical interval change points and/or at large pitch duration change points.

Musical parallelism: Known motifs are generally located at phrase boundaries.

PresenterPresentation NotesBölütleme.İnsan zihniyle ilgili psikolojik bir disiplin olan Geştalt ilkelerinden otomatik bölütleme yöntemi olarak yararlanıabileceğini ilk öngörenler Tenney ve Polansky adlı müzikologlardır.Onların çalışmasından sonra çeşitli hesaplamalı yöntem geliştirilmiştir.Bu algoritmalar esas olarak iki ilkeye dayanır:Süreksizlik ilkesi: Ezgi sınırlarının çoğunda geniş müzikal aralıklarda ve/veya perde sürelerinde büyük değişimler vardır,Paralellik ilkesi: Önceden bilinen motifler, genellikle ezgi sınırlarında yer alır.

Example

(Let’s try to segment into phrases in your mind while listening.)

PresenterPresentation NotesBu ilkeyi bir örnek üzerinde irdeleyelim. Dinlerken zihninizde cümleciklere ayırmayı deneyin.

A segmentation example

PresenterPresentation NotesBen zihnimde sınırları buralara koydum.Bakalım Tenne – Polansky algoritması nereleri öngörüyor.

Tenney & Polansky algorithm

Units:

Duration (Delay time) : x Pitch interval: 1 semitone

PresenterPresentation NotesTP zaman boyutundaki değişimleri 16’lık nota ve müzikal aralık değişimlerini yarı-ton cinsinden gösteriyor. Bunlar toplanarak bir tür uzaklık hesaplanıyor ve yerel maksimumlar sınır noktaları olarak öngörülüyor.

Tenney & Polansky algorithm - Local maxima

(6 < 5) and (5 > 7) ? x 5 < 7 > 4 ? + 7 < 4 > 3 ? –

PresenterPresentation NotesYerel maksimumları belirlemek için komşu «uzaklık»lar üçer üçer gruplanır ve ortadaki değerin öncekinden ve sonrakinden büyük olduğu noktalar ezgi sınırı olarak işaretlenir.İlk 3 müzikal özellikten ortada olan, komşularından büyük olmadığı için bu nokta bir cümlecik sınırı değildir.

./..

6 < 5 > 7 ? - 5 < 7 > 4 ? + (7 < 4) and (4 > 3) ? x

PresenterPresentation Notes2., 3., ve 4. müzikal özellikler karşılaştırıldığında ise, ortada olan 7, 5’ten de 4’ten de büyük olduğu için, bu nokta bir cümlecik sınırıdır.(Fakat komşularından çok farklı olmadığı için bu nokta tereddütlü bir sınırdır. Muhtemelen demin çoğumuz burada bir sınır öngörmemişizdir.)

./..

PresenterPresentation NotesDaha iyi görmek için, «uzaklık»ları grafik olarak gösterelim. Demin hesapladığımız yerel maksimum, ilk tepe noktasıdır.(Hem sürenin [12] hem müzikal aralığın [16] büyük olduğu nokta ise kesin bir sınırdır. Muhtemelen demin herkes burada bir sınır algılamıştı.)

LBDM (Local Boundary Detection Model)

Additionally rests are also considered. Provides probabilities only.

PresenterPresentation NotesYerel sınır belirleme modeli: Ek olarak sus işaretleri dikkate alınır. Her nota için sınır olma olasılığı vardır.

Workflow – 1 Database Design

• Selected pieces composed in the most commonly used 16 makams:

Acemaşiran, Beyati, Buselik, Hicaz, Hicazkar, Hüseyni, Hüzzam, Kürdilihicazkar, Mahur, Muhayyer, Neva, Nihavent, Rast, Saba, Segah and Uşşak

• With a uniform distribution in time, from 17th century to today, dividing four main periods: Nr. Period Composer

I (…- 1750] Itri II (1750-1850] Dede Efendi III (1850-1930] Hacı Arif Bey IV (1930-…] Sadettin Kaynak

PresenterPresentation NotesSüreç:Veritabanı tasarımı.Seçilen eserler en yaygın 16 makamdan: Acemaşiran, …, Uşşak.17. yy’dan bugüne dört döneme ayırarak ve eserleri dönemlere olabildiğince eşit yayarak belirledik.O dönemlere damgasını vurmuş bestecilerin eserlerine ağırlık verdik.

./..

• Overall, a set of 480 pieces was collected consisting of 30 pieces for each of the 16 distinct makams

• Three experts were asked to mark the phrase boundaries and çeşni/geçki modulations on printed scores.

PresenterPresentation NotesHer bir makamdan 16’şar eser seçilmek suretiyle toplam 480 eserin notasını yazdık/derledik.3 uzmandan bu basılı notalar üzerinde cümlecik sınırlarını ve geçki/çeşnileri işaretlemelerini istedik.

Workflow – 2 Annotating

Each piece was annotated by at least two experts

PresenterPresentation NotesEtiketleme.Her bir eser.en az 2’şer uzman tarafından etiketlendi,

Workflow – 3 Converting

Data were converted into machine-readable SymbTr format using a special interface.

PresenterPresentation NotesBunlar özel bir arabirim kullanılarak bilgisayarca okunabilen SymbTr adlı formataa kaydedildi.

./..

SymbTr Code NoteName NoteName Pitch Pitch Num. Denum. Ms LNS VelOn Lyrics Offset

9 Mi5 E5 336 336 1 4 1000 95 96 Tal 0.2 9 Mi5 E5 336 336 1 8 500 95 96 A 0.3 9 Sol5 G5 349 349 1 8 500 99 96 tın 0.4 … … … … … … … … … … … … 9 Sol5 G5 349 349 1 16 250 99 96 0.65

9 Fa5#2 F5#1 342 341 1 16 250 95 96 0.7 9 Mi5 E5 336 336 3 8 1500 95 96 dev 1 53 1

54 dilkeshaveran@fa5#5 1 9 Mi5 E5 336 336 1 4 1000 95 96 ri 1.2 9 Mi5 E5 336 336 1 8 500 95 96 ka 1.3 … … … … … … … … … … … … 9 Mi5 E5 336 336 1 8 500 95 96 1.7 9 Mi5 E5 336 336 1 4 1000 95 96 de 1.9 53 1.9

9 -1 -1 1 8 500 100 2

PresenterPresentation NotesBöylelikle tüm işaretleri basılı notalar üzerinde topluca görmek mümkün hale geldi.SymbTr ayrı bir makalede ayrıntılı olarak anlatıldığı için burada tekrarlamayacağım.Fakat nota bilgisi, süre bilgisi ve notayla eşleşen heceleri birer metin dosyasında topladık.

Segmentation Statistics

Number of pieces Number of phrases Expert 1 488 20 293 Expert 2 200 4 312 Expert 3 201 6 757

Total 889 31 362

PresenterPresentation NotesGeri dönüşler tablodaki gibi (Uzman-1 tümünü bölütledi, Uzman-2 ile 3 yaklaşık yarısını…)Uzman-2 ile 3 aynı sayıda eseri bölütledikleri halde, cümlecik adetleri % 50 kadar farklı.

Coding

In order to be able to use the MIDI Toolbox, the SymbTr format was directly converted to the notematrix representation of that package. Minor modifications are made in order to cope with the microtonal MIDI information represented with fractional numbers in our data. New algorithms were implemented.

PresenterPresentation NotesMatlab platformunda çalışan MIDI Toolbox’taki araçları kullanabilmek için SymbTr formatındaki verileri dönüştüren bir kod yazmak gerekti. Notematrix adlı bu formatta da, TMM verilerini temsil edebilmek için değişiklikler yaptık.Ayrıca yeni modüller yazıldı.

Process In this work, we follow the data-driven approach and use machine-learning technics.

We used a LOO (leave-one-out)-like procedure in the segmentation experiments:

• Remove one of the pieces, • Train the system using remaining material, • Otomatically segment removed piece, • Compare expert’s and computer’s results. Repeat these processes for all pieces.

PresenterPresentation NotesSüreç.Bu çalışmada veri-tabanlı bir yaklaşım izledik ve yapay öğrenme tekniklerini kullandık.Biririni-dışarda-bırak diye Türkçeleştirilebilecek bu sürecin işleyişi şöyledir:Bir eseri veri kümesinden çıkardık; kalan eserler için, çıkarılan eserin makam ve usulündeki eserlerden o makam ve o usul için cümlecik sınırlarının nerelerde olduğunu bilgisayara öğrettik; sonra bu öğrendiklerine göre çıkarılan eseri bölütlettik. En sonunda da, o uzmanın bölütlemeleriyle bilgisayarın yaptığı bölütlemelerin uyum düzeyini karşılaştırdık.Bu işlemler dizisini her eser için tekrarladık.

Novel features

They are derived from probabilities of a pitch to appear at the boundary based on the makam and the usul of the piece.

The probabilities are obtained from phrase boundary distributions computed for makam pitches and usul beats.

PresenterPresentation NotesYeni özniteliklerBunlar, sınırda yer alan bir perdenin, eserin makam ve usulüne bağlı olasılıklarından türetildi.Olasılıklar, makam perdeleri ve usul vuruşları için hesaplanan cümlecik sınırı dağılımlarından elde edildi.

Makam-based features

Distributions computed with respect to pitches of makam Hicaz and from the three experts’ data.

Distributions obtained from different datasets are very similar, indicating that all experts made similar choices with respect to these parameters.

Picthes on the phrase boundary locations

PresenterPresentation NotesMakam-tabanlı öznitelik.Hicaz makamındaki eserler için 3 uzmanın verilerinden hesaplanan ölçekli dağılımlar.Farklı veri kümelerinden elde edilen dağılımların birbirlerine çok benzemesi, uzmanların seçimlerini perdelerin makamdaki fonksiyonlarına göre yaptıklarını göstermektedir.

Scale of makam Hicaz

PresenterPresentation NotesMakam-tabanlı öznitelik.Hicaz makamındaki eserler için 3 uzmanın verilerinden hesaplanan ölçekli dağılımlar.Farklı veri kümelerinden elde edilen dağılımların birbirlerine çok benzemesi, uzmanların seçimlerini perdelerin makamdaki fonksiyonlarına göre yaptıklarını göstermektedir.

Usul-based features

Distributions computed with respect to 16th note onsets in the usul cycle Aksak (9/8) from the three datasets. Distributions obtained from different datasets are very similar, indicating that all experts made similar choices with respect to these parameters. Usul beat positions and phrase boundaries locations

PresenterPresentation NotesUsul-tabanlı öznitelik.9/8’lik Aksak usulündeki eserler için 3 uzmanın verilerinden hesaplanan dağılımlar.Farklı veri kümelerinden elde edilen dağılımların birbirlerine çok benzemesi, uzmanların işaretlerini vuruş numarasına göre de koyduklarını göstermektedir.

Beats of usul Aksak

PresenterPresentation NotesUsul-tabanlı öznitelik.9/8’lik Aksak usulündeki eserler için 3 uzmanın verilerinden hesaplanan dağılımlar.Farklı veri kümelerinden elde edilen dağılımların birbirlerine çok benzemesi, uzmanların işaretlerini vuruş numarasına göre de koyduklarını göstermektedir.

Test results

Dataset 1 Dataset 2 Dataset 3

Makam-based feature % 25.0 % 16.3 % 23.1

Usul-based feature % 50.1 % 36.6 % 46.3

Measure of consistency between makam- and usul-based features and three experts (F-measure)

The test results show that the two features carry complimentary information to existing features in the literature. Their inclusion led to statistically significant improvement in automatic segmentation.

PresenterPresentation NotesTest sonuçlarıBu tablo yalnızca bu iki özniteliğe göre yapılan otomatik bölütlemelerle uzmanların işaretlemelerinin uyum düzeyini gösteriyor.Özellikle usul-tabanlı özniteliğin tek başına yüksek bir performans gösterdiği görülüyor.Literatürdekilerle birlikte bu iki özniteliği de kullanınca, şu ana kadarki en yüksek başarı yakalanıyor.

Shared materials

Symbolic data in text file format, computer codes and scanned images of the scores with manual segmentations.

The database can be accessed on:

http://akademik.bahcesehir.edu.tr/~bbozkurt/112E162_en.html

or http://www.rhythmos.org/shareddata/turkishphrases.html

PresenterPresentation NotesPaylaştığımız malzemeler:Metin formatında sembolik veri,Bilgisayar kodları veElle bölütlenmiş notaların taranmış dosyaları.

http://akademik.bahcesehir.edu.tr/~bbozkurt/112E162_en.htmlhttp://www.rhythmos.org/shareddata/turkishphrases.html

Thanks…

karaosmanoglum@itu.edu.tr

This work is supported by the Scientific and Technological Research Council of Turkey, TUBITAK, Grant [112E162]

Ses teknolojisinde Türk müziğine özgü tasarımlarTurkish makam music (TMM) and computational musicologyMelodic AnalysisSegmentationExampleA segmentation exampleTenney & Polansky algorithmTenney & Polansky algorithm -�Local maxima./.../..LBDM �(Local Boundary Detection Model)Workflow – 1�Database Design./..Workflow – 2�AnnotatingWorkflow – 3�Converting./..Segmentation StatisticsCodingProcessNovel featuresMakam-based featuresScale of makam HicazUsul-based featuresBeats of usul AksakTest resultsShared materialsThanks…