Extrakce melodie pomocí hlubokého učení

Abstract

Extrakce melodie patří mezi nejdůležitější a nejtěžší úlohy oboru Music Information Retrieval, právě melodie je totiž tím hlavním, co si člověk po poslechu skladby odnáší a z podstaty se tedy často jedná o její nejvýraznější rys. Přítomnost hudebního dopro- vodu, který melodii podbarvuje, však pro algoritmické metody znemožňuje její průběh spolehlivě zachytit. V posledních letech se proto obor posouvá směrem k využívání metod hlubokého učení, které jsou schopny dřívější pravidlové systémy překonat. Na tyto práce navazujeme, představujeme tři nové metody a experimentálně ověřujeme volby, které jsme při jejich návrhu učinili. Ukazujeme, že nová architektura Harmonic Convolutional Neural Network, založená na úpravě vnitřního uspořádání obvyklé konvoluční sítě, díky které je schopna lépe zachytit harmonickou povahu jednotlivých tónů ze vstupních spektrogramů s logaritmickou osou frekvence, překonává state-of-the-art metody pro extrakci melodie na většině veřejně dostupných datasetech. 1

Melody extraction is arguably one of the most important and challenging problems in Music Information Retrieval. It is melody that we are likely to recall after listening to a song and so it is one of the most relevant aspects of music. However the presence of accompaniment in songs makes the task hard to address using rule-based methods. During the last years data-driven methods based on deep learning started to outperform methods traditionally used in the field. In this thesis we continue in these efforts and propose three new methods for melody extraction. Among these an architecture called Harmonic Convolutional Neural Network, based on a modification of convolutional neural networks to better capture harmonically related information in an input spectrogram with logarithmic frequency axis, was able to achieve state-of-the-art performance on several publicly available melody datasets. 1