Optical Recognition of Handwritten Music Notation
Rozpoznávání ručně psaného notopisu
dizertační práce (OBHÁJENO)
![Náhled dokumentu](/bitstream/handle/20.500.11956/110342/thumbnail.png?sequence=8&isAllowed=y)
Zobrazit/ otevřít
Trvalý odkaz
http://hdl.handle.net/20.500.11956/110342Identifikátory
SIS: 153947
Kolekce
- Kvalifikační práce [10923]
Autor
Vedoucí práce
Oponent práce
Fujinaga, Ichiro
Černocký, Jan
Fakulta / součást
Matematicko-fyzikální fakulta
Obor
Matematická lingvistika
Katedra / ústav / klinika
Ústav formální a aplikované lingvistiky
Datum obhajoby
13. 6. 2019
Nakladatel
Univerzita Karlova, Matematicko-fyzikální fakultaJazyk
Angličtina
Známka
Prospěl/a
Klíčová slova (česky)
Rozpoznávání notopisu, Graf hudební notace, Rekonstrukce notace, Detekce objektů, Strojové učení, Počítačové zpracování hudbyKlíčová slova (anglicky)
Optical Music Recognition, Music Notation Graph, Notation Assembly, Object Detection, Machine Learning, Music Information RetrievalRozpoznávání notopisu (Optical Music Recognition, OMR) je obor studující jak automaticky číst hudební notaci. Tato disertace prezentuje formou souboru publikovaných prací příspěvky k teorii, infrastruktuře a metodám OMR především pro ručně psanou notaci. Hlavními přínosy jsou (1) formální popis hudební notace pomocí notačního grafu (Music Notation Graph, MuNG), orientovaného grafu, ze kterého lze jednoznačně odvodit v notaci zakódovanou hudební sémantiku, (2) datová sada MUSCIMA++ hudebních rukopisů, které jsou anotovány pomocí MuNG, a lze ji tak využít pro trénování a evaluování libovolných systémů a podsystémů OMR, včetně extrakce hudební sémantiky a (3) systém rozpoznávání notopisu extrahující hudební sémantické informace z rukopisů, který používá strojové učení jak pro detekci notačních objektů, tak pro jejich usouvstažňování, a na základě takto automaticky vytvořené reprezentace pomocí MuNG deterministicky dopočítává sémantiku. Ačkoliv tento OMR systém stále dělá množství chyb, jedná se o první systém, který hudební rukopisy rozpoznává tak, že lze jeho výsledky využít na některé z úloh motivujících práci na OMR, a zpracovává libovolně komplikovanou notaci.
Optical Music Recognition (OMR) is the field of computationally reading music notation. This thesis presents, in the form of dissertation by publication, contributions to the theory, resources, and methods of OMR especially for handwritten notation. The main contributions are (1) the Music Notation Graph (MuNG) formalism for describing arbitrarily complex music notation using an oriented graph that can be unambiguously interpreted in terms of musical semantics, (2) the MUSCIMA++ dataset of musical manuscripts with MuNG as ground truth that can be used to train and evaluate OMR systems and subsystems from the image all the way to extracting the musical semantics encoded therein, and (3) a pipeline for performing OMR on musical manuscripts that relies on machine learning both for notation symbol detection and the notation assembly stage, and on properties of the inferred MuNG representation to deterministically extract the musical semantics. While the the OMR pipeline does not perform flawlessly, this is the first OMR system to perform at basic useful tasks over musical semantics extracted from handwritten music notation of arbitrary complexity.