Optical Recognition of Handwritten Music Notation

Abstract

Optical Music Recognition (OMR) is the field of computationally reading music notation. This thesis presents, in the form of dissertation by publication, contributions to the theory, resources, and methods of OMR especially for handwritten notation. The main contributions are (1) the Music Notation Graph (MuNG) formalism for describing arbitrarily complex music notation using an oriented graph that can be unambiguously interpreted in terms of musical semantics, (2) the MUSCIMA++ dataset of musical manuscripts with MuNG as ground truth that can be used to train and evaluate OMR systems and subsystems from the image all the way to extracting the musical semantics encoded therein, and (3) a pipeline for performing OMR on musical manuscripts that relies on machine learning both for notation symbol detection and the notation assembly stage, and on properties of the inferred MuNG representation to deterministically extract the musical semantics. While the the OMR pipeline does not perform flawlessly, this is the first OMR system to perform at basic useful tasks over musical semantics extracted from handwritten music notation of arbitrary complexity.

Rozpoznávání notopisu (Optical Music Recognition, OMR) je obor studující jak automaticky číst hudební notaci. Tato disertace prezentuje formou souboru publikovaných prací příspěvky k teorii, infrastruktuře a metodám OMR především pro ručně psanou notaci. Hlavními přínosy jsou (1) formální popis hudební notace pomocí notačního grafu (Music Notation Graph, MuNG), orientovaného grafu, ze kterého lze jednoznačně odvodit v notaci zakódovanou hudební sémantiku, (2) datová sada MUSCIMA++ hudebních rukopisů, které jsou anotovány pomocí MuNG, a lze ji tak využít pro trénování a evaluování libovolných systémů a podsystémů OMR, včetně extrakce hudební sémantiky a (3) systém rozpoznávání notopisu extrahující hudební sémantické informace z rukopisů, který používá strojové učení jak pro detekci notačních objektů, tak pro jejich usouvstažňování, a na základě takto automaticky vytvořené reprezentace pomocí MuNG deterministicky dopočítává sémantiku. Ačkoliv tento OMR systém stále dělá množství chyb, jedná se o první systém, který hudební rukopisy rozpoznává tak, že lze jeho výsledky využít na některé z úloh motivujících práci na OMR, a zpracovává libovolně komplikovanou notaci.