Generování hudebních symbolů pomocí neuronových sítí

Abstract

We create more training data for the optical music recognition (OMR) task by generating artificial images of the music symbols. We follow up Mashcima and the model J. Mayer trained on it. We take the Rebelo dataset (dataset of music symbol images), adjust it with some computer vision methods, and train generative neural networks (above all, variational and adversarial autoencoders) on it. By replacing some original images in Mashcima input with ones generated by those networks, we get more general performance from the model: For slightly worsening on the original dataset (CVC-MUSCIMA), we get much better results on the PrIMuS dataset. Also, we create very realistic synthetic images of music symbols.

Vytvořili jsme více trénovacích dat pro optické rozpoznávání notových zápisů (OMR) pomocí vygenerování umělých obrázků hudebních symbolů. V návaznosti na Mashcimu a model, který nad ní J. Mayer natrénoval, jsme vzali Rebelo dataset (dataset obrázků hudebních symbolů), upravili ho metodami počítačového vidění a natrénovali na něm generativní neuronové sítě (především variační a adversariální autoenkodéry). Nahrazením části původních obrázků v Mashcimě obrázky vygenerova- nými těmito sítěmi jsme dosáhli lepšího výkonu modelu: Za mírné zhoršení na původním datasetu (CVC-MUSCIMA) jsme získali o dost lepší výsledky na datasetu PrIMuS. Taktéž jsme vytvořili velmi realistické umělé obrázky hudebních symbolů.