Adaptive Handwritten Text Recognition

Abstract

Potřeba uchovávat a vyměňovat psané záznamy je klíčová pro lidskou společnost a k naplnění této potřeby v posledních tisíciletích ve velké míře slouží ručně psané písmo. Na rozdíl od úlohy rozpoznávání tištěného textu (OCR), která je v posledních desetiletích pozorně studována, úloha rozpoznávání ručně psaného textu (HTR) je, pro svou složi- tost, spíše opomíjena. Tato práce zkoumá možnosti uplatnění hlubokých konvolučních a rekurentních neuronových sítí v rozpoznání ručně psaného textu. Aby se předešlo obtížím způsobeným nedostatkem anotovaných dat, je navržen generátor syntetických dat vhod- ných pro předtrénováni použitých modelů, dále dotrénovaných metodou self-training v rámci široké sady experimentů. Navržené postupy jsou srovnány s dostupnými před- chozími výsledky, jak nad zavedenými datasety tak nad datasety nově vzniklými pro potřeby této práce. Toto srovnání potvrzuje vhodnost a úspěšnost navržených postupů. 1

The need to preserve and exchange written information is central to the human society, with handwriting satisfying such need for several past millenia. Unlike optical character recognition of typeset fonts, which has been throughly studied in the last few decades, the task of handwritten text recognition, being considerably harder, lacks such attention. In this work, we study the capabilities of deep convolutional and recurrent neural networks to solve handwritten text extraction. To mitigate the need for large quantity of real ground truth data, we propose a suitable synthetic data generator for model pre-training, and carry out extensive set of experiments to devise a self-training strategy to adapt the model to unnanotated real handwritten letterings. The proposed approach is compared to supervised approaches and state-of-the-art results on both established and novel datasets, achieving satisfactory performance. 1