Online Handwritten Mathematical Formulae Recognition

Abstract

V práci se zabýváme online rozpoznáváním ručně psaných matematických formulí. Po obecném úvodu do problematiky představíme některé v současnosti používané metody a detailněji zhodnotíme vybrané existující aplikace. Dále popíšeme naše vlastní řešení probíhající ve dvou krocích. V prvním kroku dochází k detekci symbolů, která je založena na vyhodnocování časových a prostorových závislostí jednotlivých tahů. Symboly jsou poté rozpoznány metodou, jež kombinuje existující externí knihovnu s algoritmy vycházejícími z množiny ručně definovaných pravidel a rozpoznávání vzorů. Ve druhém kroku zkoumáme strukturu formule pomocí metody, která spojuje popis formule využívající formální gramatiku se statistickým ohodnocováním jednotlivých jejích částí. V práci popisujeme také implementaci programu jako webové aplikace a zabýváme se i souvisejícím problémem sběru vstupních dat.

In this thesis, we deal with online recognition of handwritten mathematical formulas. We provide an introduction to the field of study, discuss the current state of the art and survey several existing implementations in detail. Then we present our own solution comprehending two steps. In the first step, individual symbols are detected utilizing temporal and spatial relations of the handwritten strokes. Then we recognize the symbols by combining results provided by an existing third party library with our rule based methods and template symbols matching. In the second step, a structure of the formula is examined. We introduce a novel approach incorporating a grammar based description of the formula with a statistical evaluation of the subexpressions. We also discuss related problems comprehending implementation of the recognizer as a web application and acquisition of the sample data.