Learning to solve geometric construction problems from images

Abstract

Konstrukce geometrických problémů pomocí kružítka a pravítka je problém, kterým se lidé zabývají už tisíce let. Lidé jsou schopni řešit geometrické problémy bez znalosti ana- lytického modelu popisujícího jednotlivá geometrická primitiva problému. Většina metod pro počítač analytický model vyžaduje. V této práci představíme metodu pro řešení geometrických konstrukcí s přístupem pouze k obrazové informaci dané scény. Metoda používá Mask R-CNN, konvoluční neuronovou síť pro detekci a segmentaci objektů v obrázcích a videích. Výstupem Mask R-CNN jsou masky a bounding boxy s názvy objektů detekovaných ve vstupním obrázku. V této práci přizpůsobíme architekturu Mask R-CNN pro řešení geometrických konstrukcí ze vstupního obrázku. Vytvoříme model, který nám umožní získat jednotlivé kroky geometrických konstrukcí z masek získaných pomocí Mask R-CNN a popíšeme jak tento model natrénovat. Řešit geometrické problémy tímto způ- sobem je však obtížné protože se musíme vypořádat s detekcí geometrických primitiv a ne- jednoznačností konstrukce. Jeden geometrický problém má nekonečně mnoho konstrukcí. Náš model by měl být schopen vyřešit problémy na kterých nebyl natrénován. Abychom vyřešili modelu neznámé konstrukční problémy, vyvinuli jsme prohledávací algoritmus, který prohledává prostor hypotéz navrhnutých Mask R-CNN...

Geometric constructions using ruler and compass are being solved for thousands of years. Humans are capable of solving these problems without explicit knowledge of the analytical models of geometric primitives present in the scene. On the other hand, most methods for solving these problems on a computer require an analytical model. In this thesis, we introduce a method for solving geometrical constructions with access only to the image of the given geometric construction. The method utilizes Mask R-CNN, a convolutional neural network for detection and segmentation of objects in images and videos. Outputs of the Mask R-CNN are masks and bounding boxes with class labels of detected objects in the input image. In this work, we employ and adapt the Mask R- CNN architecture to solve geometric construction problems from image input. We create a process for computing geometric construction steps from masks obtained from Mask R- CNN and describe how to train the Mask R-CNN model to solve geometric construction problems. However, solving geometric problems this way is challenging, as we have to deal with object detection and construction ambiguity. There is possibly an infinite number of ways to solve a geometric construction problem. Furthermore, the method should be able to solve problems not seen during the...