Mobile app for real-time exhibit recognition in a museum

Abstract

This thesis presents the development of a mobile application aimed at enhancing the museum experience by providing real-time image classification of exhibits. The appli- cation utilizes a fine-tuned MobileNet neural network, trained on frames extracted from video recordings of each exhibit. The model is converted to TensorFlow Lite format for efficient on-device inference. Users can point their mobile device's camera at an exhibit, and the application automatically captures images at regular intervals for classification. Upon recognizing an exhibit, the app retrieves and displays additional information, of- fering an interactive and informative guide for museum visitors.

Tato práce představuje vývoj mobilní aplikace zaměřené na vylepšení zážitku z ná- vštěvy muzea poskytováním klasifikace obrazů exponátů v reálném čase. Aplikace využívá jemně vyladěnou neuronovou síť MobileNet, vycvičenou na snímcích extrahovaných z vi- deozáznamů jednotlivých exponátů. Model je převeden do formátu TensorFlow Lite pro efektivní inference přímo na zařízení. Uživatelé mohou namířit kameru svého mobilního zařízení na exponát a aplikace automaticky v pravidelných intervalech zachytí snímky pro klasifikaci. Po rozpoznání exponátu aplikace načte a zobrazí další informace, čímž nabízí interaktivního a informativního průvodce pro návštěvníky muzea.