Analysis of Real-World XML Queries

Abstract

Účelem této práce bylo shromáždit a analyzovat běžně používané XQuery programy. Ke sběru dat z internetu je nejčastěji využíván program zvaný crawler. Součástí této práce byla analýza různých crawlerů a výběr nejvhodnějšího z nich. Tento crawler byl následně upraven tak, aby nevytěžoval servery, sbíral správná data a bylo možné jeho činnost pozastavit. Před započetím sběru dat bylo nejprve nutné určit, kde bude vhodné začít a jak dlouho by celý proces měl trvat. Data jsme po stažení očistili, opravili a zvalidovali. Předmětem analýz bylo používání XQuery jazyka a jeho gramatických konstruktů (symbolů). Také jsme analyzovali XML dokumenty používané v XQuery programech a výstupy z XQuery programů. Hlavní přínosy práce jsou v množství stažených dat (v porovnání s jinými zdroji), v stažení XML dokumentů nad nimiž se dotazují, použití Analyzeru na analyzování reálných XQuery programů a spouštění těchto reálných XQuery programů nad jejich XML dokumenty.

The aim of this thesis was to gather and analyze the real-world XQuery programs. The data gathering process is usually performed using the crawler. Part of the thesis was to analyze different crawlers and to choose the most suitable one. The crawler was then modified, so it would not overload servers, gather the right data and be able to pause. Before main gathering two problems had to be solved - where to start the gathering and how long it will take. After the data were gathered, they were cleaned, corrected and validated. The subject of the analysis was usage of the XQuery language and its grammar symbols. We also analyzed the XML documents used by XQuery programs and outputs from the XQuery programs. The main contribution of this thesis is the amount of the gathered data (in comparison with other sources), as well as gathering XML documents which are being queried, using Analyzer for analyzing the real-world XQuery programs and running this real-world XQuery programs over gathered XML documents.