From Retrieval to Reasoning: Leveraging Agentic AI in Czech Supreme Court Case Law Research

Abstract

(English) This thesis investigates whether a legally useful, retrieval-augmented case-law assistant for the Czech Supreme Court (NS) can be built-and meaningfully evaluated-by a non-engineer using contemporary generative-AI tooling. The prototype, Koncip, begins by constructing a NS "counter-archive": decisions are scraped and parsed, citations extracted, PageRank computed, and selected fields embedded; the corpus is further enriched via LLM-based summaries and extraction of legal issues and positions for ~30k highly cited cases. The data live in Elasticsearch behind a LangGraph research pipeline that orchestrates hybrid retrieval, LLM relevance scoring, citation-graph expansion, and final, source-grounded synthesis. In Research Question 1, 11 legal experts submitted 29 real queries and rated 24 reports across six dimensions. Average unweighted score was 1.63 (1=best). Reviewers reported substantial time savings (≈2.5+ hours/report) and praised transparent sourcing, structure, and orientation; key limitations were corpus incompleteness and reduced precision for highly specific, actionable asks. Research Question 2 compares Koncip with consumer models (o3, DeepThink R1, Claude 4 Sonnet, Gemini 2.5 Pro) with and without web search. With search on, frontier models led; Koncip ranked joint second in...

(Česky) Tato diplomová práce zkoumá, zda je možné, aby ne-programátor s využitím současných nástrojů generativní umělé inteligence vytvořil - a smysluplně vyhodnotil - asistenta pro rešerši judikatury Nejvyššího soudu ČR (NS) fungujícího na principu RAG (Retrieval-Augmented Generation). Prototyp s názvem Koncip nejprve vytváří archiv rozhodnutí Nejvyššího soudu: rozhodnutí jsou stažena a zpracována, jsou z nich extrahovány citace, vypočítán PageRank a vybraná pole převedena na vektorové reprezentace. Korpus je dále obohacen o shrnutí vytvořená pomocí velkých jazykových modelů (LLM) a extrakci právních problémů a právních vět pro přibližně 30 000 nejcitovanějších případů. Data jsou uložena v databázi Elasticsearch a rešeršní proces je řízen pomocí nástroje LangGraph, který kombinuje hybridní vyhledávání, LLM posouzení relevance, rozšíření vyhledávání o relevantní judikáty skrze citační síť a konečnou syntézu odpovědi založenou na zdrojích. V rámci první výzkumné otázky zadalo 11 právních expertů 29 reálných dotazů a ohodnotilo 24 vygenerovaných rešerší dle šesti kritérií. Průměrné nevážené skóre bylo 1,63 (kde 1 je nejlepší). Respondenti uvedli, že jim Koncip ušetřil značné množství času (přibližně 2,5 a více hodin na jednu rešerši) a ocenili transparentní citování zdrojů, strukturu a...