Claim Verification in E-mail Campaign Summarization

Abstract

Claim verification aims to determine whether a claim is supported by given evidence. This task is especially relevant for verifying documents generated by large language mod- els (LLM), which may contain hallucinated facts. We focus on verifying claims from reports describing threat indicators in malicious emails, a domain requiring reasoning over both structured metadata and unstructured text. We introduce two datasets for this setting and benchmark several verification approaches. We also propose COURT, a program-guided verification pipeline built around GAVEL, a domain-specific language in which an LLM generates programs combining deterministic computation with restricted semantic queries. Experiments show that COURT achieves performance competitive with a strong LLM judge while offering improved interpretability and lower inference costs.

Ověřování tvrzení se zabývá určením, zda-li je tvrzení pravdivé vzhledem k daným důkazům. Tato úloha je důležitá zejména při faktické kontrole dokumentů vygenerovaných velkými jazykovými modely (LLM), které mohou zanést vyhalucinovaná fakta. Zde se zaměřujeme na ověřování tvrzení ze zpráv popisující škodlivé e-maily, což je doména, která požaduje jak ověřování strukturovaných metadat, tak i volného textu. Pro tuto doménu uvedeme dva datasety a otestujeme na nich různé přístupy. Dále představíme COURT, což je metoda, při které LLM vygeneruje program v jazyce GAVEL, kterým se následně tvrzení ověří. GAVEL je programovací jazyk, který kombinuje symbolický výpočet se sémantickými dotazy. Experimenty ukazují, že COURT dosahuje velmi dobrých výsledků v porovnání s LLM soudcem, a navíc může mít menší provozní náklady.