Cross-entropy based combination of discrete probability distributions for distributed decision making

Abstract

Dissertation abstract Title: Cross-entropy based combination of discrete probability distributions for distributed de- cision making Author: Vladimíra Sečkárová Author's email: seckarov@karlin.mff.cuni.cz Department: Department of Probability and Mathematical Statistics Faculty of Mathematics and Physics, Charles University in Prague Supervisor: Ing. Miroslav Kárný, DrSc., The Institute of Information Theory and Automation of the Czech Academy of Sciences Supervisor's email: school@utia.cas.cz Abstract: In this work we propose a systematic way to combine discrete probability distributions based on decision making theory and theory of information, namely the cross-entropy (also known as the Kullback-Leibler (KL) divergence). The optimal combination is a probability mass function minimizing the conditional expected KL-divergence. The ex- pectation is taken with respect to a probability density function also minimizing the KL divergence under problem-reflecting constraints. Although the combination is derived for the case when sources provided probabilistic type of information on the common support, it can applied to other types of given information by proposed transformation and/or extension. The discussion regarding proposed combining and sequential processing of available data, duplicate data, influence...

dizertační práce Název práce: Kombinování diskrétních pravděpodobnostních rozdělení pomocí křížové entropie pro distribuované rozhodování Autor: Vladimíra Sečkárová Email autora: seckarov@karlin.mff.cuni.cz Katedra: Katedra pravděpodobnosti a matematické statistiky Matematicko-fyzikální fakulta, Univerzita Karlova v Praze Vedoucí disertační práce: Ing. Miroslav Kárný, DrSc., Ústav teorie informace a automatizace AV ČR, v.v.i. Email vedoucího: school@utia.cas.cz Abstrakt: Tato práce se zabývá návrhem systematického kombinování diskrétních pravděpo- dobnostních distribucí založeném na teorii rozhodování a teorii informace, konkrét- ně na křížové entropii (známé také jako Kullbackova-Leiblerova (KL) divergence). Optimální kombinací je pravděpodobnostní funkce minimimalizující podmíněnou střední hodnotu KL-divergence. Hustota pravděpodobnosti, která se váže k této střední hodnotě, rovněž minimalizuje KL-divergenci za podmínek vztažených k řešenému problému. Ačkoliv je kombinace odvozena pro pravděpodobnostní typ informace na společném nosiči, můžeme ji po transformaci a/anebo rozšíření použít i pro míchání jiných typů informace. Práce také zahrnuje diskuzi o navrho- vaném kombinování a...