Kolmogorovovská složitost a Shannonova informace
Kolmogorov complexity and Shannon information
bakalářská práce (OBHÁJENO)
Zobrazit/ otevřít
Trvalý odkaz
http://hdl.handle.net/20.500.11956/118901Identifikátory
SIS: 213334
Kolekce
- Kvalifikační práce [11211]
Autor
Vedoucí práce
Oponent práce
Šámal, Robert
Fakulta / součást
Matematicko-fyzikální fakulta
Obor
Matematické metody informační bezpečnosti
Katedra / ústav / klinika
Informatický ústav Univerzity Karlovy
Datum obhajoby
29. 6. 2020
Nakladatel
Univerzita Karlova, Matematicko-fyzikální fakultaJazyk
Čeština
Známka
Výborně
Klíčová slova (česky)
Kolmogorovovská složitost, Shannonova informace, entropieKlíčová slova (anglicky)
Kolmogorov complexity, Shannon information, entropyV průběhu dvacátého století vznikly dvě úspěšné formalizace kvantitativního aspektu informace spojeným s komunikací zprávy: Shannonova informace a Kolmogorovovská slo- žitost. Obě zmíněné definice vyplývají ze dvou separátních odvětví matematiky. Shan- nonova informace vznikla jako aplikace elementární teorie pravděpodobnosti a statistiky. Je definovaná jako funkce v pravděpodobnosti s tím, že určuje jakýsi spodní odhad na binární kompresi. Kolmogorovovská složitost má na druhou stranu kořeny ve formální lo- gice a teorii řešitelnosti. Jedná se o délku minimálního algoritmického popisu zprávy. Je překrásným důsledkem, že za určitých podmínek tyto dvě veličiny vycházejí až na zane- dbatelnou chybu asymptoticky stejně. Moje práce má za úkol formálně zavést obě veličiny, porovnat jejich nedostatky, zaměřit se na jejich podobnosti a rozdíly a v neposlední řadě dokázat jejich zmíněný vztah. 1
There arose two successful formalisations of the quantitative aspect of information over the course of the twentieth century: Shannon information and Kolmogorov complexity. Both afore mentioned definitions are rooted in mostly separate parts of mathematics. Shannon's information came to existence as an application of the elementary theory of probability and statistics. It is defined as a function in probability, with it being a lower bound on binary compression. Kolmogorov complexity, on the other hand, springs from formal logic and theory of computability. Kolmogrov defined it as the length of a minimal algorithmic description of a message. It is a beautiful result that when certain conditions do apply then those two functions behave asymptotically equivalently. My thesis is concerned with formally defining both measures of information, comparing their drawbacks, highlighting their similarities and differences and at last but not least proving their coveted asymptotic relationship. 1