Srovnání logistické regrese a rozhodovacích stromů

Abstract

Tato práce pojednává o klasifikaci binárních dat s využitím dvou často používaných metod - logistické regrese a rozhodovacích stromů. Tyto dvě metody přistupují ke klasifikaci rozdílným způsobem, a proto je cílem této práce porovnat úspěšnost jejich předpovědí. Nejprve je zaveden model logistické regrese a odhad jeho parametrů pomocí metody maximální věrohodnosti. Dále se práce věnuje rozhodovacím stromům, jakožto jednomu z hlavních klasifikačních nástrojů. Popsány jsou zde starší klasické algoritmy CART a C4.5 a taktéž novější algoritmy QUEST a CRUISE. Předpovědi obou metod jsou ukázány na reálné sadě dat.

In this thesis we describe a classification of the binary data. For discussing this problem we use two well-known methods - logistic regression and decision trees. These methods deal with the problem in different way, so our aim is to compare a successfulness of their predictions. At first a model of logistic regression is introduced and we show how to estimate its parameters using a method of maximum likelihood. Then we describe decision trees as one of the most popular classification tools. There are discussed older classic algorithms CART and C4.5 and also two new algorithms GUEST and CRUISE. The predictions of both of the methods are shown on a real data example.