3 Informace

3.2 Entropie

Jedno z hledisek, podle kterých můžeme rozdělit dění v přírodě, je dělení na děje deterministické a náhodné (pravděpodobnostní). V pravděpodobnostních procesech zůstává vždy jistá neurčitost výsledku. V dějích deterministických je neurčitost rovna 0.
Ze základních pojmů počtu pravděpodobnosti víme, že množina událostí { A₁, A₂, ... , A_n } je úplná, nastane-li právě vždy jedna z těchto událostí. Pravděpodobnosti těchto událostí označíme p₁, p₂, ..... , p_n. Součet těchto pravděpodobností je rovný jedné (jistá událost). Velikost neurčitosti tedy záleží na celkovém počtu možných výsledků a na pravděpodobnosti výskytu jednotlivých výsledků.
Míra neurčitosti i-tého výsledku H_i pak bude funkcí pravděpodobnosti p_i
           

Přitom platí:     a) f(1) = 0
                       b) f(p_i) je monotónní klesající funkcí pravděpodobnosti p_i, tj. f(p_i) < f(p_i), pro p_i > p_j

Jediná funkce, která těmto podmínkám vyhovuje, je funkce logaritmického tvaru:
           

kde c je libovolná konstanta. ( Zvolíme-li c = -1, dostaneme H kladné. )