3.2.1. Vlastnosti entropie

1) Entropie je spojitá a nezáporná funkce - všechny náhodné procesy mají nezápornou neurčitost.
2) Není jednoznačnou funkcí svých argumentů, tzn. může nabývat téže hodnoty pro různé hodnoty svých argumentů
3) Entropie je rovna nule tehdy a jenom tehdy, když pravděpodobnost výskytu některého znaku x_i je
    p(x_i) = 1 p(x_j) = 0 pro všechny i j.

Často se vyjadřuje průměrná entropie systému jako míra průměrné neurčitosti jednoho stavu systému. Může-li systém nabývat s možných stavů s pravděpodobnostmi p₁, p₂, ..... ,p_s pak průměrná entropie je rovna:

               
Z počtu pravděpodobnosti je známo, že , neboť se jedná o stavy, které jsou nezávislé (disjunktní). Po zjednodušení:
               

pro p₁= p₂= ..... =p_s=1/s
               

Jsou-li pravděpodobnosti výskytu jednotlivých stavů stejné, má zpráva maximální entropii
               

Naopak, jsou-li pravděpodobnosti výskytu jednotlivých stavů různé entropie je:
               

Je-li skutečná entropie menší než maximální, znamená to, že zdroj se plně nevyužívá - redundance (nadbytečnost) zdroje:
                    kde je účinnost zdroje.

Množství informace, které získáváme zprávou budeme měřit jako úbytek entropie systému, o kterém zprávu dostáváme. Systém pak považujeme za zdroj informace.
Mějme nějaký systém X. Než dostaneme zprávu o jeho stavu je jeho entropie H_X. Po obdržení přesné zprávy o stavu systému X je jeho entropie . Informace I_X o systému X, kterou jsme získali, je:

               

Množství informace, které dostaneme ve zprávě sdělující nám přesný stav nějakého systému je rovno entropii tohoto systému.