Shannonova formule
Nechť E₁, E₂, ..., E_n jsou navzájem disjunktní množiny a nechť je Počet prvků množiny E_k nechť je N_k; množina E tedy má prvků. Položme .
Víme-li o prvku množiny E, že patří do množiny E_k, pak k přesné charakterizaci tohoto prvku potřebujeme ještě log₂N_k jednotek informace. Proto potřebujeme pro charakterizaci prvku množiny E, když už víme, do které podmnožiny E_k patří, průměrnou informaci:

           

Informace potřebná pro charakterizaci prvku množiny E je ale složená ze dvou částí. Prvá část I1 udává, do které množiny Ek prvek patří, druhá část I2, určuje prvek v podmnožině Ek. Má-li být informace aditivní, musí platit:

           

Protože ,na určení toho, do které podmnožiny Ek prvek patří, je nutná informace
                    Shannonova formule

Je-li speciálně , dostáváme ze Shannonovy formule Hartleyho formuli.