Hartleyho formule
Jestli chceme zavést míru množství informace, musíme zapomenout na formu i druh informace. Postupujeme podobně jako telegrafní oddělení pošty, které při výpočtu poplatku za telegram bere v úvahu pouze počet slov telegramu.
Je účelné měřit množství informace nacházející se v nějaké zprávě počtem znaků, které je potřeba na nejstručnější formulaci jejího obsahu. Je možné použít libovolný systém znaků (kód). Měřená informace se pak překládá (kóduje) do tohoto systému. Základy kódování a dekódování jsou obsahem další (4.) kapitoly. Např. písmena abecedy je možno nahradit číslicemi, místo desítkové soustavy čísel je možno použít dvojkovou (dyadickou) soustavu atd. Nahrazením písmen abecedy znaky, které jsou složené z 0 a 1, můžeme každou informaci přeložit do takovéto posloupnosti.
Např. pro abecedu s 32= znaky (A;B;C;D;E;F;G;H;I;J;K;L;M;N;O;P;R;S;T;U;V;W;X;Y;Z; ;,;.;-;?;!) můžeme každému znaku přiřadit pětimístné číslo dvojkového systému.



Je proto přirozené měřit množství informace ve zprávě počtem znaků, které jsou nutné pro vyjádření zprávy nulami a jedničkami. Takto budou zprávy rozličné formy a rozličného druhu navzájem srovnatelné co se týče obsahu jejích informace. Čím se znak vyskytuje častěji, tím má menší informační hodnotu. „Vzácnější“ znak obsahuje vyšší informační hodnotu.
Když dostáváme nějakou informaci, je pro nás nová často jenom její část. Má-li např. Zlín telefonní předvolbu 067, tak už dopředu víme, že občan Zlína bude mít první trojčíslí telefonního čísla 067. Každou informaci je možno chápat jako určení nějakého prvku nějaké množiny. Jestli víme o prvku jenom tolik, že patří do množiny E, tak se prostřednictvím informace dozvídáme, který prvek množiny E to je. Množství získané informace závisí zřejmě na tom, kolik prvků má množina E. Jestli má množina E přesně N=2ⁿ prvků, pak je možno očíslovat n-místními čísly ve dvojkové soustavě. Pro přesnou charakterizaci libovolného prvku množiny E stačí n-členná posloupnost nul a jedniček. Z N=2ⁿ vyplývá, že
To přivedlo R. V. L. Hartleyho na myšlenku definovat množství informace nutné k charakterizaci prvku množiny
E o N prvcích pomocí log2N i tehdy, není-li N mocninou čísla 2.
Označme I(E_N) množství informace, které je nutné k charakterizaci prvku množiny E_N o N prvcích. Definujeme-li množství informace formulí

                    Hartleyho formule.

Je účelné požadovat, aby každá funkce, kterou definujeme I(E_N), splňovala následující postuláty:



Postulát a) říká, že informace je aditivní veličina. Postulát b) říká, že charakterizace prvků větší množiny obsahuje víc informace. Postulát c) je možno chápat jako stanovení jednotky informace.
V případě 2ⁿ < N 2ⁿ⁺¹ potřebujeme k charakterizaci prvků množiny E ne n ale n+1 dyadických znaků.
Pro popsání všech znaků české abecedy (prvků množiny E) potřebujeme nk dyadických znaků, přičemž platí:

           

Tento vzorec je možné zobecnit. Jestliže množina M obsahuje m symbolů o stejné pravděpodobnosti výskytu, tedy s pravděpodobností p=1/m, vyslání každého symbolu nese kvantum informace H podle vzorce

           

kde K je konstanta odpovídající zvolenému základu logaritmů:

        b=2         binární jednotka - bit
        b=10       desítková jednotka - decit
        b=e         jednotka natural - nat.