Vyjádření informační hodnoty je velmi obtížné. Každý objekt může být v každém časovém okamžiku v jednom z mnoha možných stavů. Různé jevy se vzájemně liší počtem možných stavů a zvláštnostmi jejich výběru (pravděpodobností výskytu jednotlivých stavů). V obecném pojetí je velikost informace dána uspořádaností (neurčitostí) soustavy prvků. Informace o systému je tím větší, čím je pravděpodobnost výskytů jednotlivých jeho stavů menší. Informace je větší, obsahuje-li zpráva něco nového, nebo co nelze snadno uhodnout (je málo pravděpodobné).
Původní teorie se opíraly o sdělovací techniku (základem je počet přenesených znaků za jednotku času). Se zavedením pravděpodobnosti se pomocí Shannonova vzorce kvantifikuje hodnota různých entit systému. Množství informace obsažené ve zprávě X souvisí s pravděpodobnosti P(X) s jakou může příjemce uhodnout obsah zprávy X, neboli jaká je pravděpodobnost výskytu dané zprávy u příjemce před jejím přijetím.
Platí:
Zpráva, která nese informaci o stavu systému, který je jistý (jednoznačný), nenese žádnou informaci. Pravděpodobnost výskytu jisté zprávy je P(X)=1 a množství informace:
Nechť se zpráva X skládá ze dvou nezávislých výskytů zpráv A, B. Celková informace I(X), kterou získá příjemce je rovna součtu jednotlivých informací I(A) a I(B):
přičemž pravděpodobnost zprávy X dvou nezávislých jevů je rovna:
Po úpravě dostaneme:
Tabulka největších informačních obsahů soustav (v bitech)
