Míra neurčitosti se nazývá entropií, protože připomíná entropii fyzikální. Obdoba je velmi hluboká, nelze však v žádném případě mluvit o totožnosti.
Entropie je tedy míra neurčitosti v nějaké zprávě X o daném systému. Tato míra neurčitosti se po příjmu zprávy odstraňuje a tím se vyjádří míra získané informace. Při růstu informace klesá entropie a naopak.
Entropie zprávy X je:
           

V praxi se užívá jednak logaritmů dvojkových ( dyadických ), pak entropie zprávy X je:
                jednotka je 1 bit

Někdy se také užívá logaritmů dekadických, pak entropie zprávy X je:
                jednotka je 1 dit (decit)

Platí:     1 bit = = 0.30103 dit
            1 dit = = 3.3219 bit

Entropii náhodné veličiny můžeme chápat i jako průměrné množství informace, které získáme, vykonáme-li několik nezávislých opakování této náhodní veličiny. Je to vlastně střední hodnota náhodné veličiny.