V denním životě dostáváme neustále různé informace (dozvídáme se telefonní číslo), získané informace nějakým způsobem uchováme (např.zapisujeme si do notesu),odevzdáváme je dál atd. Při dopravování informací je často nutné zpracovat je rozličnými způsoby. Například při odesílání telegramu se písmena textu mění na speciální znaky, u televizního přenosu se části obrazu mění na rychle za sebou následující znaky,které jsou dále dopravovány prostřednictvím elektromagnetických vln. Použití výrazu informace ve významu zpráva, údaj, sdělení, poučení bylo rozšířeno až od 50.let. Tehdy se z rozvojem přenosu signálů,teorie telekomunikací, kybernetiky a elektronických počítačů vyčlenily nové samostatné obory. Jedním z nich byla teorie informace. Teorie informace je tedy jedním z nejmladších odvětví teorie pravděpodobnosti a tvoří část obecné kybernetiky. Zabývá se matematickými problémy, vznikajícími při získávání, uchování a přenášení informace. Teď se ale vraťme v historii o několik let zpět. Původně byl zájem teorie informace soustředěn na technickou informaci. Vědci vycházeli z potřeb sdělovací techniky-přenést maximum zpráv v nejkratším čase a co nejbezpečněji. Další oblasti bylo zajištění potřebných informací pro řízení strojů. Teorie informace hledala kvantitativní vyjádření fyzikálního obsahu přenášené zprávy jako míry neurčitosti v této zprávě. Proto se také původně hovořilo o teorii sdělování, komunikace a přenosu. První pokusy o kvantifikaci přenášené informace jsou z roku 1924. Küpfmüller vyjádřil obsah zprávy rovnicí
k = B T
kde k znamená kvantum informace,
B potřebnou šíři frekvenčního pásma přenášených signálů,
T znamená dobu trvání zprávy převedené na signály.
Podstatný zvrat v chápání informace znamenala publikace R. V. L. Hartleyho „Přenos informací“ v roce 1928. V jeho chápání odesílatel disponuje soustavou symbolů, z kterých vytváří posloupnosti. Hartley upravil vzorec pro měření kvantity informace I na formu
kde s je počet symbolů se stejnou pravděpodobnosti výskytu a n je celkový počet symbolů ve zprávě. Za datum zrození teorie informace možno považovat objevení se dnes již klasických prací amerického matematika Claude E. Shannona koncem čtyřicátých let, který vytvořil její základy. C. E. Shannon zdokonalil míru vyjádření informace. Za míru informace považuje entropii. O entropii uvažuje jako o míře neurčitosti, zatímco informace je pro něj mírou určitosti. Při růstu informace klesá entropie a naopak. Odstraněním neurčitosti se získá informace. Shannon vyšel z následující myšlenky: Máme-li dvě možnosti a dozvíme-li se, že jedna z nich platí, získáme nejmenší množství informace. Toto nejmenší množství informace - volbu ze dvou možností nazval Shannon bit - binary digit ( dvojkové číslo ).
Od samého začátku kladla tato vědní disciplína matematikům mnoho nových, těžkých problémů. Je přirozené, že C.E. Shannon a jeho první následovníci, jejichž základním cílem bylo získat prakticky použitelné výsledky, nemohli v prvním období věnovat dostatečnou pozornost těmto matematickým těžkostem. V důsledku toho celá bohatá literatura prvních let teorie informace nutně nese pečeť matematické nedokončenosti. Práce, jejichž cílem je postavit teorii informace na pevný matematický základ, se začaly objevovat až později. Významné místo mezi nimi patří pracím matematika A.J. Chinčina. Zobecnění myšlenek Hartleyho pomocí matematické statistiky a teorie pravděpodobnosti Shannonem, Wienerem a Fischerem se pokládá za vznik kvantitativní teorie informace. Zakladatelé této vědecké disciplíny se zabývali problémem množství informace ale ne její charakterem. Této oblasti se věnovali Ashby, Kotelnikov, Kolmogorov.
Je zřejmé, že zpracování informací a schopnost využití výsledků byly vždy dány stavem dostupné techniky. S rozvojem programových prostředků ( software ) došlo k sjednocování techniky, metod i zpracování a uchovávání informací. V této souvislosti se začíná mluvit o komplexním oboru - informatice. Informatiku chápeme jako „oblast vědy a techniky, která se zabývá všeobecnými vědeckými problémy souvisejícími s poznáním a realizací objektů, jevů a procesů týkajících se získávání, zpracování, přenosu a využívání informací a znalostí“. Při bližší analýze informatiky jako vědního oboru existuje také aplikovaná informatika. Ta vytváří metodické a znalostní zázemí pro kvalitnější tvorbu a využívání existující výpočetní a přenosové techniky.
Pro úplnost uveďme, že kromě statistických teorií informace se objevují i další, odlišné ve svém pojetí - např. Kolmogorovova algoritmická teorie informace.