3.3.1. Spojité zdroje zpráv

Zavedení pojmů množství informace a entropie (ve smyslu, jak jsme je zavedli v předchozích kapitolách) je u spojitých zdrojů obtížné. Důvodem je, že u spojitých průběhů se pravděpodobnost výskytu libovolné konkrétní hodnoty blíží k nule, protože celkový počet možných hodnot je nekonečný. Je proto potřeba zavést pravděpodobnost výskytu hodnot v elementárním intervalu dx.
Vyneseme-li na jednu osu veličinu x a na druhou osu hustotu pravděpodobnosti jejího výskytu w(x), dostaneme grafické znázornění rozložení pravděpodobnosti výskytu spojitého signálu:
                    .
              Obr. 3.4. Rozložení pravděpodobnosti výskytu spojitého signálu

Pravděpodobnost toho, že se určitá konkrétní hodnota signálu bude vyskytovat v intervalu dx_i je daná výrazem
.

kde w(x_i) dx_i vyjadřuje pravděpodobnost spojité náhodné veličiny v elementárním intervalu dx_i, který se nazývá element pravděpodobnosti nebo diferenciální pravděpodobnost.

Při uvažování konkrétní fyzikální realizace zpráv má množina prvků abecedy nekonečné množství prvků. Taková množina je popsaná hustotou rozdělení pravděpodobností w(x). Rozdělíme-li interval možných hodnot proměnné x na elementární intervaly stejné šířky x, dostaneme konečnou množinu intervalů x₁, x₂, ... S každým takovým elementárním intervalem můžeme spojit pravděpodobnost výskytu proměnné x v tomto intervalu
.

Množství informace spojené s přijetím nějaké hodnoty, která se nachází v subintervalu x_i můžeme definovat vztahem
.

Tato informace bude mít vždy konečnou hodnotu. Kdyby nás ale zajímala informace získaná přijetím určité konkrétní hodnoty x_i tzn. hodnoty z intervalu x_i0, bude tato informace nekonečně velká - z praktického hlediska to nemá význam.