Obsahuje-li abeceda zdroje celkem n různých prvků, pak je tato abeceda charakterizována konečnou množinou prvků A(n)={ d1, d2, ... , dn }.
Vytvořené posloupnosti ze znaků abecedy se nazývají zprávy. Libovolnou zprávu danou posloupností m symbolů pak můžeme zapsat
.Horní index značí pořadí symbolů ve zprávě, dolní indexy mohou nabývat libovolné hodnoty 1, 2, ... ,n a určují konkrétní prvek abecedy zdroje. Počet prvků m z nichž je složena realizace zprávy nazýváme délkou zprávy.
Zdroj zpráv může obecně produkovat různé zprávy, které se budou lišit jednak délkou a jednak výskytem jednotlivých prvků na tom kterém místě dané posloupnosti.
Celkový počet možných a navzájem různých realizací zpráv délky m, které by mohly být produkovány zdrojem s abecedou A(n) bude dán počtem všech možných variací m symbolů s opakováním, které lze vytvořit z n prvků.
Pak celkový počet možných zpráv délky m ze zdroje s abecedou A(n) je
.Ekvipotencionální zdroj je zdroj nad abecedou A(n), který produkuje všech n znaků abecedy A(n) se stejnou pravděpodobností
.na libovolné pozici zprávy a nezávisle na výskytu znaků na jiných pozicích zprávy.
Obecně můžeme zdroje zpráv dělit na:
a) spojité
b) diskrétní
Má-li abeceda zdroje nekonečný počet prvků, pak takový zdroj nazýváme zdrojem spojitých zpráv - spojitý zdroj. Má-li abeceda zdroje konečný počet n možných prvků, pak takový zdroj nazýváme zdrojem diskrétních zpráv - diskrétní zdroj.
V dalších úvahách si ukážeme, že každou spojitou zprávu resp. každý spojitý zdroj můžeme převést na diskrétní zprávu resp. diskrétní zdroj.