Teoria dell'Informazione: Sorgenti, Codici e Canali
Classified in Informatica
Written at on italiano with a size of 8,77 KB.
Sorgenti
Sorgente senza memoria
Consideriamo una sorgente S che emette simboli da un alfabeto S = {s1,...sn} con probabilità P(s1),...,P(sn). La sorgente è senza memoria se i simboli emessi sono statisticamente indipendenti.
Entropia di sorgente senza memoria
Quantità media di informazione per simbolo emesso dalla sorgente. Può essere interpretata come l'incertezza media che un osservatore ha prima di vedere l'output della sorgente. (H(S) = ∑i=1,q P(si) * log2(1/P(si)).
- Entropia nulla: quando si sa già cosa verrà emesso dalla sorgente, quindi non c'è nulla di aleatorio.
- Entropia massima: la sorgente S fornisce il massimo dell'informazione quando tutti i simboli che emette hanno la stessa probabilità.
Distanza di Hamming
La distanza di Hamming... Continue reading "Teoria dell'Informazione: Sorgenti, Codici e Canali" »