Tci

1

Gheorghe M.Panaitescu

TRANSMITEREA I CODAREA INFORMAIEI

Note de curs

Universitatea Petrol-Gaze Ploieti Departamentul Automatic, Calculatoare i Electronic

2015

An evaluation version of novaPDF was used to create this PDF file.Purchase a license to generate PDF files without this notice.

2


3

CUVNT INTRODUCTIV Lucrarea prezent este suportul cursului cu numele din titlu, tinut pe durata unui semestru, trei ore pe sptmn, la anul II specializarea Electronic aplicat din cadrul Faculttii de Inginerie mecanic si electric a Universittii Petrol-Gaze Ploieti. Este produsul unei experiente de predare care se ntinde pe un interval de peste cinsprezece ani. Versiunea de fa este revzut si adugit n 2015 pentru instruirea unei noi promoii de la specializarea amintit. Textul cuprins ntre copertile virtuale ale acestei lucrri constituie aproape un manual de Transmiterea i codarea informaiei. S-a subliniat cuvntul aproape deoarece n unele sectiuni ale lucrrii se poate observa o expunere mai curnd rezumativ a temelor aduse n discutie. De aceea a fost mentinut subtitlul Note de curs, dat fiind caracterul multor pasaje mai curnd de ghid al expunerilor celui care pred disciplina sau, ocazional, de posibil referint concis a initiatilor n domeniu. n acele sectiuni nu sunt continute toate explicatiile i comentariile care cu sigurant ar fi necesare pentru ca textul lucrrii s devin pe de-a-ntregul un manual. Asemenea adaosuri se fac de obicei la expunerea oral i, n afar de asta, n cursul predrii pot aprea actualizri din mers ale unor teme, ntr-o dinamic mic a disciplinei, produs de lecturile curente ale titularului cursului. Aadar, pentru studenti, lectura celor scrise mai departe nu poate suplini total audierea cursului. Dac lucrarea se difuzeaz n formatul acesta, se difuzeaz mai ales ca un ajutor n ntelegerea notielor proprii, n vederea pregtirii testelor intermediare i a examenului. Studentii sunt ndemnati s consulte concomitent bibliografia indicat, att pentru subiectele care nu se regsesc aici ct i pentru subiectele care sunt preluate din sursele citate si reformulate n Notele de curs de mai jos. Alturi de prezentele Note de curs, cititorul poate accesa i consulta on line, pentru studiu individual sau n timpul orelor de aplicatii prevzute n orar, un volum de Aplicaii la disciplina Transmiterea i codarea informaiei.


4


5

C U P R I N S INTRODUCERE p.9 SURSE DE INFORMAIE 13 Informaie. Surse de informaie. Entropie Entropia relativ Surse de informatie multiple Surse de informatie cu memorie. Modelul Markov Legea numerelor mari i AEP (Asymptotic Equipartition Property) Entropia diferenial Discretizarea Entropiile difereniale combinate, condiionate i relative CANALE DE TRANSMITERE A INFORMAIEI 35 Generalitti Entropii a priori, entropii a posteriori. Informaia mutual (transinformaia) Tipuri speciale de canale Capacitatea canalelor Modelul de canal AWGN (Additive White Gaussian Noise) O problem special privind canalele Canale de tip continuu CODURI PENTRU CANALE FR ZGOMOT 51 Generalitti despre coduri Particulariti ale codurilor Inegalitatea lui Kraft i teorema lui McMillan Lungimea medie a unui cod. Coduri compacte Teorema de codare a lui Shannon Teorema lui Shannon pentru surse Markov Teorema lui Shannon i capacitatea canalelor Coduri compacte coduri Huffman Principii generale pentru compresia de date Codarea run-length


6

Codoare Markov Codarea aritmetic Compresia LZW (Lempel, Ziv, Welch) Compresia cu pierdere de informaie Codarea rat-distorsiune Msuri ale distorsiunii Proprieti ale functiei R(D) Funcia rat-distorsiune i informaia CRIPTAREA 101 Primalitatea numerelor ntregi Criptografia i algoritmul RSA (Rivest, Shamir, Adleman) Semnturi electronice Criptografia RSA i teorema restului chinezesc Teorema lui Euler Autentificarea Utilizarea practic a criptrii RSA CODAREA PENTRU CANALE AFECTATE DE PERTURBAII 109 Observaii generale Debit de informatie (rata) Reguli de decizie la decodare Distana Hamming. Decodarea bazat pe distana Hamming Detectarea i corectarea erorilor prin distanta Hamming Coduri cu paritate constant Coduri cu repetiie Probabilitatea de eroare n bloc i debitul de informaie Coduri binare liniare Generarea biilor de control, sindromul Decodarea prin sindrom Proiectarea matricii de verificare Coduri perfecte pentru corectarea erorilor Tipuri de erori, probabiliti ale erorilor nedetectate/nedetectabile Alte coduri detectoare sau corectoare de erori Coduri polinomiale/ciclice Coduri polinomiale Coduri ciclice Coduri convoluionale


7

Anexa 1: COMPLEMENTE DE TEORIA PROBABILITTILOR I DE STATISTIC MATEMATIC 183 Spatiul evenimentelor Probabilitti, probabilitti conditionate Variabile aleatoare B I B L I O G R A F I E 199


8


9

INTRODUCERE Informatia este generat i vehiculat n foarte multe mprejurri. Observarea unui fenomen, lectura unei crti, experimentele stiintifice de pild sunt generatoare de informatie. Frecvent, informatia trebuie transmis la distant si/sau stocat eficient i n conditii de sigurant. Ideea principal a cursului Transmiterea i codarea informatiei este de a descrie i a prelucra informatia astfel nct ea s poat fi cuantificat la surs, adaptat la particularittile mediilor de transmitere sau de stocare, recuperat n form utilizabil la locul receptiei sau dup un interval de timp de depozitare. Exist asadar surse care genereaz informatie. Informatia trebuie msurat Canalele de transmitere i operatiile de memorare trebuie s lucreze optim. Receptoarele, utilizatorii trebuie s recupereze informatia din canal sau din memorie ntr-o manier care s o fac utilizabil, inteligibil. Astfel de subiecte sunt abordate de-a lungul acestui curs i n bun parte n aceste Note de curs. ntr-o sumar enumerare, obiectivele acestei discipline sunt: caracterizarea informatiei generate de surse diverse, transmise prin canale

variate, receptionate de receptoare de genuri diferite; optimizarea transmiterii i stocrii informatiei (de regul prin utilizarea unor

coduri); transmiterea protejat prin medii/canale, stocarea eficient n conditii sigure

n diverse tipuri de memorie (protectia la perturbatii i erori). ntr-o prim faz, n centrul atentiei sunt sursele de informatie discrete i informatia discret/discretizat. Discutia se va extinde ori de cte ori va fi cazul i la sursele continue generatoare de informatie. Un exemplu simplu aduce cititorul mai aproape de cteva aspecte de baz ale teoriei informatiei: Se presupune c din localitatea A se transmit spre localitatea B, dup un anumit program, informatii despre starea vremii din A. Simplificnd lucrurile, presupunem c n A poate s strluceasc soarele, cerul poate fi nnorat, poate s plou sau poate s fie cea, acestea fiind descrieri exhaustive. Starea vremii din A poate fi caracterizat asadar ca nsorit, nnorat, ploioas sau cetoas. Lista aceasta de descriptori ai strii vremii n A alctuieste un alfabet al sursei. Fiecare din acesti descriptori este un simbol al sursei de informatie i o secven de astfel de referiri la vremea din A, chiar i foarte scurt format dintr-un singur simbol se constituie ntr-un mesaj. Este convenabil i n mare msur natural ca informatia s fie legat cantitativ de gradul de incertitudine n care se afl receptorul/utilizatorul fa n fat cu ceea ce se transmite i/sau se receptioneaz. Dac, de pild, vremea n A este uzual nsorit (65% din cazuri) receptionarea mesajului de un simbol nsorit este


10

purttor de relativ putin informatie: este de asteptat ntr-o mare msur ca n A s fie soare. n schimb, simbolul cetoas (5% din cazuri) este mult mai informativ deoarece prezenta cetei n A este n oarecum surprinztoare pentru receptorul din B. Grade intermediare de incertitudine i cantitti de informatie pe msur poart simbolurile nnorat (20% din cazuri) i ploioas (10% din cazuri). De observat c teoria informatiei se ocup numai de observare-transmitere-receptionare i nu de continutul semantic al mesajelor transmise. Teoria informatiei nu se ocup de adevrul sau de semnificatia mesajelor. ntr-o viziune mai general, o surs de informatie discret genereaz un numr de simboluri (grupate ntr-un alfabet) asociate cu anumite probabilitti de generare. Pentru sursa de informare a unui receptor din localitatea B despre vremea din localitatea A, tabelul urmtor contine aceste dou elemente.

Simbol de caracterizare

a vremii din A nsorit nnorat ploioas cetoas

Probabilitatea aparitiei 0,65 0,20 0,10 0,05

ntr-o zi oarecare, un mesaj transmis poate fi: nsorit nsorit nsorit nsorit nsorit nnorat nnorat ploioas cetoas. Mesajul ar putea fi transmis ntr-o form binar. Un cod asociat ar putea fi cel din tabelul care urmeaz:



Cod (a) 00 01 10 11

i transmisia efectiv ar fi 00 00 00 00 00 01 01 10 11, n total 18 biti. Daca se foloseste un alt cod, cel din tabelul care urmeaz:



Cod (b) 0 10 110 111 atunci se transmite secventa 0 0 0 0 0 10 10 110 111 care numr 15 biti. Apare c transmiterea n codificarea a doua (b) este mai economic, n mai putini biti, cu mai putin timp de ocupare a canalului de transmitere. Exist o limit n ceea ce priveste acesti mai putini biti, care va fi investigat ntr-unul din capitolele acestor Note de curs. Anticipnd putin, numrul de biti utilizat pentru transmitere fr pierdere de informatie sugereaz cuvinte de cod mai scurte


11

pentru simbolurile mai probabile i cuvinte de cod mai lungi pentru simboluri mai putin probabile. De aici o dubl sugestie: de a msura informatia n biti i de a observa o relatie de crestere concomitent a informatiei i a inversului (valorii reciproce a) probabilittii atasate simbolurilor. O definire logaritmic a cantittii de informatie pare n acest context foarte potrivit

Informatia purtat de un simbol = log(1/Probabilitatea acelui simbol) Cu aceast definire logaritmic (logaritmii n baza 2) se pot face evaluri ale surselor de informatie i ale canalelor prin care informatia se transmite. Dar, dup cum cititorul a observat, s-au utilizat aici unele notiuni care se cer explicate. Anexele acestui curs i sectiunile urmtoare vor (re)introduce unele elemente de calcul al probabilittilor, de teorie a codurilor etc., care vor aduce o lumin mai complet asupra caracterizrii informatiei n mprejurri variate. n ceea ce priveste siguranta stocrii/transmiterii informatiei, codurile protectoare la erori au un rol determinant. Despre ce erori este vorba? Sunt posibile erori datorate unei functionri neconforme a aparaturii implicate n operatii de transmitere/stocare, sunt posibile interferente ale unor perturbatii numite frecvent zgomote etc. Desigur, acest vast subiect nu poate fi evitat, ci dimpotriv, va fi foarte prezent n paginile care urmeaz ca i n versiunea vorbit a acestui curs.


12


13

SURSE DE INFORMAIE Informaie. Surse de informaie. Entropie Fie un cmp de probabilitate discret An (v.Anexa 1) format din n evenimente elementare A1, , An care alctuiesc o familie exhaustiv; Fie p1, , pn probabilittile acestor evenimente. Probabilitile satisfac obligatoriu relaiile

n

kkk pnkp

11,1,0

Definitie. Se numeste entropie a cmpului finit An, notat cu Hn(An), valoarea dat de expresia

Hn(An) =

n

kkknn ppppH

11 log),...,(

unde logaritmul este luat de obicei n baza 2. ntr-o baz diferit a

Hn(An) =

n

kkaknn ppappH

121 loglog),...,(

Entropia poate fi considerat o msur a gradului (mediu) de nedeterminare n cmpul de probabilitate finit An. Observatie. Oricare dintre termenii sumei din expresia de definitie a entropiei, de pild cel de indice k, se mai poate scrie sub forma pklog(1/pk), prin transferarea semnului din fata sumei la fiecare termen i apoi sub logaritm. Termenul este produsul dintre probabilitatea pk i valoarea informatiei purtate de evenimentul Ak. Revenind la expresia de calcul al mediei unei functii de o variabil aleatoare (vezi Anexa), variabil care ia n particular valorile log(1/pk) cu probabilittile pk, k = 1, , n, rezult c entropia este n acelai timp informatia medie pe simbol a sursei de informatie care genereaz simbolurile A1, , An din alfabetul sursei. Proprietti ale entropiei: 1. Nenegativitate

H p pn n( ,..., )1 0 2. Dac p p k i k ni k 1 0 1, , , , atunci

Hn( p1, , pn) = 0 cu alte cuvinte un cmp cu un eveniment elementar sigur, celelalte fiind imposibile, nu are nici o nedeterminare.

3. Entropia satisface inegalitatea

H p p Hn nn n n

( ,..., ) ,...,11 1


14

Demonstratia face apel la inegalitatea lui J.L.Jensen conform creia fiind dat o functie real convex pe intervalul [a, b], y = f(x), fiind date n valori arbitrare x1, , xn ale argumentului ei, situate n intervalul de convexitate i n numere nenegative 1, , n care nsumate dau unitatea, atunci are loc inegalitatea

kk

n

k k kk

n

f x f x

1 1

( )

Aplicarea acestei inegalitti pentru functia f(x) = xlogx, pentru xk = pk i n = 1/n, 1 k n conduce la

1 1 1

1 1 1np p

np

np

k

n

k k kk

n

kk

n

log log

si, ntruct pkk

n

1

1, rezult

1 1 11n

H p pn nn n

( ,..., ) log

adic

H p p Hn nn n n

( ,..., ) ,...,11 1

Proprietatea aceasta arat c entropia este maxim atunci cnd probabilittile p1, , pn sunt egale. Orice cmp de probabilitate cu probabilitti asociate evenimentelor elementare componente altfel dect egale este redundant.

4. Are loc egalitatea Hn+1( p1, , pn, 0) = Hn( p1, , pn)

ceea ce arat c dou cmpuri de probabilitate care difer prin adugarea unui eveniment, i acela imposibil au aceeai nedeterminare.

Entropia relativ Se admite c o variabil aleatoare are distributia teoretic p. Apoi, cum se va vedea n capitolele despre codare, variabila aceasta se poate reprezenta printr-un cod caracterizat n mare msur de entropia H(p). Dar, datorit unor informatii incomplete, distributia p nu este cunoscut i de aceea se foloseste o distributie diferit q. n acest caz, codul va fi afectat negativ n performantele lui. Cantitatea care cuantific diferenta de performant este notat uzual cu D(p||q) i este cunoscut sub numele de entropia relativ, n unele lucrri sub numele de i-divergen. Definitie. Entropia relativ sau distana Kullback-Leibler ntre dou functii de probabilitate p(x) i q(x) se defineste ca

)(

)(log)()(log)()||(

xqxpE

xqxpxpqpD p

x


15

De observat c entropia relativ nu este simetric n argumentele sale i c al doilea argument, q apare numai la numitor. Cteva proprietti ale entropiei relative: 1. Nenegativitate. Entropia relativ este totdeauna nenegativ, D(p||q) 0, cu

egalitate dac i numai dac p = q. 2. Semicontinuitate inferioar. Pentru un ir de functii de probabilitate (pn, qn),

n = 1, 2, , care converg ctre (p, q), )||()||(inflim qpDqpD nnn

Dac q(x) > 0 pentru orice x X , atunci D(p||q) este continu pentru perechea (punctul) (p, q).

3. Convexitate. Pentru orice [0, 1] i pentru orice p1, q1, p2, q2 ))1(||)1(()||()1()||( 21212211 qqppDqpDqpD

4. Inegalitatea partiiei. Dac A = {A1, , AK} este o partitie a lui X, adic X = Ki iA1 i ji AAji i se definesc

pA(i) = iAx

xp )( , i = 1, , K

qA(i) = iAx

xq )( , i = 1, , K

atunci D(p||q) D(pA||qA)

cu egalitate dac i numai dac p(x/x Ai) = q(x/x Ai), x Ai, pentru toi indicii i.

5. Inegalitatea procesrii datelor. Dac W este o matrice stochastic |X||Y| (cu liniile avnd suma elementelor egal cu unitatea) i dac se definesc

p W(x, y) = p(x)W(y/x), x X, y Y q W(x, y) = q(x)W(y/x), x X, y Y

pW(y) = Xx

yxWp ),( , y Y

qW(y) = Xx

yxWq ),( , y Y

atunci D(p||q) D(pW||qW)

cu egalitate dac numai i numai dac probabilitatea a posteriori a lui x cnd se d y este aceeai pentru orice y n ambele distribuii combinate P W i Q W.

6. Inegalitatea lui Pinsker. Distana variaional ntre dou functii de probabilitate

Xx

xqxpqpd |)()(|),(

este mrginit superior de entropia relativ a celor dou funcii de probabilitate n sensul c

D(p||q) 21 d2(p, q)


16

7. Identitatea paralelogramului. Pentru funciile de probabilitate p, q i r

D(p||r) + D(q||r) =

2||

2||||

22 qpqDqppDrqpD

Acum, o inegalitate foarte util n demonstrarea relaiilor de mai sus: Inegalitatea log-sum. Fie niia 1}{ i

niib 1}{ secvene de numere nenegative. Fie

n

i iaa

1 i

n

i ibb

1. Atunci

baa

baa

n

i i

ii loglog

1

cu egalitate dac i numai dac ai/bi = c pentru toi indicii i, cu c o constant. Demonstratie: Mai nti se observ c: este suficient a demonstra inegalitatea pentru ai > 0. Ignorarea indicilor i

pentru care ai = 0 nu schimb partea din stnga a inegalittii i poate numai s fac mai mare partea din dreapta prin posibila reducere a sumei b;

este suficient a demonstra inegalitatea pentru bi > 0, altminteri, partea stng este + i nu mai este nimic de demonstrat;

este suficient a demonstra inegalitatea pentru a = b. Inegalitatea este invariant la scalarea numerelor bi deoarece

n

ii

i

ii

n

i i

ii ab

aab

aa11

1logloglog

i 1logloglog a

baa

baa

i

Asadar, este suficient ca pentru niia 1}{ i niib 1}{ cu ai, bi > 0 i a = b s se arate

c

0log1

n

i i

ii b

aa

cu egalitate dac i numai dac ai = bi pentru orice i = 1, , n. Se reamintete faptul c

log t t 1 pentru t > 0 cu egalitate numai pentru t = 1. Mai departe, punnd ti = ai/bi, se obtine succesiv

n

iii

n

iii

n

iii

n

i i

ii abtatab

aa1111

)()1(loglog

ceea ce dovedete inegalitatea urmrit, concomitent cu conditia de egalitate. Surse de informatie multiple n continuare, fie cmpurile

An =

n

n

ppAA

...

...

1

1 i Bm =

m

m

qqBB

...

...

1

1

ambele finite, independente, complete, adic cu sumele probabilittilor egale cu unitatea


17

pkk

n

1

1 i qi

i

m

1

1

Probabilitatea producerii concomitente a evenimentelor Ak i Bi este n acest caz ki = pk qi. Totalitatea evenimentelor de forma (Ak, Bi), 1 k n , 1 i m i probabilittile atasate ki formeaz un cmp de probabilitate notat cu AnBm. Dac An i Bm sunt dou cmpuri de probabilitate finite independente atunci

Hnm(AnBm) = Hn(An) + Hm(Bm) Demonstratia urmeaz relatia de definitie a entropiei

Hnm(AnBm) =

)log(loglog1 11 1

ik

n

k

m

iikki

n

k

m

iki qpqp

i

m

ii

n

kkk qqpp loglog

11

= Hn(An) + Hm(Bm)

Dac cele dou cmpuri nu sunt independente, atunci probabilitile eveni-mentelor (Ak , Bi), 1 k n , 1 i m se calculeaz diferit: ki = pk qi/k, cu qi/k probabilitatea evenimentului Bi conditionat de Ak. Dac se defineste mai nti o entropie conditionat de evenimentul/simbolul Ak

Hm(Bm/Ak) =

m

ikiki qq

1// log

apoi se defineste entropia conditionat cmp/cmp

Hm(Bm/An) =

n

kkp

1Hm(Bm/Ak)

rezult imediat proprietatea: Dac An i Bm sunt dou cmpuri de probabilitate finite oarecare atunci

Hnm(AnBm) = Hn(An) + Hm(Bm/An) exprimat n cuvinte, nedeterminarea asociat celor dou cmpuri rezult din nedeterminarea unui cmp la care se adaug nedeterminarea celuilalt cmp condiionat de primul cmp de probabilitate. Fiind date dou cmpuri de probabilitate finite An i Bm, are loc inegalitatea

Hm(Bm/An) Hm(Bm) Demonstratia apeleaz din nou la inegalitatea lui Jensen pentru f(x) = xlogx, xk = qi/k i k = pk, 1 k n . n prima faz

p q q p q p q q qk i k i kk

n

k i kk

n

k i kk

n

i i/ / / /log log log1 1 1

i dup nsumarea dup indicele i

p q q q qk i k i ki

m

k

n

i ii

m

/ /log log11 1

ceea ce nu este altceva dect Hm(Bm/An) Hm(Bm)

n cuvinte, cunoasterea unor rezultate din cmpul An nu poate duce dect la diminuarea nedeterminrii cmpului Bm. Dac An i Bm sunt dou cmpuri de probabilitate finite oarecare atunci


18

Hnm(AnBm) Hn(An) + Hm(Bm) ceea ce rezult din dou proprietti de mai sus. Fiind date dou cmpuri de probabilitate finite oarecare An i Bm, atunci

Hn(An/Bm) = Hm(Bm/An) + Hn(An) Hm(Bm) Pentru demonstratie, se scriu relatiile

Hnm(AnBm) = Hn(An) + Hm(Bm/An) Hnm(AnBm) = Hm(Bm) + Hn(An/Bm)

i de aici rezult proprietatea. Cmpurile de probabilitate An i Bm pot fi surse de informatie, iar evenimentele componente pot consta n generarea de simboluri purttoare de informatie. Sursele discutate pn acum sunt din categoria celor fr memorie, adic la fiecare generare a unui nou simbol, probabilittile de aparitie a unui simbol sau a altuia sunt aceleasi, indiferent de simbolul/simbolurile generat(e) anterior. n continuare modificm notatiile deoarece numrul de simboluri/evenimente (trecute pn acum la indice) nu mai are foarte mare relevan. Schimbarea notatiilor aduce i o facilitare a scrierii unor proprietti legate de sursele multiple, surse pentru care mulimile alfabetice sunt produsul cartezian al mai multor multimi alfabetice simple. Pe baza celor prezentate relativ la perechile de surse simple, se poate stabili acum, recursiv, entropia unei surse multiple. Fie n surse simple fr memorie S1, S2, , Sn cu numrul de simboluri q1, q2, , qn. Din aproape n aproape se poate stabili relatia

H(S1, S2, , Sn) = H(Sn/S1, S2, , Sn1) + H(S1, S2, , Sn1) = = H(Sn/S1, S2, , Sn1) + H(Sn1 /S1, S2, , Sn2) + + H(S1) =

1

0121 ),...,,/(

n

iinin SSSSH

ntreaga demonstratie fiind o chestiune de calcul. Relatia ultim are o consecint important exprimat de relatia

H(Sn/S1, S2, , Sn1) H(Sn) care spune c entropia unei surse nu crete niciodat prin condiionare. Surse de informatie cu memorie. Modelul Markov Aa cum s-a mentionat, sursele de pn acum au fost considerate fr memorie, adic probabilittile ataate simbolurilor sursei nu depindeau n nici un fel de simbolurile generate anterior. Aceast situatie nu corespunde dect unui numr limitat de surse din lumea real. Uzual, exist o legtur, o conditionare ntre simbolurile succesive generate de sursele de informatie. irurile de caractere din limba englez sunt ilustrative n acest sens : dup grupul th foarte probabil urmeaz e, o, r, a, u, i; grupului ac i succede mai curnd c, t, q, h i mai rar, dac nu extrem de rar alte caractere. Efecte i determinri similare pot fi observate n orice limb scris, n particular n limba romn. Asadar, probabilitile de producere a unor simboluri noi depind n oarecare msur de contextul simbolurilor produse deja. Pentru astfel de surse sunt necesare modele perfecionate care s transforme sursa ntr-una cu un


19

anumit gen de memorie. Probabilitile asociate simbolurilor, constante n cazul surselor fr memorie trebuie nlocuite cu probabilitti conditionate. Modelul cel mai utilizat pentru sursele cu memorie este modelul Markov. Modelul Markov de ordinul m introduce n calcule probabilitti pentru simbolul curent care depind de m simboluri generate de surs anterior. O surs Markov de ordinul m cu un alfabet de q simboluri are probabilittile conditionate de forma

)/Pr(),...,,/Pr(21

mijjji Ssssss m

scris pentru toti indicii },...,2,1{,...,,, 21 qjjji m , n care S m noteaz starea

curent a sursei. Aceast stare curent este descris de secventa imediat precedent de simboluri generate. Pentru n > m, relatia de condiionare de mai sus se scrie

)/Pr(),...,,/Pr(),...,,/Pr(2121

mijjjijjji Ssssssssss mn

i pentru m = 0 , deci pentru surse fr memorie, aceasta devine )Pr(),...,,/Pr(

21 ijjjisssss

n

pentru orice n > m = 0 . Cu un alfabet de q simboluri, o surs Markov de ordinul m are qm stri distincte cu qm+1 probabilitti de trecere (de tranziie) de la o stare la alta. Un graf al tranziiilor ilustreaz foarte bine o asemenea surs. Pe un exemplu, cel al unei surse Markov de ordinul 2 cu alfabet binar, se poate constata c sunt patru (22) stri, 00, 01, 10, 11 i opt (23) tranziii posibile, cu probabilittile respective de producere, de pild

Pr(0/S2 = 00) = Pr(0/00) = 0,8 Pr(1/S2 = 11) = Pr(1/11) = 0,8

Pr(0/11) = Pr(1/00) = 0,2 Pr(0/01) = Pr(0/10) = Pr(1/01) = Pr(1/10) = 0,5

Graful tranziiilor acestei surse este cel din figur.


20

Cum lucreaz sistemul se poate exemplifica pe un caz particular. Se consider secventa observat 00100110 i starea iniial 00. Secventa de stri ale sistemului este 00 00 00 01 10 00 01 11 10 i se obtine prin deplasarea progresiv cu o pozitie spre dreapta a unei ferestre de lrgime 2, n lungul secventei de simboluri generate, completat n prima parte cu starea initial a sistemului (scris cu liter distinct). Evenimentele succesive se descriu astfel: Starea initial 00 i generarea primului 0 produce tranzitia n starea 00; Starea 00 i generarea urmtorului 0 produce tranzitia n starea 00; Starea 00 i generarea lui 1 produce tranzitia n starea 01; Starea 01 i generarea lui 0 produce tranzitia n starea 10 .a.m.d. Un sistem Markov de ordinul m este definit de o matrice P a probabilittilor de tranzitie astfel: 1. Se enumer strile, Sm;1, Sm;2, , Sm;n unde n = qm este numrul de stri ale

sistemului. Matricea P are dimensiunile nn i elementul din pozitia (i, j), linia i i colana j este probabilitatea ca pornind din starea

mjjjim sssS ...

21

; , simbolul urmtor generat s fie si i, n consecin, starea urmtoare a sursei s fie ijjj

jm ssssSm

...32

; . Asadar )/Pr( ;; imjmij SSp . 2. Suma probabilittilor pe fiecare linie a matricii P trebuie s fie egal cu

unitatea. 3. Pentru trecerea de la S m;i la S m;j n urma a k tranzitii succesive i pentru

generarea a k simboluri, matricea probabilittilor de trecere este exact P k. Pentru exemplul de mai devreme matricea discutat este

8,02,000005,05,05,05,000

002,08,0

P

cu strile mentionate acolo i elementele )/Pr( ;; imjmij SSp . Sursele Markov ergodice reprezint o clas important de surse Markov. O surs Markov ergodic este una care observat timp ndelungat genereaz o secvent de simboluri care este tipic. Cele mai multe surse Markov sunt ergodice. O surs neergodic este dat n figura alturat.


21

Dup un timp suficient de ndelungat aceast surs eueaz n secvena 000000 sau n secvena 111111 care nu sunt tipice. Mai mult dect att, odat ajuns n starea 00 sau n starea 11 sursa intr ntr-o fundtur fr iesire deoarece Pr(1/00) = 0 i Pr(0/11) = 0. Aceasta este o surs Markov tipic neergodic. Prin definitie o surs Markov este ergodic dac dup un numr finit de pai exist posibilitatea de a trece, cu probabilitti nenule, n orice stare. O proprietate important a surselor Markov ergodice este staionaritatea. Distributia strilor sistemului dup un numr foarte mare de tranzitii este independent de starea initial. Starea sistemului/sursei tinde ctre o stare numit stationar, independent de starea de pornire. Distribuia stationar a strilor unei surse ergodice este caracterizat de matricea T = P k i se atinge atunci cnd k . Cu alte cuvinte tranzitia de la starea S m;i la starea S m;j n k pai se apropie de starea stationar dac numrul k devine din ce n ce mai mare. Mai mult, starea final S m;j este mereu aceeai i independent de starea de plecare S m;i. Prin urmare matricea nn

n

n

n

kk

ttt

tttttt

TP

...............

...

...

lim

21

21

21

are liniile identice. Matricea T este numit matricea de distributie stationar a strilor i este deplin determinat de una din liniile ei. n exemplul de mai devreme

64,016,01,01,025,025,01,04,04,01,025,025,01,01,016,064,0

2 PPP

562,0178,01,016,025,01,0205,0445,0445,0205,01,025,016,01,0178,0562,0

23 PPP

i urmrind puterile succesive ale matricei P, se poate spune c sunt semne de convergen. Evaluarea elementelor din matricea T prin continuarea calculelor pentru puteri k din ce n ce mai mari nu este tocmai productiv i nici foarte precis. Calea de determinare a elementelor matricii T este alta, i anume aceea care tine seama c

PTPPPT kkk

k

limlim1


22

ceea ce este un sistem liniar de ecuatii n elementele matricii de distributie stationar a strilor, sistem care produce soluia exact. Scrierea ecuatiei n form transpus

PTTT = TT este mai convenabil deoarece din aceasta se obtine imediat

nn

T

t

tt

t

tt

P......

2

1

2

1

un sistem n necunoscutele t1, t2, , tn care trebuie rezolvat cu ndeplinirea conditiei 1...21 nttt . Exemplul de mai devreme produce

357,0145

41 tt i 143,0142

32 tt

adic probabilittile asociate strii stationare sunt Pr(00) = Pr(11) = 0,357 i Pr(01) = Pr(10) = 0,143

Entropia unei surse Markov se calculeaz pornind de la aceleai relatii prezentate la sursele fr memorie. Este natural ca n locul probabilittilor permanent constante ale simbolurilor din cazul surselor fr memorie, n cazul surselor Markov s fie folosite probabilittile conditionate de simbolurile generate anterior. Dac sursa Markov de ordinul m cu q simboluri este n starea

)...(21 mjjj

m sssS atunci probabilitatea de aparitie a simbolului si ca simbol urmtor este )/Pr( mi Ss i informatia purtat de acel simbol este

)/Pr(1log)/( mi

mi Ss

SsI

Informatia medie pe simbol este atunci

q

i

mi

mi

m SsISsSSH1

)/()/Pr()/(

O mediere pe toate cele qm stri posibile produce entropia sursei

mm

m

S

q

i

mi

mi

m

S

q

i

mi

mi

m

S

mm

SsISsSSsISsS

SSHSSH

11)/()/Pr()Pr()/()/Pr()Pr(

)/()Pr()(

i, n cele din urm

1 )/Pr(

1log)Pr()(mS

mi

im

SssSSH

cu operatorul de sumare

1 1m mS S

q

i i cu )...(

21 ijjjim sssssS

m .


23

is 2S )/Pr( 2Ssi )Pr(2S )Pr( 2 isS

0 0,8 4/14 1

00 0,2

5/14 1/14

0 0,5 1/14 1 01 0,5 2/14 1/14 0 0,5 1/14 1 10 0,5 2/14 1/14 0 0,2 1/14 1 11 0,8 5/14 4/14

Pentru exemplul enuntat mai sus i reluat de mai multe ori, tabelul alturat faciliteaz evaluarea entropiei sistemului i conduce la entropia sursei

81,08,0

1log144...

5,01log

141

2,01log

141

8,01log

144

)/Pr(1log)Pr()(

32

2

S i

i SssSSH

msurat n biti/simbol. Un model alternativ pentru aceeai surs este sursa adjunct. Sursa adjunct este sursa fr memorie, cu simboluri mutual independente, specificate deplin de probabilittile )Pr(),...,Pr(),Pr( 21 qsss . Fa de o surs

oarecare S, sursa adjunct S este echivalenta acesteia dar fr memorie i calculul entropiei )(SH se face cu formula de la sursele de tipul respectiv. Pentru o surs Markov de ordinul m, sursa adjunct S se defineste prin evaluarea probabilittilor

mS

mmii SSssP )Pr()/Pr()( . Dat fiind dependena

simbolului curent de starea sistemului generator, conform unei discuii din prima parte a sectiunii de fa

)()( SHSH cu egalitate atunci cnd simbolurile produse sunt independente statistic de starea curent a sistemului. Aadar, la sursele Markov cunoasterea simbolurilor precedente reduce incertitudinea asupra simbolului care urmeaz a fi generat. Ca de obicei, cunostintele n plus diminueaz ignorana. Revenind la sursa Markov de ordinul 2 din exemplul de mai devreme, s stabilim sursa adjunct. Se poate calcula Pr(0) fie pe calea

5,0)11Pr()11/0Pr()10Pr()10/0Pr()01Pr()01/0Pr()00Pr()00/0Pr(

)Pr()/0Pr()0(2

22

S

SSP

fie pe calea alternativ 5,0)01Pr()00Pr()Pr()0Pr( 2

SS

Analog sau prin diferent Pr(1) = 0,5. Rezult 1)( SH i inegalitatea ateptat


24

1)(81,0)( SHSH n continuare se discut calitatea unor modele variate ale surselor de informatie foarte generale. Fie

),...,,/()~/()( 21 mmm SSSSHSSHSH

entropia unei surse reale, evaluat pe baza unui model Markov de ordinul m. Cazul particular )( 0SH corespunde unui model de ordinul 0, deci al unei surse fr memorie. Pe baza unui rezultat obtinut relativ la sursele multiple este de observat c

)()(...)()( 011 SHSHSHSH mm i, mrind pe m, se obtine

)(lim)( mm SHSH

care poart numele de entropia real a sursei. Pentru cazul unui model Markov perfect de ordinul k se poate scrie

)(...)()()( 21 SHSHSHSH kkk n unele cazuri este mai la ndemn a se lucra cu blocuri de simboluri i nu cu simboluri simple, izolate. Se nate astfel extensia unei surse de informatie. Dac sursa S genereaz simbolurile },...,,{ 21 qsss atunci extensia ei de ordinul n, notat Sn este o surs cu qn simboluri },...,,{ 21 nq , secvene distincte de lungime n alctuite cu simbolurile sursei S. Dac sursa S este fr memorie, probabilitile acestor blocuri sunt

)Pr()...Pr()Pr()Pr( 21 iniii sss iar dac sursa este foarte general

)Pr()...,...,,/Pr(),...,,/Pr()Pr( 1)2(21)1()1(21 iniiininiiiini sssssssss Dac sursa S este lipsit de memorie atunci extensiile ei sunt toate fr memorie. Dac sursa originar este markovian de ordinul m atunci extensia ei de ordinul n este markovian de un ordin egal cu primul ntreg superior sau egal numrului m/n. Fie ca exemplu sursa S = {0, 1} cu q = 2. Extensia a doua se prezint sub forma

}11,10,01,00{ 43212 S

iar extensia urmtoare, a treia, are opt simboluri

}111,110,101,100,011,010,001,000{

8765

43213

S

Dac sursa S este fr memorie, atunci extensia ei Sn este tot fr memorie. Dac S este o surs Markov cu m = 2 atunci S 2 este o surs Markov de ordinul 1. Evaluarea probabilittii Pr(101) se face n cazul sursei fr memorie cu relatia Pr(101) = Pr(1)Pr(0)Pr(1). n cazul Markov, probabilitatea aceluiai simbol compus se calculeaz pe calea mai complicat Pr(101) = Pr(1/10)Pr(10)


25

= Pr(1/10)Pr(0/1)Pr(1) unde n fiecare ir de simboluri simbolul cel mai din dreapta este cel mai recent generat. Descompunerea Pr(101) = Pr(1/01)Pr(01) este corect matematic, dar nu este de valoare practic deoarece probabilitatea condiionat care apare n relatie include dependena de simboluri viitoare care nu sunt accesibile dect mai trziu. Revenind n cadrul general, pentru o surs fr memorie, conform relatiei pentru entropia surselor multiple (dar identice) dat mai devreme, se evalueaz

H(Sn) = H(S1, S2, , Sn) = = H(Sn/S1, S2, , Sn1) + H(Sn1 /S1, S2, , Sn2) + + H(S2/S1) + H(S1) =

= H(Sn) + H(Sn1) + + H(S2) + H(S1) = nH(S) Se propune ca exemplu de calcul extensia a doua a unei surse cu trei simboluri i probabilittile 0,5, 0,25, 0,25. Fie acum o surs Markov S de ordinul m. Entropia extensiei ei de ordinul n se calculeaz pas cu pas pornind de la

)~/()( mnn SSHSH Apoi

)(...)~/()~/()( 12

11 SHSSHSSHSH nn

nn

n

care conditionat de mS~ se transform n )~/(...)~~/()~~/()~/( 1

21

1 mnmn

nmn

mn SSHSSSHSSSHSSH

Expresia )~~/( 1imi SSSH definete entropia unei surse Markov de un ordin egal cu m + i 1. Dar sursa Markov are ordinul m aa nct

)()~/(),...,,/()~~/( 111 SHSSHSSSSHSSSH miimimii

imi

i n final

)()~/()~/(...)~/()~/()~/()(

11 SnHSSnHSSHSSHSSHSSHSH

mmmn

mn

mnn

ntr-un exemplu tratat mai devreme (sursa Markov de ordinul 2) H(S) = 0,81. Iat o interpretare a extensiei S2 i a entropiei acestei extensii. Deoarece m = 2 i n = 2 sursa S2 este markovian de ordinul 1 n raport cu simbolurile

)( 21 iii ss . Probabilittile condiionate ale sursei extinse sunt )/Pr()/Pr()/Pr()/Pr( 2122112121 jjijjijjiiji ssssssssss

i este destul de clar c matricea P2 este aceea care descrie i tranziiile ei. Astfel, 62,1)81,0(2)(2)( 2 SHSH biti/simbol (dublul entropiei sursei simple). n stabilirea unui ordin potrivit pentru modelul Markov al unei surse reale care este vdit cu memorie, este de interes o relatie ntre entropiile H(Sn) i H(S/Sn1) care poate servi la apropierea asimptotic de entropia real a sursei, )( SH . O cale de a face modelul mai adecvat la o surs dependent de toate simbolurile generate anterior, orict de multe, este a defini un model de ordinul m i cu relatia )()~/( mm SHSSH , prin cresterea treptat a lui m, se poate ajunge orict de aproape de entropia )( SH . Functia )( mSH este descresctoare cu m


26

astfel nct aceasta ar putea fi un sondaj relativ ct de sczut poate ajunge valoarea entropiei reale )( SH . Efortul de calcul este ns foarte mare deoarece complexitatea modelului Markov crete exponenial cu ordinul m. O alternativ este evaluarea entropiei H(Sn) ca estimare a entropiei )( SH . Intuitiv, evalurile nlnuite

)Pr()...,...,,/Pr(),...,,/Pr(),...,,Pr( 1)2(21)1()1(2121 iniiininiiiininii ssssssssssss includ i efectul istoriei sursei. Urmeaz

)(...)()()(...)~/()~/()(

0211

21

1

SHSHSHSHSSHSSHSH

nn

nn

nn

n

de unde rezult )()( 1 nn SnHSH

i dac se utilizeaz un rezultat de mai sus, nSHSH nn /)()( , se obtine rezultatul important

)()( 1 nn SHSH care d o limitare inferioar a entropiei pe simbol, simbol multiplu de ordinul n. Cu rezultatul ultim i cu relatia de mai sus se poate scrie succesiv

)()()( 11 nnn SHSHSH

)()()( 1 nn

n SHnSHSH

)()()( 1 nnn SnHSHSnH

1)()( 1

nSH

nSH nn

Rezult c entropiile combinate pe simbol sunt n relatia )()( 1 nn SHSH

Dar )(lim)( nn SHSH aa nct )()(lim SHSH

nn .

Aceasta este o modalitate mult mai la ndemn de a estima )( SH . Entropiile )( nSH se evalueaz mult mai uor dect )( mSH . Mai mult, pentru n din ce n

ce mai mare, probabilittile atasate unor iruri de lungime n, ),...,,Pr( 21 inii sss se difereniaz. Unele se situeaz la valori semnificative i constant semnificative, altele tind ctre valori apropiate de zero. Apare aadar o clas a mesajelor de lungime n foarte probabile i o alt clas a mesajelor de aceeai lungime, care sunt, dimpotriv, foarte putin probabile. ntr-un exemplu simplu, cel al unei surse fr memorie, cu alfabetul S = {0,1}, i probabilitile simbolurilor P(0) = 0,75 i P(1) = 0,25, sunt produse secvene de zerouri i unitti binare variate ntre care irul de lungime n format numai din 0 i, asemenea, sirul de lungime n format numai din 1, cu probabilittile (0,75)n, respectiv (0,25)n. Pentru n = 4 probabilittile sunt 3,2101 i 3,9103, iar pentru n = 16 probabilittile evolueaz ctre 1,0102 i 2,61010, asadar


27

sirul alctuit numai din 0 devine comparativ din ce n ce mai probabil pe cnd sirul alctuit numai din 1 devine din ce n ce mai puin probabil. Alte mesaje arbitrare au probabilitti de forma innC

(0,75)i(0,25)ni, cu i numrul zerourilor din secvena-mesaj. Expresia probabilittilor este bernoullian, dat fiind ordinea variat n care pot aprea zerourile i unittile binare. Variatia probabilittilor cu cresterea lui i de la 0 la n este mai nti cresctoare apoi descresctoare, cum se ntmpl obinuit cu termenii unei dezvoltri binomiale. Este momentul s fie aduse acum n discutie detaliile comportrii surselor extinse la n foarte mare, acea proprietate de echipartitie asimptotic, cunoscut mai ales n versiunea prescurtat, AEP Asymptotic Equipartition Property. Legea numerelor mari i AEP (Asymptotic Equipartition Property) Legea numerelor mari afirm c pentru variabilele aleatoare X1, X2, ..., Xn independente i identic distribuite (i.i.d.), suma

n

iiXn 1

1

este apropiat de valoarea medie E[X]. AEP mai nseamn i c pentru variabile aleatoare i.i.d. valoarea

),...,,(1log1

21 nXXXpn

este apropiat de entropia H(X). Exprimat altfel, faptul poate fi scris ca

p(x1, x2, , xn) 2 nH Exemplul 1: Fie X {0, 1} cu p(1) = p, p(0) = q. Probabilitatea secventei i.i.d. X1, X2, , Xn este

ii XnX qp . Dac n particular, p(0) = 0,7 i p(1) = 0,3 probabilittile secvenelor de lungime n = 10 sunt trecute n tabelul alturat.

Secvena Probabilitatea secvenei Numrul

secvenelor Probabilitatea

secvenelor 0000000000 0,0282 1 0,0282 0000000001 0,0121 10 0,121 0000000011 0,005 45 0,225 0000000111 0,0022 120 0,264 0000001111 0,00095 210 0,1995 0000011111 0,0004 252 0,1008 0000111111 0,00017 210 0,036 0001111111 0,000075 120 0,009 0011111111 0,000032 45 0,00144 0111111111 0,0000138 10 0,000138 1111111111 0,0000059 1 0,0000059


28

Este vizibil c nu toate cele 2n secvene de lungime n au aceeai probabilitate. Secventele cu numrul de unitti binare de aproximativ np au cea mai mare probabilitate total: acestea sunt tipice. Proprietatea aceasta devine mai evident pe msur ce n creste. Care este probabilitatea p(X1, X2, ..., Xn) a rezultatului X1, X2, ..., Xn? Se dovedeste c foarte probabil p(X1, X2, ..., Xn) are o valoare de cca. 2 nH. Adic

Pr{(X1, X2, ..., Xn)| p(X1, X2, ..., Xn) = 2 n(H + )} 1 Deoarece entropia este o msur a surprizei la observarea rezultatului unei variabile aleatoare, se poate aprecia aceast regul n sumar ca: Aproape toate evenimentele sunt la fel de surprinztoare. Altfel spus, cele mai multe evenimente se produc cu o probabilitate n relatie cu entropia ansamblului. n exemplul particular de mai sus, se afirm simplu c numrul de unitti observate este apropiat de np (cu mare probabilitate) i toate aceste secvente au grosier aceeai probabilitate. Aceasta nu este altceva dect legea numerelor mari. Convergena n probabilitate: nainte de a ajunge la teorem este necesar o discutie despre convergena n probabilitate. Exist o varietate de moduri n care se trateaz convergena n sfera probabilittilor. Exist o convergen n distributie (ca la teorema limit central), exist convergena aproape sigur (care este foarte tare), exist convergena n media ptratic i exist convergena n probabilitate. Se pot consuma sptmni pentru studiul semnificatiei acestor fapte cu implicatii reciproce. Totui, pentru moment este suficient o oprire asupra convergentei n probabilitate. Definitia 1. O secvent X1, X2, , Xn este convergent la X n probabilitate dac Pr[|X Xn| > ] 0 odat cu n . Rememornd definitia convergentei de la siruri, se poate spune: pentru orice > 0 i pentru orice > 0 exist un n0 astfel nct P[|X Xn| < ] > 1 oricare ar fi n > n0. Exemplul 2. Fie Xi (i = 1, 2, , n) o secven de variabile aleatoare i.i.d. i fie

n

iin Xn

S1

1 media de selecie. Fie S = E[X] media real, teoretic. Atunci (din

nou legea numerelor mari n varianta slab) P[|Sn S| > ] 0 odat cu n . Mai pe scurt, se spune Sn S n probabilitate. O modalitate de apreciere a convergentei o constituie inegalitatea lui Markov: pentru o variabil aleatoare pozitiv i pentru orice > 0, are loc inegalitatea P[X ] E[X]/. De aici se poate deriva inegalitatea lui Cebev: pentru o variabil aleatoare Y cu media i dispersia 2, are loc inegalitatea P[|Y | > ] 2/2. Se poate arta apoi convergenta mediei de selectie (legea numerelor mari n varianta slab). Acum despre AEP Asymptotic Equipartition Property:


29

Teorema 1 (AEP). Dac X1, X2, ..., Xn sunt variabile aleatoare i.i.d. cu

distribuia p(x), atunci )(),...,,(log1 21 XHXXXpn n n probabilitate.

Demonstratie: Deoarece Xi (i = 1, 2, ..., n) sunt variabile aleatoare i.i.d., la fel sunt i log p(Xi). Din independen i WLLN Weak Low of Large Numbers

)()]([log)(log1),...,,(log1 21 XHXpEXpnXXXp

n iin

n probabilitate. Mulimea secventelor care apar cel mai frecvent (potrivit legii probabilistice a variabilei aleatoare) sunt secvene tipice. Tipicalitatea este definit astfel: Definiia 2. Multimea tipic )(nA n raport cu distribuia p(x) este mulimea de secvente x1, x2, ..., xn Xn cu proprietatea

))((21

))(( 2),...,,(2 XHnnXHn xxxp

Aadar secvenele tipice apar cu o probabilitate care este n apropierea numrului 2 nH(X). Exemplul 3. Revenim la primul exemplu, H(X) = 0,88129 i nH(X) = 8,8129. Atunci 2nH(X) = 0,00223 ceea ce este foarte aproape de probabilitatea unei secvene cu trei unitti binare, restul zerouri. O multime tipic )(nA are urmtoarele proprieti: Teorema 2. 1. Dac )(21 ),...,,(

nn Axxx atunci

H(X) ),...,,(1 21 nxxxpn H(X) +

2. Pentru n suficient de mare, 1}Pr{)(nA .

3. ))(()( 2|| XHnnA , cu |A| numrul de elemente din multimea A.

4. Pentru n suficient de mare, ))(()( 2)1(|| XHnnA .

Interpretri: Din proprietatea 1: aproape toate elementele dintr-o multime tipic sunt practic echiprobabile. Din proprietatea 2: mulimea tipic apare cu o probabilitate apropiat de unitate (de aceea este denumit tipic!). Din proprietile 3 i 4: numrul de elemente ale unei multimi tipice este apropiat de 2nH(X). Demonstratie. 1. Se ia (1/n) i logaritmul (n baza 2) din relatia de definiie a multimii

tipice:

)))(((1),...,,(log1)))(((1 21 XHnnxxxp

nXHn

n n

2. Din definiia multimilor tipice, AEP i definitia convergentei n probabilitate: 1}),...,,(|),...,,Pr{( )(2121

nnn AXXXXXX concomitent cu

n . Aceasta nseamn c pentru orice > 0 exist un n0 astfel nct


30

pentru n n0 are loc 1}|)(),...,,(log1Pr{| 21 XHXXXpn n

. Se

pune = i se obtine proprietatea 2. 3. Succesiv, 1 =

nXx

xp )( )(

)(nAx

xp

)(

))((2nAx

XHn

= ||2 )())(( nXHn A .

4. Pentru n suficient de mare, 1}Pr{)(nA i de aici }Pr{1 )(nA

)(

))((2nAx

XHn

= ||2 )())(( nXHn A .

Aceste detalii privind proprietatea de echipartitie asimptotic (AEP) sunt de interes aparte n compresia de date. Entropia diferenial O variabil aleatoare continu (pentru uzul acestui curs) este una pentru care functia de distributie F(x) este continu: nu exist salturi (iesiri/valori discrete). Definita 1. Entropia diferential h(x) a unei variabile aleatoare continue X cu densitatea de probabilitate f(x) i suportul S este

S dxxfxfxh )(log)()( Exemplul 1. Fie X ~ U(0, a) o variabil distribuit uniform pe intervalul (0, a). Atunci

adxaa

xha

log1log1)(0

Se observ c entropia diferenial poate fi negativ (dac a < 1). De aceea se numeste entropia diferenial, deoarece entropia n general trebuie s fie pozitiv. Exemplul 2. Pentru variabila normal

)(2

1~ )2/(22

xeX x

de medie zero, entropia diferenial n nai (uniti n baza logaritmilor naturali) este

)ln(21)2ln(

21

2][

)2ln(2

)(ln)(

222

2

2

2

eXE

dxxxdxxh

Cu notiunea de entropia diferenial clarificat, se pot reformula acum lucruri deja definite pentru variabilele aleatoare discrete. Proprietatea de echipartiie asimptotic (AEP Asymptotic Equipartition Property) Teorema 1. Fie X1, , Xn o secvent de valori ale unor variabile aleatoare i.i.d. descrise de functia de repartitie f(x). atunci


31

)()](log[),...,(log1 1 XhXfEXXfn n

cu convergena n probabilitate. Demonstratie: Este vorba exact de aceeai WLLN. Definitia 2. Mulimi tipice. Pentru orice > 0 i orice n, o multime tipic )(nA n raport cu f(x) este

|)(),...,(log1|),...,( 11

)( Xhxxfn

SxxA nn

nn

cu alte cuvinte, )(nA este multimea pentru care entropia diferential empiric este apropiat de entropia diferential. Pentru variabilele aleatoare discrete, se vorbete de numrul de elemente dintr-o multime tipic. Pentru variabilele aleatoare continue, conceptul analog este cel de volum al unei multimi tipice. Definitia 3. Volumul unei multimi A Rn este

vol(A) = A

ndxdxdx ...21

Teorema 2. O multime tipic are urmtoarele proprieti: 1. Pentru n suficient de mare, Pr( )(nA ) > 1 (valorile cuprinse n multimile

tipice apar foarte frecvent). 2. Pentru orice n, vol( )(nA ) 2

n(h(X) + ) 3. Pentru n suficient de mare, vol( )(nA ) (1 )2

n(h(X) ). Demonstratie: 1. Din nou, exact prin WLLN. 2. Se observ c

)(vol2...2

...),...,(...),...,(1

)())((1

))((

1111

)(

)(

nXhn

An

Xhn

Ann

snn

Adxdx

dxdxxxfdxdxxxf

n

nn

3. Dac n este suficient de mare, atunci proprietatea 1 este adevrat si )(vol2...2...),...,(1 )())((1

))((11

)()(

nXhn

An

Xhn

Ann Adxdxdxdxxxf

nn

Discretizarea Dac o variabil aleatoare X cu distributie continu este studiat pe domenii adiacente, atunci (teorema valorii medii) exist o valoare xi n fiecare domeniu care verific egalitatea

f(xi) =

)1()(

i

idxxf

Fie X variabila aleatoare cuantizat definit ca X = xi cu probabilitatea pi = f(xi). Entropia variabilei aleatoare cuantizate este


32

H(X) = )log)((log)())(log()( iiii xfxfxfxf La limit, cnd 0 egalitatea se transform n

H(X) h(f) Entropia unei cuantizri pe n biti a unei variabile aleatoare continue creste cu n. Entropiile difereniale combinate, condiionate i relative Alte definitii: Entropia diferential combinat:

h(X1, ..., Xn) = nnn dxdxxxfxxf ...),...,(log),...,( 111 Entropia diferential conditionat:

h(X|Y) = dxdyyxyxf )|log(),( Un caz special important: Teorema 3. Fie X1, ..., Xn o distributie normal multivariabil cu media i matriea de covariaie K. Pentru aceast variabil aleatoare, entropia este

h(X1, ..., Xn) = ||)2log(21 Ke n

n biti. Demonstratie: Fr a pierde din generalitate, este convenabil a se presupune = 0. i atunci

||)2(ln21))((

21

||)2(ln21)(

21

||)2(ln21)()(

,

1

,

1

21

1

KKxxE

KxKxE

dxKxKxxffh

n

jiijij

n

jijiji

nT

||)2(ln21||)2(ln

21

21

||)2(ln21)(

21||)2(ln

21)(

21 11

KeKn

KKKKKK

nn

n

jjj

n

j iijji

Entropia relativ are expresia

gffgfD log)||(

Retinem o functie numit informatie mutual care are n cazul variabilelor aleatoare continue expresia

I(X;Y) = ))()(||),(()()(

),(log),( yfxfyxfDdxdyyfxf

yxfyxf n care apare i o entropie relativ.


33

Unele proprietti cunoscute, adaptate variabilelor aleatoare continue: 1. D(f||g) 0 2. I(X;Y) 0 3. H(X|Y) h(X)

4. Regula lanului: h(X1, ..., Xn) =

n

iii XXXh

111 ),...,|(

5. h(X + c) = h(X) (deplasarea nu afecteaz entropia) 6. h(aX) = h(X) + log|a|. Pentru a dovedi aceasta, fie Y = aX; atunci fY(y) =

(1/|a|)fX(y/a). 7. h(AX) = h(X) + log|A| Un rezultant important este urmtorul: Teorema 4. Fie un vector aleator X de medie zero i de covaian K = E[XXT]. Atunci h(X) (1/2)log(2pe)n|K|, cu egalitate dac i numai dac X ~ N(0,K). Asta nseamn c pentru o covarian dat, distributia normal (gaussian) are acea covarian care maximizeaz entropia. Demonstratie: Fie g(x) o distributie cu aceeai covariaie i fie densitatea gaussian. 0 D(g||f) = )()(log)(log)()/log( hghghgghgg Pasul cheie al demonstratiei const n observatia c

)(log 1xKxgag T i c att g ct i au aceleai momente de ordinul al doilea.


34


35

CANALE DE TRANSMITERE A INFORMAIEI Generalitti Definitie. Un canal de transmisie este descris pe deplin dac se dau un alfabet de intrare riaA i ,...,2,1},{ , un alfabet de iesire sjbB j ,...,2,1},{ i un set de probabilitti conditionate P(bj/ai) pentru toti indicii i i j. Probabilitatea P(bj/ai) corespunde evenimentului constnd n receptionarea simbolului bj cnd s-a transmis simbolul ai. Alfabetul de intrare A reprezint multimea simbolurilor aplicate la intrarea canalului. Alfabetul de ieire B este multimea simbolurilor observate la iesirea canalului. Uzual, simbolurile receptionate sunt aceleai cu cele transmise, dar de cele mai multe ori aa-numitele zgomote, perturbatii din canal pot schimba simbolurile transmise n alte simboluri, pot modifica continutul fluxului informational transferat de la intrare ctre iesire. Din acest motiv, pentru generalitate, se consider c cele dou multimi alfabetice sunt diferite. Un canal are ataat o matrice care are ca elemente exact probabilittile conditionate din definitie. Matricea are r linii i s coloane i pentru simplitate probabilittile P(bj/ai) sunt notate mai scurt cu Pij. Aadar, matricea canalului se scrie

rsrr

s

s

PPP

PPPPPP

P

...............

...

...

21

22221

11211

Matricea P are cteva proprietti: 1. Fiecare linie corespunde unui simbol de intrare; 2. Fiecare coloan corespunde unui simbol de iesire; 3. Deoarece expedierea simbolului ai produce la ieire totdeauna unul din

simbolurile bj (sistem complet de evenimente),

s

jijP

1

1 pentru fiecare i =

1, 2, , r, adic suma probabilittilor de pe fiecare linie este egal cu unitatea.

Exemple de canale de transmitere a informatiei i reprezentarea lor prin matrici:

a) un canal binar fr zgomot,

1001

P


36

b) un canal binar simetric cu zgomot (1% din biti sunt inversati),

99,001,001,099,0

P

c) un canal binar cu zgomot foarte general, pentru care alterarea celor dou

simboluri se produce n proportii diferite,

7,03,02,08,0

P .

O alt posibil reprezentare a unui canal este printr-un graf orientat cu probabilittile Pij nscrise pe arce.

Dou tipuri de canale au o importan practic aparte:

canalele binare simetrice care au matricea

pqqp

P simetric i

canalele binare cu anulare (sau cu tergere) care au matricea de forma

pqqp

P0

0 i care produc la ieire un simbol n plus asociat unei

imposibiliti de a decide dac s-a transmis un simbol sau altul din cele aplicate la intrare.

ntre probabilittile asociate simbolurilor de la intrare i cele asociate simbolurilor de la iesire exist relatia

r

iiijj aabb

1)Pr()/Pr()Pr(

oricare ar fi indicele j (formula probabilitii totale). Aadar, cunoaterea sursei de la intrare i a canalului face cunoscut sursa observat la iesire. Calculul inversat, al probabilittilor la intrare din cele de la ieirea canalului este n general imposibil. Aplicarea la intrarea canalului de simboluri din alfabetul A asociate cu alte probabilitti s produc la iesire simboluri cu aceleai probabilitti. Dac ns este dat o list de probabilitti pentru simbolurile din A atunci probabilittile pentru simbolurile din B sunt unic determinate. Din formulele pentru probabilitti conditionate rezult relatia

)Pr(),Pr(

)Pr()Pr()/Pr(

)/Pr(j

ji

j

iijji b

bab

aabba


37

care exprim probabilitatea de a se fi generat simbolul ai dac s-a receptionat simbolul bj. Entropii a priori, entropii a posteriori. Probabilittile Pr(ai) se numesc probabilitti a priori ale simbolurilor la intrarea canalului. Probabilittile )/Pr( ji ba se numesc probabilitti a posteriori ale simbolurilor respective. Pe baza celor dou secvene de numere se pot evalua entropia a priori a sursei de la intrare

A a

aAH)Pr(

1log)Pr()(

i entropia a posteriori

A j

jj bababAH

)/Pr(1log)/Pr()/(

a aceleiai surse, la observarea la ieire a simbolului bj. Exemplu: Pentru un canal binar cu Pr(a = 0) = 3/4, Pr(a = 1) = 1/4 i cu matricea

109

101

31

32

P

entropia a priori este H(A) = 0,811 i entropiile a posteriori sunt H(A/b = 0) = 0,2762 i H(A/b = 1) = 0,9980. Aadar, n acest exemplu, la apariia la ieire a simbolului 0 incertitudinea asupra valorii simbolului aplicat la intrare scade, iar la apariia simbolului 1 la ieire incertitudinea asupra simbolului transmis crete. Informaia mutual (transinformaia) Cu entropia a priori i cu entropia a posteriori relative la alfabetul de intrare se poate calcula asa-numita echivocatie a intrrii la iesire

B BA ba

babAHbBAH)/Pr(

1log),Pr()/()Pr()/(

Exprimat altfel, H(A) este informatia sau incertitudinea medie la intrare nainte de a observa iesirea canalului, iar H(A/B) este informatia sau incertitudinea medie la intrarea canalului dup observarea ieirii. Diferena H(A) H(A/B) este o msur a lucrrii canalului care const n a transmite informatia generat de surs i aplicat la intrarea lui. Diferena este numit informatie mutual sau transinformatie i se noteaz

I(A;B) = H(A) H(A/B) Valoarea I(A;B) reprezint informatia furnizat de canal asupra sursei A de la intrare. Este de ateptat ca ntr-un canal fr zgomote I(A;B) = H(A). Dac


38

zgomotele sunt prezente, atunci H(A) se reduce cu incertitudinea H(A/B). Dac nivelul de zgomot este foarte mare, atunci H(A/B) se apropie de H(A) i I(A;B) se apropie de zero. Asadar, H(A/B) se poate considera un indicator al nivelului de zgomot din canal. Expresii alternative pentru informatia mutual:

BAA ba

baa

aBAI)/Pr(

1log),Pr()Pr(

1log)Pr();(

BABA ba

baa

baBAI)/Pr(

1log),Pr()Pr(

1log),Pr();(

BA a

babaBAI)Pr(

)/Pr(log),Pr();(

BA bPa

babaBAI)()Pr(

),Pr(log),Pr();(

n exemplul prezentat mai devreme, sursa producea entropia a priori H(A) = 0,811 i entropiile a posteriori evaluate dup cunoaterea ieirii erau H(A/b = 0) = 0,2762, H(A/b = 1) = 0,9980. n acel exemplu informatiile mutuale relativ la sursa A sunt n particular o dat pozitiv, alt dat negativ. Ce se poate spune despre semnul informatiei mutuale medii I(A;B)? Se poate afirma i se poate demonstra conform celor prezentate n capitolul anterior c 0);( BAI , cu egalitate n cazul Pr(a, b) = Pr(a)Pr(b) pentru toate perechile (a, b), adic atunci cnd sursele observate la intrare i la ieire sunt independente. Una din formele expresiei pentru transinformatie, ultima n lista de mai sus evideniaz simetria ei, adic

I(A;B) = I(B;A) Aadar informatia pe care canalul o ofer asupra intrrii A prin observarea ieirii B este aceiai cu informatia pe care o avem asupra lui B atunci cnd se transmite din B ctre A. Din formulele simetrice de mai sus se deduce

I(A;B) = I(B;A) = H(B) H(B/A) n care

B b

bBH)Pr(

1log)Pr()(

i

BA ab

baABH)/Pr(

1log),Pr()/(

Ultima expresie este o echivocaie a lui B condiionat de A sau o eroare medie de transmitere. O figur sugestiv pentru relatia ntre numerele caracteristice ale unui canal este prezentat alturat. Figura ca i calculul direct arat c

)/()()/()();()()(),( BAHBHABHAHBAIBHAHBAH O exprimare n cuvinte a acestei egaliti multiple: incertitudinea total n A i B este suma incertitudinilor din A i din B minus informatia transferat prin canal sau este suma incertitudinii n A cu incertitudinea n B dup ce este dat A.


39

Tipuri speciale de canale Canale lipsite de zgomot sunt acele canale pentru care simbolurile de la intrare se aplic pe submulimi disjuncte ale alfabetului de iesire. n acest caz, totdeauna, oricare ar fi simbolul produs la iesire, simbolul de la intrare este identificat fr echivoc. Un exemplu este dat de canalul caracterizat de matricea

100000030/1930/110000004/14/12/1

P

Matricea are particularitatea c pe fiecare coloan are un singur element nenul. n cazul exemplificat, multimea B, de elemente b care poart indici de la 1 la 6 se partitioneaz n }{},,{},,,{ 654321 bbbbbb , astfel nct posibilitatea de confuzie asupra identittii simbolului transmis, a1, a2 sau a3 este exclus. Odat cunoscut simbolul produs la ieire, una din probabilittile condiionate devine o msur a certitudinii, 1)/Pr( jk ba , iar celelalalte se anuleaz: kiba ji ,0)/Pr( . Echivocaia calculat este nul, ceea ce este de ateptat deoarece n canal nu sunt prezente zgomote. Asadar, H(A/B) = 0 i I(A;B) = H(A) deoarece nu exist nici o incertitudine asupra intrrii cnd este observat iesirea i informatia produs de canal la ieire este aceeai cu cea aplicat la intrarea canalului. Canalele deterministe sunt acelea pentru care simbolurile de la intrare care produc la iesire acelai simbol se grupeaz n submultimi disjuncte. Se ntelege c un asemenea canal poate avea n multimea A mai multe simboluri dect n multimea B, ntocmai cum un canal fr zgomote poate avea un alfabet de iesire B cu mai multe elemente dect alfabetul de intrare A. La un canal determinist, odat cunoscut simbolul de la intrare se poate spune exact care va fi simbolul de la iesire. Un exemplu este canalul caracterizat de matricea


40

T

P

110000001110000001

care are particularitatea c pe fiecare linie are un singur element nenul i acela egal cu 1. Pe matrice se poate citi c odat cunoscut simbolul la intrare, asupra simbolului de la iesire nu mai exist nici o incertitudine. Echivocatia/eroarea medie este nul, H(B/A) = 0 i informatia mutual devine I(A;B) = H(B). Canalele n cascad sunt conectate astfel nct, succesiv iesirea unui canal constituie intrarea altui canal. ntr-un lan de numai dou canale de pild, se utilizeaz trei multimi alfabetice, A, B i C cu r, s, respectiv t simboluri, cu B un alfabet intermediar, alfabet de iesire din primul canal i de intrare n al doilea. Dac se transmite simbolul ai, la iesirea primului canal se poate observa simbolul bj. Acesta este aplicat la intrarea canalului al doilea care produce la iesirea sa simbolul ck. Dac simbolul intermediar bj este cunoscut atunci probabilitatea ca la iesire s apar simbolul ck depinde numai de bj

)/Pr(),/Pr( jkjik bcbac relatie care este o definitie a canalelor n cascad. ntr-un parcurs invers are loc

)/Pr(),/Pr( jikji bacba Calculul diferenei de entropii H(A/C) H(A/B) conduce la expresiile succesive

CBA

CBACBA

CABA

cabacba

bacba

cacba

baba

cacaBAHCAH

)/Pr()/Pr(log),,Pr(

)/Pr(1log),,Pr(

)/Pr(1log),,Pr(

)/Pr(1log),Pr(

)/Pr(1log),Pr()/()/(

Cu relatia

ACBCBA

cbacbcba ),/Pr(),Pr(),,Pr(

i cu o relatie expus mai devreme se poate deduce

ACB ca

cbacbacbBAHCAH)/Pr(),/Pr(log),/Pr(),Pr()/()/(

Din inegalitatea binecunoscut xx

11ln pentru )1,0(x rezult

0)/()/( BAHCAH cu egalitate dac i numai dac din Pr(a/c) = Pr(a/b, c), caz n care rezult Pr(a/c) = Pr(a/b). Detaliile demonstratiei rmn n seama cititorului. Relatia ultim se mai poate scrie i sub forma )/()/( BAHCAH . Deoarece

)/()();( BAHAHBAI i )/()();( CAHAHCAI rezult de aici un fapt important:

);();( CAIBAI


41

cu egalitate dac i numai dac )/Pr()/Pr( baca . Relatia ultim arat c exist o pierdere de informatie pe canalele succesive i informatia de la iesire nu este niciodat mai mare (este uzual mai mic) fa de orice punct intermediar n cascada de canale. Informatia mutual intrare-iesire se calculeaz cu relatia

CACA ca

cacaa

cacaCAI)Pr()Pr(

),Pr(log),Pr()Pr()/Pr(log),Pr();(

Dac tronsonul al doilea este lipsit de zgomote, atunci I(A;C) = I(A;B) (Se propune ca exercitiu dovedirea acestei afirmaii). Cu toate acestea, conditia Pr(a/c) = Pr(a/b) nu oblig la lipsa zgomotelor n tronsonul secund al cascadei de canale. Un exemplu ilustreaz aceasta. Fie canalele descrise de matricile

3/23/103/13/20

001,

2/12/103/13/13/1

III PP

Canalul secund nu este lipsit de zgomote i totui I(A;C) = I(A;B). Calculul verific afirmatia.

IIII PPPP

2/12/103/13/13/1

Problema aditivittii informaiei mutuale are sens dac intereseaz informatia medie dat de o secvent de simboluri de iesire despre o secvent de simboluri de intrare. Cazul apare cnd un acelai simbol de intrare este repetat de mai multe ori i transmis printr-un canal cu zgomote sau cnd un simbol de intrare este receptionat la iesire ca o secven de simboluri de iesire. Ideea general este c informatia asupra unui simbol transmis este n ctig prin efectuarea mai multor observatii. De pild, pentru fiecare simbol transmis se pot receptiona dou simboluri la iesirea canalului (v.figura).

Alfabetul de intrare are r simboluri, mulimile alfabetice de iesire au s, respectiv t simboluri. Ordinea n care sosesc i sunt citite simbolurile la ieirea canalului se presupune a fi bj, ck. Pentru intrarea A, probabilittile a priori ale simbolurilor sunt Pr(ai), probabilittile a posteriori sunt Pr(ai/bj), probabilittile mai a posteriori sunt Pr(ai/bj, ck). Conform formulelor deja cunoscute, se pot scrie entropiile a priori H(A) i a posteriori H(A/bj) i, mai departe, entropia mai a posteriori

A kj

kjkj cbacbacbAH

),/Pr(1log),/Pr(),/(

Prin medierea pe B a entropiei a posteriori se obine


42

B

bAHbBAH )/()Pr()/(

Prin medierea pe BC a entropiei mai a posteriori se obine

CB

cbAHcbCBAH ),/(),Pr()/(

Este cunoscut c I(A;B) = H(A) H(A/B). Analog, I(A;BC) = H(A) H(A/BC). Acestea sunt expresii ale informatiei mutuale pentru canalul AB i pentru canalul A(BC). Diferena lor este suplimentul de informatie asupra lui A obinut prin utilizarea cvasiconcomitent a canalelor AB i AC cu lectura ieirii C ntructva ntrziat fat de B. Mai concret

);();()/()/()/;( BAICBAICBAHBAHBCAI cu sensul unei informatii mutuale de la A la C n condiiile cunoaterii lui B. Relaia ultim rescris sub forma

);()/;();( CBAIBCAIBAI exprim aditivitatea adus n discuie mai devreme. n cuvinte, informatia furnizat de canalul AB plus informatia furnizat (condiionat) de canalul AC reprezint informatia total pe care o furnizeaz canalelele AB i AC reunite. Mai rezult faptul c pentru canalele aditive AB i AC are loc inegalitatea

);();( BAICBAI , cu egalitate dac i numai dac entropiile H(A/B) i H(A/BC) sunt egale. Aadar informatia asupra lui A este de regul mai bogat dac se folosesc ambele canale AB i AC dect dac se foloseste numai unul din ele. Ca exerciiu, cititorul poate aprofunda cazul egalittii informatiilor mutuale din relatia de mai sus cu aprecieri mai detaliate asupra canalului AC. ntre mai multe posibilitti de a calcula transinformatia suplimentar exist i fornula

CBACBA cba

cbacbaa

cbacbaCBAI),Pr()Pr(

),,Pr(log),,Pr()Pr(

),/Pr(log),,Pr();(

Pentru o alt relatie util, se defineste entropia

CBA acb

cbaACBH)/,Pr(

1log),,Pr()/(

i cu I(A;BC) = I(BC) I(BC/A)

analoga relatiei I(A;B) = I(B;A) = H(B) H(B/A) dat mai devreme, se scrie )/;();();( CBAICAICBAI

ceea ce este reluarea unei relatii de mai sus, cu ordinea simbolurilor la iesire inversat: ck , bj n loc de bj , ck, ordine care apare ca irelevant n calculul informaiei mutuale pe combinatia de canale AB, AC. Fie acum ca exemplu un canal binar simetric prin care fiecare simbol ai se transmite prin canal de dou ori. Se recepioneaz bj mai nti i ck mai apoi. Deoarece se utilizeaz acelai canal, matricile

pqqp

PP ACAB


43

sunt egale. Simbolurile de la intrare sunt considerate echiprobabile. Se pune intrebarea: dublarea transmiterii este de natur s aduc mai mult informaie la iesire? Se calculeaz pentru aceasta I(A;B) i I(A;BC).

qq

ppBAI 1log1log1);(

Acum, pentru calculul informatiei mutuale I(A;BC) se completeaz tabelul care urmeaz.

a b c Pr(a,b,c) Pr(b,c) Tip

0 0 0 221 p X

1 0 0 221 q

)(21 22 qp

Y

0 0 1 pq21 Z

1 0 1 pq21

pq Z

0 1 0 pq21 Z

1 1 0 pq21

pq Z

0 1 1 221 q Y

1 1 1 221 p

)(21 22 qp

X

Prin nlocuire n formula

CBA cba

cbacbaCBAI),Pr()Pr(

),,Pr(log),,Pr();(

se obtine (se recomand verificarea ca exercitiu)

22

22

22

22 2log2log);(

qpqq

qpppCBAI

Graficul alturat arat n culori diferite variaia n functie de eroarea q a celor dou informatii mutuale, I(A;B) i I(A;BC). Se observ trei puncte n care are loc egalitatea: punctele extreme, cnd transmiterea se face fr erori (chiar dac la q = 1 are loc o inversare a biilor) i punctul central, q = 0,5, cnd nu exist nici o diferen ntre transmiterea corect sau eronat, inversat a simbolurilor sursei A.


44

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Probabilitatea inversarii bitilor

Info

rmat

ia m

utua

la m

axim

a

I(A;B)I(A;BxC)

Capacitatea canalelor Capacitatea unui canal este o noiune de mare importan practic i se leag de faptul c informatia mutual

BA ba

babaBAI)Pr()Pr(

),Pr(log),Pr();(

depinde nu numai de canal, de probabilittile condiionate care-l definesc, ci i de probabilittile simbolurilor de la intrare.

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Probabilitatea primului simbol al sursei

Tran

sinf

orm

atia

Eroare 1%Eroare 10%


45

O sugestie asupra modului n care variaz informatia mutual (sau trans-informatia) cu probabilitile simbolurilor aplicate la intrare, n cazul simplu al canalelor binare simetrice produce graficul alturat, trasat pentru dou niveluri diferite ale erorilor introduse de canal. Se observ c informatia mutual are de fiecare dat un maxim pentru cazul n care simbolurile aplicate la intrarea canalului sunt echiprobabile. Acest extrem are valoarea (a se calcula ca exercitiu)

qq

ppBAI 1log1log1);( max

Pentru o surs A mai general, asimetric i/sau cu mai multe simboluri, stabilirea maximului transinformatiei nu este o operatie uoar. Dar de fiecare dat cnd un simbol al sursei de intrare are aparitie cert, Pr(ai) = 1 i celelalte sunt excluse, informatia mutual este nul. Valoarea maxim a informatiei mutuale arat limita de sus a performanei canalului n transmiterea informatiei generate de sursa de la intrare. Se poate defini acum capacitatea canalului: maximum de transinformaie pe multimea de surse care pot fi conectate la intrarea canalului

C = maxP(a)I(A;B) = maxP(a)[H(A) H(A/B)] Aadar, capacitatea unui canal este deteminat exclusiv de matricea canalului, notat mai devreme cu P. n cazul canalelor binare simetrice cu nivelul erorilor q = 0,1 i q = 0,01 reprezentate n graficul de mai devreme, capacitatea variaz n raport cu nivelul zgomotului: la nivel sczut (q = 0,01) capacitate mai mare, la nivel mai mare (q = 0,1) capacitate mai redus. Lipsa total a zgomotelor aduce certitudinea n transmitere i face capacitatea canalului maximal. Incertitudinea total de la p = q = 0,5 aduce anularea capacittii de transmitere a canalului. Cum s-a mai spus, calculul capacittii unui canal este oarecum delicat: este vorba de stabilirea unui extrem n condiiile satisfacerii unor restricii. Un caz mai simplu i interesant sub aspect practic l reprezint canalele uniforme. Un canal este calificat ca uniform dac matricea P ataat are particularitatea c elementele ei sunt de aa natur nct fiecare linie i fiecare coloan este o permutare distinct a elementelor de pe prima linie. Rezult imediat c alfabetul de iesire are acelai numr de simboluri ca i alfabetul de la intrare. Un canal binar simetric este uniform, un canal binar cu anulare nu este uniform. Canalele cu matricile de probabilitti conditionate

7.03.03.07.0

,3.05.02.02.03.05.05.02.03.0

sunt uniforme, dar canalele

2.03.05.03.02.05.05.03.02.0

,2.07.01.01.02.07.0


46

nu sunt uniforme. Pentru un canal uniform oarecare calculul pornete de la relatia

B i

iA

i ababaBHABHBHBAI

)/Pr(1log)/Pr()Pr()()/()();(

Suma a doua este suma unei linii din matricea P i este mereu aceeai oricare ar fi linia i luat n considerare. Cum 1)Pr(

Aia rezult

B i

i ababBHBAI

)/Pr(1log)/Pr()();(

cu termenul al doilea constant, independent de probabilittile P(ai). n aceste conditii speciale

B iiaPaP ab

abBHBAICii )/Pr(

1log)/Pr()(max);(max )()(

i problema se reduce la a stabili un maxim pentru entropia H(B) pe mulimea de valori a probabilittilor Pr(ai). Se tie n general c entropia unei surse, fie ea cea observat la iesire, este maxim dac simbolurile ei sunt echiprobabile. Nu exist vreo garanie c sursa de la intrare ar putea produce simboluri cu probabilitti Pr(ai) care s fac simbolurile de la iesirea canalului echiprobabile. Pentru un canal uniform, faptul c liniile matricei P sunt permutri distincte ale uneia dintre ele face ca sumele elementelor pe coloane s fie totdeauna egale cu unitatea i din simboluri echiprobabile la intrare se obtin simboluri echiprobabile i n acelai numr la iesire. Entropiile maxime sunt

)(loglog)( BHsrAH , capacitatea canalului este

B

iiB i

i ababrababrC )/Pr(log)/Pr(log

)/Pr(1log)/Pr(log

i se atinge atunci cnd simbolurile la intrare au toate aceeai probabilitate, Pr(a) = 1/r. Mai devreme s-au dat ca exemplu canale care sunt uniforme. Un calcul (propus ca exercitiu) pentru canalul uniform alimentat de o surs cu trei simboluri produce C = 0,0995, capacitate atins la probabilitti egale pentru simbolurile de la intrare, 1/3, 1/3, 1/3. Pentru un canal oarecare extremul este de tipul cu restricii i se stabileste prin metoda multiplicatorilor Lagrange sau prin alt metod specific. Restriciile constau n conditia ca numerele Pr(ai) s fie nenegative i subunitare i suma lor s fie egal cu unitatea. Modelul de canal AWGN (Additive White Gaussian Noise) Perturbatiile care afecteaz canalele de transmitere a informatiei se manifest i lucreaz asupra informatiei vehiculate n forme variate. De aceea, cuprinderea lor ntr-o descriere cantitativ unic, utilizabil n orice mprejurare practic este o iluzie. n consecin, n operatiile de analiz i de proiectare a sistemelor


47

de comunicatie, se recurge la modele particulare, dac acestea exist, potrivite cu una sau alta dintre aplicatii. Un model utilizat frecvent de specialitii n domeniu este cel al unui canal n care semnalul transmis este deformat, modificat, corupt n principal de un zgomot alb gaussian care se suprapune aditiv peste semnalul util (modelul AWGN Additive White Gaussian Noise zgomot alb gaussian aditiv). Modelul AWGN este o distributie de tensiuni care poate fi descris n orice moment printr-o lege statistic normal (sau gaussian). Distributia aceasta are media nul i o deviatie standard care intervine n aa-numitul raport semnal-zgomot (SNR Signal-to-Noise-Ratio) un parametru important caracteristic unei transmisii. Pentru ilustrare, fie un semnal al crui nivel este fixat. Dac raportul semnal-zgomot este mare atunci deviatia standard este mic, iar dac dimpotriv raportul semnal-zgomot este mic atunci deviatia standard este comparativ mai mare. n comunicatiile digitale raportul semnal-zgomot se exprim ca Eb/N0, un raport ntre energia pe bit i densitatea energetic a zgomotului. Un exemplu: Fie un sistem n care bitul 1 al canalului este transmis ca o tensiune de 1 volt i bitul 0 ca o tensiune de +1 volt. Acesta este un sistem bipolar fr revenire la zero (NRZ Non-Return-to-Zero). Se mai numeste i sistem binar antipodal deoarece cele dou stri sunt opuse una alteia. Receptorul contine un comparator care decide c bitul receptionat este 1 dac tensiunea este sub 0 volti i 0 dac tensiunea este egal cu sau mai mare de 0 volti. Ar fi de dorit ca iesirea comparatorului s fie eantionat/msurat n mijlocul fiecrui interval de timp dedicat unui bit. S vedem cum functioneaz acest sistem, nti cnd raportul semnal/zgomot este mare, apoi cnd acelai raport este redus.

-4 -3 -2 -1 0 1 2 3 40

0.5

1

1.5

2

2.5

3

3.5

4DISTRIBUTIA TENSIUNILOR LA S/Z = 20 dB

volti

Den

sita

tea

de p

roba

bilit

ate


48

Figura alturat arat densitatea de repartitie a tensiunilor la intrarea n receptor, sum a tensiunilor semnalului i zgomotului, la un nivel al raportului semnal-zgomot Eb/N0 de 20 dB, adic atunci cnd tensiunea semnalului este de 10 ori mai mare dect tensiunea medie ptratic (deviatia standard) a zgomotului. Se observ dou distributii identice ca form, bine separate, una centrat pe tensiunea de 1 volt, cealalt centrat pe tensiunea de +1 volt. Receptorul simplu din exemplul n discutie, aproape sistematic detecteaz bitul 1 dac tensiunea este negativ i detecteaz bitul 0 dac tensiunea este nul sau pozitiv. Receptorul nu are dificultti prea mari n a primi i a interpreta corect un semnal precum cel din figur. Vor aprea, dac vor aprea, foarte putine erori la receptie. ntr-o simulare a unei transmisii constnd n 1.000.000 de biti, cu raportul semnal-zgomot Eb/N0 de 20 dB, un 0 transmis n-a fost niciodat receptionat ca 1 i nici vreun 1 transmis n-a fost receptionat ca 0. Deocamdat lucrurile merg practic fr cusur. Figura urmtoare arat alte distributii ale tensiunilor receptionate tot printr-un canal AWGN dar la un raport semnal-zgomot Eb/N0 sczut la 6 dB, adic atunci cnd tensiunea semnalului este numai dublul tensiunii medii ptratice a zgomotului.

-4 -3 -2 -1 0 1 2 3 40

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8DISTRIBUTIA TENSIUNILOR LA S/Z = 6 dB

volti

Den

sita

tea

de p

roba

bilit

ate

Se observ acum c cele dou distributii centrate pe 1 volt i pe +1 volt nu mai sunt att de net separate: partea din dreapta extrem a curbei centrate pe 1 volt trece peste 0, iar partea stng a curbei centrate pe +1 volt trece la rndu-i sub 0. Erorile de interpretare/detectie sunt acum greu de evitat: mai multe unitti binare pot fi interpretate ca zero binar, mai multe zerouri binare pot fi interpretate ca unitti. ntr-o simulare a unei transmisii ntins tot pe 1.000.000 biti, 0 a fost receptionat ca 1, la fel 1 a fost interpretat ca 0 de un numr apreciabil de ori. Apare o rat a erorilor care nu mai poate fi ignorat (Se propune ca exercitiu stabilirea proportiei de erori n transmisia simulat).


49

Ceea ce se ntmpl de data aceasta nu este tocmai n regul, mai ales cnd se efectueaz o transmisie de date n care precizia este de mare importan. O problem special privind canalele Inginerii de telecomunicatii au de rezolvat uneori problema urmtoare: Fie un canal cu banda de trecere W Hz. Canalul este afectat de perturbaii. Ce debit de informaie se poate transmite prin acel canal la un raport semnal/zgomot cunoscut? Dac sursa cu alfabetul A are entropia H(A) atunci ea genereaz n medie H(A) bii per simbol. Dac prin canal se transmite 1 simbol/secund atunci prin canal se transmit n medie H(A) bii/secund. Zgomotul din canal reduce aceast vitez cu echivocatia H(A/B). Aadar canalul nu poate produce la iesire o rat, un debit de informaie mai mare dect R = I(A;B) = H(A) H(A/B) bii/secund. Capacitatea canalului este valoarea maxim a transinformatiei I(A;B) i ea poate fi numeric egal cu viteza maxim cu care se pot alimenta simboluri la intrarea canalului de transmisie. Urmeaz acum dezvoltarea unei expresii specifice pentru capacitatea canalului. O teorem a eantionrii spune c dac un semnal este eantionat de N ori pe secund atunci semnalul respectiv este limitat ca spectru de frecvente la N/2 Hz. Sau, pentru un semnal de band limitat de mediul de transmisie la W Hz, numrul de eantioane pe secund trebuie s depeasc Nmin = 2W pentru a putea fi reconstituit din eantioanele sale. Fie acum P puterea semnalului i = N0W puterea zgomotului n canal, cu N0 densitatea spectral de putere a zgomotului presupus constant n banda de frecvene a semnalului transmis (zgomot alb). Rdcina ptrat a unei puteri are dimensiunea unei tensiuni (curent) dac sarcina este rezistiv de 1 ohm. Se admite c transmiterea informatiei se face n trepte de tensiune care nu pot fi mai mici dect tensiunea eficace a zgomotului. Numrul de trepte se calculeaz prin raportarea a dou tensiuni (cureni)

22

2

1

PPS

urmat de o rotunjire la un numr ntreg apropiat. Cu S niveluri ale semnalului (altfel spus cu un alfabet cu S simboluri) entropia maxim se obine atunci cnd nivelurile au aceeai probabilitate

2

11log

21loglog1

PSS

S

S

i

Dac se preiau Nmin = 2W eantioane pe secund i fiecare eantion poart logS bii de informaie, atunci viteza maxim de transmitere este Rmax = 2WlogS bii pe secund i din

2max 1log2

12log2PWSWCR

rezult


50

21log

PWC

expresia unei teoreme (Shannon-Hartley) asupra capacittii unui canal definit din unghiul de vedere al inginerului de telecomunicatii, n functie de raportul semnal/zgomot, P/2 i de banda de frecvene a semnalului. Logaritmii sunt n baza 2 i rezultatul este n bii/secund. Un exemplu: Care este nivelul minim al raportului semnal/zgomot al unui canal telefonic dac el trebuie s serveasc un modem de 56 kbps (kilobii pe secund)? Viteza de 56 kbps necesit o capacitate a canalului de cel puin C = 56000 biti/secund (bps). Lrgimea benzii unui canal telefonic W este de cca. 3,6 kHz. Ecuaia

21log360056000

P

are solutia P/2 48160. Uzual, raportul semnal/zgomot se exprim n dB (decibelli) (P/2)dB = 10 lg(P/2), cu logaritmul n baza 10. Rezultatul problemei este P/2 = 46,8 dB. Un exercitiu propus: care este limita capacittii unui canal cnd W ? O indicaie: trebuie avut n vedere c = N0W, cu N0 densitatea spectral de putere a zgomotului presupus constant pe ntreg spectrul de frecvene. Canale de tip continuu Pentru sursele i canalele continue, informatia mutual (transinf

Documents

Tci