Definitia entropiei
H(X) = -Σ p(x)·log₂ p(x)
Entropia masoara incertitudinea medie a unei variabile aleatoare. O moneda corecta: H = 1 bit. Un text in engleza: H ≈ 1.5 biti per caracter.
Entropia comuna si conditionala
H(X,Y) = -ΣΣ p(x,y)·log₂ p(x,y) — informatia totala H(X|Y) = H(X,Y) - H(Y) — incertitudinea lui X stiind Y I(X;Y) = H(X) - H(X|Y) — informatia mutuala (cat il stim pe X din Y)
Prima teorema a lui Shannon (Source Coding)
Un sir de n simboluri i.i.d. nu poate fi comprimat la mai putin de n·H(X) biti fara pierderi. Huffman coding atinge acest optim asimptotic. Aritmetic coding e si mai apropiat.
A doua teorema (Channel Coding)
Capacitatea unui canal C = max I(X;Y). Pentru un canal cu zgomot gaussian: C = B·log₂(1 + S/N). Aceasta e limita fundamentala a comunicatiei — niciun cod nu poate transmite mai repede.
Aplicatii
Entropia e baza cross-entropy loss in ML, a informatiei mutuale in selectia de caracteristici, si a raportului de compresie in codare.