Matematické Fórum

Hertas · 02. 12. 2015 20:52

Zdravim,

mam jeden priklad tykajici se entropie v teorii informace, u ktereho si nejsem jist, zda ho resim spravne.

Nejprve zavedu nejake pojmy:

V Shannonove teorii informace udava entropie prumerny pocet otazek, na ktere existuji binarni odpovedi (ano/ne), potrebnych k ziskani dane informace (vsechny logaritmy v nasledujicich uvahach maji zaklad 2).

Entropie je definovana jako $H(X)=-\sum_{x \in \chi} p(x)\log_{}p(x)$ , kde p(x) je pravdepodobnost vyskytu zpravy x

dale pro podminenou entropii plati $H(X|Y)=-\sum_{y \in \psi }p(y)H(X|Y=y)$
pro podminenou pravdepodobnost navic plati $p(x|y)=\frac{p(x,y)}{p(y)}$
a dale $p(x) = \sum_{y \in \psi }p(x,y)$

Priklad: Mate balicek mariasovych karet (4 barvy po 8 kartach). Necht $X_1, X_2,..., X_{32}$ jsou barvy dobre zamichanych karet 1, 2,..., 32. Spoctete $H(X_1), H(X_2), H(X_1|X_2), H(X_2|X_1)$ .

Zrejme plati, ze $H(X_1) = H(X_2)$ a $H(X_1|X_2)=H(X_2|X_1)$

Jelikoz v balicku dobre zamichanych karet se bude karta libovolne barvy vyskytovat s pravdepodobnosti $\frac{1}{4}$ , okamzite muzeme spocist (pri oznaceni barev 1,.., 4) $H(X_1) = -\sum_{i=1}^{4}p(x_i) \log_{} p(x_i)=4\frac{1}{4} \log_{}4=2$

Pro podminenou entropii muzeme bez ujmy na obecnosti uvazovat, ze $X_2 = 1$ (kde 1 vyjadruje cislo barvy), ktera ma podle predchozich uvah pravdepodobnost $\frac{1}{4}$
a tedy pro pravdepodobnosti vyskytu barev $X_1$ bude platit nasledujici tabulka:
1 2 3 4
-----------------------------
$\frac{7}{31}$ $\frac{8}{31}$ $\frac{8}{31}$ $\frac{8}{31}$

takze $H(X_1|X_2)=-\sum_{y \in \psi}H(X_1|X_2 = y) p(y)=-\sum_{y \in \psi}\sum_{x \in \chi}p(y)p(x|y) \log_{} p(x|y) = -\frac{7}{31} \log_{} \frac{7}{31} - 3 \frac{8}{31} \log_{} \frac{8}{31}$

Je to takhle spravne?
Dekuji