Aufgaben:Aufgabe 3.7: Einige Entropieberechnungen: Unterschied zwischen den Versionen
Aus LNTwww
Safwen (Diskussion | Beiträge) (Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/Verschiedene Entropien zweidimensionaler Zufallsgrößen }} [[Datei:|right|]] ===Fragebogen=== <quiz display=s…“) |
Safwen (Diskussion | Beiträge) |
||
Zeile 3: | Zeile 3: | ||
}} | }} | ||
− | [[Datei:|right|]] | + | [[Datei:P_ID2766__Inf_A_3_6.png|right|]] |
+ | Wir betrachten die beiden Zufallsgrößen $XY$ und $UV$ mit den folgenden 2D-Wahrscheinlichkeitsfunktionen: | ||
+ | |||
+ | $$P_{XY}(X, Y) = \begin{pmatrix} 0.18 & 0.16\\ 0.02 & 0.64 \end{pmatrix}\hspace{0.05cm} \hspace{0.05cm}$$, | ||
+ | |||
+ | $$P_{UV}(U, V) \hspace{0.05cm}= \begin{pmatrix} 0.068 & 0.132\\ 0.272 & 0.528 \end{pmatrix}\hspace{0.05cm}$$. | ||
+ | |||
+ | Für die Zufallsgröße $XY$sollen in dieser Aufgabe berechnet werden: | ||
+ | |||
+ | :* die Verbundentropie (englisch: Joint Entropy): | ||
+ | |||
+ | $H(XY) = -E[log_2 P_{ XY }( X,Y)]$ | ||
+ | :* die beiden Einzelentropien: | ||
+ | |||
+ | $$H(X) = -E[log_2 P_X( X)]$$ | ||
+ | $$H(Y) = -E[log_2 P_Y( Y)]$$ | ||
Version vom 26. November 2016, 14:38 Uhr
Wir betrachten die beiden Zufallsgrößen $XY$ und $UV$ mit den folgenden 2D-Wahrscheinlichkeitsfunktionen:
$$P_{XY}(X, Y) = \begin{pmatrix} 0.18 & 0.16\\ 0.02 & 0.64 \end{pmatrix}\hspace{0.05cm} \hspace{0.05cm}$$,
$$P_{UV}(U, V) \hspace{0.05cm}= \begin{pmatrix} 0.068 & 0.132\\ 0.272 & 0.528 \end{pmatrix}\hspace{0.05cm}$$.
Für die Zufallsgröße $XY$sollen in dieser Aufgabe berechnet werden:
- die Verbundentropie (englisch: Joint Entropy):
$H(XY) = -E[log_2 P_{ XY }( X,Y)]$
- die beiden Einzelentropien:
$$H(X) = -E[log_2 P_X( X)]$$ $$H(Y) = -E[log_2 P_Y( Y)]$$
Fragebogen
Musterlösung
1.
2.
3.
4.
5.
6.
7.