Aufgaben:Aufgabe 3.7: Einige Entropieberechnungen: Unterschied zwischen den Versionen

Aktuelle Version vom 1. September 2021, 10:46 Uhr

Schaubild:
Entropien und Transinformation

Wir betrachten die beiden Zufallsgrößen $XY$ und $UV$ mit den folgenden 2D-Wahrscheinlichkeitsfunktionen:

$$P_{XY}(X, Y) = \begin{pmatrix} 0.18 & 0.16\\ 0.02 & 0.64 \end{pmatrix}\hspace{0.05cm} \hspace{0.05cm}$$

$$P_{UV}(U, V) \hspace{0.05cm}= \begin{pmatrix} 0.068 & 0.132\\ 0.272 & 0.528 \end{pmatrix}\hspace{0.05cm}$$

Für die Zufallsgröße $XY$ sollen in dieser Aufgabe berechnet werden:

die Verbundentropie (englisch: "Joint Entropy"):

$$H(XY) = -{\rm E}\big [\log_2 P_{ XY }( X,Y) \big ],$$

die beiden Einzelentropien:

$$H(X) = -{\rm E}\big [\log_2 P_X( X)\big ],$$

$$H(Y) = -{\rm E}\big [\log_2 P_Y( Y)\big ].$$

Daraus lassen sich gemäß dem obigen Schema – dargestellt für die Zufallsgröße $XY$ – auch folgende Beschreibungsgrößen sehr einfach bestimmen:

die bedingten Entropien (englisch: "Conditional Entropies"):

$$H(X \hspace{0.05cm}|\hspace{0.05cm} Y) = -{\rm E}\big [\log_2 P_{ X \hspace{0.05cm}|\hspace{0.05cm}Y }( X \hspace{0.05cm}|\hspace{0.05cm} Y)\big ],$$

$$H(Y \hspace{0.05cm}|\hspace{0.05cm} X) = -{\rm E}\big [\log_2 P_{ Y \hspace{0.05cm}|\hspace{0.05cm} X }( Y \hspace{0.05cm}|\hspace{0.05cm} X)\big ],$$

die Transinformation (englisch: "Mutual Information") zwischen $X$ und $Y$:

$$I(X;Y) = {\rm E} \hspace{-0.08cm}\left [ \hspace{0.02cm}{\rm log}_2 \hspace{0.1cm} \frac{P_{XY}(X, Y)} {P_{X}(X) \cdot P_{Y}(Y) }\right ] \hspace{0.05cm}.$$

Abschließend sind qualitative Aussagen hinsichtlich der zweiten Zufallsgröße $UV$ zu verifizieren.

Hinweise:

Die Aufgabe gehört zum Kapitel Verschiedene Entropien zweidimensionaler Zufallsgrößen.
Insbesondere wird Bezug genommen auf die Seiten
Bedingte Wahrscheinlichkeit und bedingte Entropie sowie
Transinformation zwischen zwei Zufallsgrößen.

Fragebogen

$H(XY) \ = \ $

$\ \rm bit$

$H(X) \ = \ $

$\ \rm bit$

$H(Y) \ = \ $

$\ \rm bit$

$I(X; Y) \ = \ $

$\ \rm bit$

$H(X|Y) \ = \ $

$\ \rm bit$

$H(Y|X) \ = \ $

$\ \rm bit$

	Die 1D–Zufallsgrößen $U$ und $V$ sind statistisch unabhängig.
	Die gemeinsame Information von $U$ und $V$ ist $I(U; V) = 0$.
	Für die Verbundentropie gilt $H(UV) = H(XY)$.
	Es gelten die Beziehungen $H(U\|V) = H(U)$ und $H(V\|U) = H(V)$.

Musterlösung

(1) Aus der gegebenen Verbundwahrscheinlichkeit erhält man

$$H(XY) = 0.18 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.18} + 0.16\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.16}+ 0.02\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.02}+ 0.64\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.64} \hspace{0.15cm} \underline {= 1.393\,{\rm (bit)}} \hspace{0.05cm}.$$

(2) Die 1D–Wahrscheinlichkeitsfunktionen lauten $P_X(X) = \big [0.2, \ 0.8 \big ]$ und $P_Y(Y) = \big [0.34, \ 0.66 \big ]$. Daraus folgt:

$$H(X) = 0.2 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.2} + 0.8\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.8}\hspace{0.15cm} \underline {= 0.722\,{\rm (bit)}} \hspace{0.05cm},$$

$$H(Y) =0.34 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.34} + 0.66\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.66}\hspace{0.15cm} \underline {= 0.925\,{\rm (bit)}} \hspace{0.05cm}.$$

(3) Aus der Grafik auf der Angabenseite erkennt man den Zusammenhang:

$$I(X;Y) = H(X) + H(Y) - H(XY) = 0.722\,{\rm (bit)} + 0.925\,{\rm (bit)}- 1.393\,{\rm (bit)}\hspace{0.15cm} \underline {= 0.254\,{\rm (bit)}} \hspace{0.05cm}.$$

(4) Ebenso gilt entsprechend der Grafik auf der Angabenseite:

$$H(X \hspace{-0.1cm}\mid \hspace{-0.08cm} Y) = H(XY) - H(Y) = 1.393- 0.925\hspace{0.15cm} \underline {= 0.468\,{\rm (bit)}} \hspace{0.05cm},$$

$$H(Y \hspace{-0.1cm}\mid \hspace{-0.08cm} X) = H(XY) - H(X) = 1.393- 0.722\hspace{0.15cm} \underline {= 0.671\,{\rm (bit)}} \hspace{0.05cm}$$

Entropiewerte für die Zufallsgrößen $XY$ und $UV$

Die linke Grafik fasst die Ergebnisse der Teilaufgaben (1), ... , (4) maßstabsgetreu zusammen.
Grau hinterlegt ist die Verbundentropie und gelb die Transinformation.
Eine rote Hinterlegung bezieht sich auf die Zufallsgröße $X$, eine grüne auf $Y$. Schraffierte Felder deuten auf eine bedingte Entropie hin.

Die rechte Grafik beschreibt den gleichen Sachverhalt für die Zufallsgröße $UV$ ⇒ Teilaufgabe (5).

(5) Richtig sind gemäß dem Schaubild die Aussagen 1, 2 und 4:

Man erkennt die Gültigkeit von $P_{ UV } = P_U · P_V$ ⇒ Transinformation $I(U; V) = 0$ daran,
dass die zweite Zeile der $P_{ UV }$–Matrix sich von der ersten Zeile nur durch einen konstanten Faktor $(4)$ unterscheidet.
Es ergeben sich gleiche 1D–Wahrscheinlichkeitsfunktionen wie für die Zufallsgröße $XY$ ⇒ $P_U(U) = \big [0.2, \ 0.8 \big ]$ und $P_V(V) = \big [0.34, \ 0.66 \big ]$.
Deshalb ist auch $H(U) = H(X) = 0.722\ \rm bit$ und $H(V) = H(Y) = 0.925 \ \rm bit$.
Hier gilt aber nun für die Verbundentropie: $H(UV) = H(U) + H(V) ≠ H(XY)$.

@@ Zeile 3: / Zeile 3: @@
 }}
-[[Datei:P_ID2766__Inf_A_3_6.png|right|]]
+[[Datei:P_ID2766__Inf_A_3_6.png|right|frame|Schaubild: <br>Entropien und Transinformation]]
-Wir betrachten die beiden Zufallsgrößen $XY$ und $UV$ mit den folgenden 2D-Wahrscheinlichkeitsfunktionen:
+Wir betrachten die beiden Zufallsgrößen&nbsp; $XY$&nbsp; und&nbsp; $UV$&nbsp; mit den folgenden 2D-Wahrscheinlichkeitsfunktionen:
+:$$P_{XY}(X, Y) = \begin{pmatrix} 0.18 & 0.16\\ 0.02 & 0.64 \end{pmatrix}\hspace{0.05cm} \hspace{0.05cm}$$
+:$$P_{UV}(U, V) \hspace{0.05cm}= \begin{pmatrix} 0.068 & 0.132\\ 0.272 & 0.528 \end{pmatrix}\hspace{0.05cm}$$
-$$P_{XY}(X, Y) = \begin{pmatrix} 0.18 & 0.16\\ 0.02 & 0.64 \end{pmatrix}\hspace{0.05cm} \hspace{0.05cm}$$
+Für die Zufallsgröße&nbsp; $XY$&nbsp; sollen in dieser Aufgabe berechnet werden:
+* die Verbundentropie&nbsp; (englisch:&nbsp; "Joint Entropy"):
+:$$H(XY) = -{\rm E}\big [\log_2  P_{ XY }( X,Y) \big ],$$
+* die beiden Einzelentropien:
+:$$H(X) = -{\rm E}\big [\log_2  P_X( X)\big ],$$
+:$$H(Y) = -{\rm E}\big [\log_2  P_Y( Y)\big ].$$
+Daraus lassen sich gemäß dem obigen Schema – dargestellt für die Zufallsgröße&nbsp; $XY$ – auch folgende Beschreibungsgrößen sehr einfach bestimmen:
+* die bedingten Entropien&nbsp; (englisch:&nbsp; "Conditional Entropies"):
+:$$H(X \hspace{0.05cm}|\hspace{0.05cm} Y) = -{\rm E}\big [\log_2  P_{ X \hspace{0.05cm}|\hspace{0.05cm}Y }( X \hspace{0.05cm}|\hspace{0.05cm} Y)\big ],$$
+:$$H(Y \hspace{0.05cm}|\hspace{0.05cm} X) = -{\rm E}\big [\log_2  P_{ Y \hspace{0.05cm}|\hspace{0.05cm} X }( Y \hspace{0.05cm}|\hspace{0.05cm} X)\big ],$$
+* die Transinformation&nbsp; (englisch:&nbsp; "Mutual Information") zwischen $X$ und $Y$:
+:$$I(X;Y) = {\rm E} \hspace{-0.08cm}\left [ \hspace{0.02cm}{\rm log}_2 \hspace{0.1cm} \frac{P_{XY}(X, Y)}
+{P_{X}(X) \cdot P_{Y}(Y) }\right ]  \hspace{0.05cm}.$$
-$$P_{UV}(U, V) \hspace{0.05cm}= \begin{pmatrix} 0.068 & 0.132\\ 0.272 & 0.528 \end{pmatrix}\hspace{0.05cm}$$
+Abschließend sind qualitative Aussagen hinsichtlich der zweiten Zufallsgröße&nbsp; $UV$&nbsp; zu verifizieren.
-Für die Zufallsgröße $XY$sollen in dieser Aufgabe berechnet werden:
-:* die Verbundentropie (englisch: Joint Entropy):
-$H(XY) = -E[log_2  P_{ XY }( X,Y)]$
-:* die beiden Einzelentropien:
-$$H(X) = -E[log_2  P_X( X)]$$
-$$H(Y) = -E[log_2  P_Y( Y)]$$
-Daraus lassen sich entsprechend dem obigen Schema – dargestellt für die Zufallsgröße $XY$ – noch die folgenden Beschreibungsgrößen sehr einfach bestimmen:
-:* die bedingten Entropien (englisch: Conditional Entropies):
-$H(X \mid Y) = -E[log_2  P_{ X \mid Y }( X \mid Y)]$
-$H(Y \mid Y) = -E[log_2  P_{ Y \mid X }( Y \mid X)]$
+Hinweise:
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
-:* die Transinformation (englisch: Mutual Information) zwischen $X$ und $Y$:
+*Insbesondere wird Bezug genommen auf die Seiten&nbsp; <br> &nbsp; &nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie|Bedingte Wahrscheinlichkeit und bedingte Entropie]] &nbsp; sowie <br> &nbsp; &nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen|Transinformation zwischen zwei Zufallsgrößen]].
-$I(X;Y) = E [log_2 \frac{P_{ XY }(X,Y)}{P_X(X) . P_Y(Y)}]$
-Abschließend sind qualitative Aussagen hinsichtlich der zweiten Zufallsgröße $UV$ zu verifizieren.
-'''Hinwies:'''  Die Aufgabe bezieht sich auf das Themengebiet von [http://www.lntwww.de/Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgr%C3%B6%C3%9Fen Kapitel 3.2].
@@ Zeile 38: / Zeile 39: @@
 <quiz display=simple>
 {Berechnen Sie die Verbundentropie.
 |type="{}"}
-$H(XY)$ = { 1.393 3% } $bit$
+$H(XY) \ = \ $  { 1.393 3% } $\ \rm bit$
-{Welche Entropien weisen die 1D–Zufallsgrößen $X$ und $Y$ auf?
+{Welche Entropien weisen die 1D–Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; auf?
 |type="{}"}
-$H(X)$ = { 0.722 3% } $bit$
+$H(X) \ = \ $ { 0.722 3% } $\ \rm bit$
-$H(Y)$ = { 0.925 3% } $bit$
+$H(Y) \ = \ $ { 0.925 3% } $\ \rm bit$
-{Wie groß ist die Transinformation zwischen den Zufallsgrößen $X$ und $Y$?
+{Wie groß ist die Transinformation zwischen den Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$?
 |type="{}"}
-$I(X; Y)$ = { 0.254 3% } $bit$
+$I(X; Y) \ = \ $ { 0.254 3% } $\ \rm bit$
 {Berechnen Sie die beiden bedingten Entropien.
 |type="{}"}
-$H(X|Y)$  = { 0.468  3% } $bit$
+$H(X|Y) \ = \ $ { 0.468 3% } $\ \rm bit$
-$H(Y|X)$  = { 0.671  3% } $bit$
+$H(Y|X) \ = \ $ { 0.671 3% } $\ \rm bit$
-{Welche der folgenden Aussagen treffen für die 2D–Zufallsgröße $UV$ zu?
+{Welche der folgenden Aussagen treffen für die 2D–Zufallsgröße&nbsp; $UV$&nbsp; zu?
 |type="[]"}
-+ Die 1D–Zufallsgrößen $U$ und $V$ sind statistisch unabhängig.
++ Die 1D–Zufallsgrößen&nbsp; $U$&nbsp; und&nbsp; $V$&nbsp; sind statistisch unabhängig.
-+ Die gemeinsame Information von $U$ und $V  \Rightarrow   I(U; V)$ ist $0$.
++ Die gemeinsame Information von&nbsp; $U$&nbsp; und&nbsp; $V$&nbsp;   ist&nbsp;  $I(U; V) = 0$.
-- Für die Verbundentropie gilt $H(UV) = H(XY)$.
+- Für die Verbundentropie gilt&nbsp; $H(UV) = H(XY)$.
-+ Es gelten die Beziehungen $H(U|V) = H(U)$ und $H(V|U) = H(V)$.
++ Es gelten die Beziehungen&nbsp; $H(U|V) = H(U)$&nbsp; und&nbsp; $H(V|U) = H(V)$.
@@ Zeile 72: / Zeile 71: @@
 {{ML-Kopf}}
-'''1.''' Aus der gegebenen Verbundwahrscheinlichkeit erhält man
+'''(1)'''&nbsp; Aus der gegebenen Verbundwahrscheinlichkeit erhält man
+:$$H(XY) = 0.18 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.18} + 0.16\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.16}+
+.02\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.02}+
+.64\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.64}
+\hspace{0.15cm} \underline {= 1.393\,{\rm (bit)}}
+	\hspace{0.05cm}.$$
-$$H(XY) = 0,18 . log_2 \frac{1}{0,18} +  0,16 . log_2 \frac{1}{0,16}$$
-$$+  0,02 . log_2 \frac{1}{0,02} +  0,64 . log_2 \frac{1}{0,64} = 1,393 (bit)$$
+'''(2)'''&nbsp; Die 1D–Wahrscheinlichkeitsfunktionen lauten&nbsp; $P_X(X) = \big [0.2, \ 0.8 \big ]$&nbsp; und&nbsp; $P_Y(Y) = \big [0.34, \ 0.66 \big ]$.&nbsp; Daraus folgt:
+:$$H(X)  = 0.2 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.2} + 0.8\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.8}\hspace{0.15cm} \underline {= 0.722\,{\rm (bit)}} \hspace{0.05cm},$$
+:$$H(Y) =0.34 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.34} + 0.66\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.66}\hspace{0.15cm} \underline {= 0.925\,{\rm (bit)}} \hspace{0.05cm}.$$
-'''2.''' Die 1D–Wahrscheinlichkeitsfunktionen lauten $P_X(X) = [0.2, 0.8]$ und $P_Y(Y) = [0.34, 0.66]$. Daraus folgt:
-$H(X) = 0,2 . log_2 \frac{1}{0.2} + 0,8 . log_2 \frac{1}{0,8} = 0.722 (bit)$
+'''(3)'''&nbsp; Aus der Grafik auf der Angabenseite erkennt man den Zusammenhang:
+:$$I(X;Y) = H(X) + H(Y) - H(XY) = 0.722\,{\rm (bit)} + 0.925\,{\rm (bit)}- 1.393\,{\rm (bit)}\hspace{0.15cm} \underline {= 0.254\,{\rm (bit)}} \hspace{0.05cm}.$$
-$H(Y) = 0,34 . log_2 \frac{1}{0.34} + 0,66 . log_2 \frac{1}{0,66} = 0.925 (bit)$
-'''3.'''  Aus der $Grafik$ auf der Angabenseite erkennt man den Zusammenhang:
-$$I(X;Y) = H(X) + H(Y) - H(XY) = $$
+'''(4)'''&nbsp; Ebenso gilt entsprechend der Grafik auf der Angabenseite:
-$$ = 0.722 (bit) + 0.925 (bit)- 1.393 (bit) = 0.254 (bit)$$
+:$$H(X \hspace{-0.1cm}\mid \hspace{-0.08cm} Y)  = H(XY) - H(Y) = 1.393- 0.925\hspace{0.15cm} \underline {= 0.468\,{\rm (bit)}} \hspace{0.05cm},$$
+:$$H(Y \hspace{-0.1cm}\mid \hspace{-0.08cm} X)  = H(XY) - H(X) = 1.393- 0.722\hspace{0.15cm} \underline {= 0.671\,{\rm (bit)}} \hspace{0.05cm}$$
+[[Datei:P_ID2767__Inf_A_3_6d.png|right|frame|Entropiewerte für die Zufallsgrößen $XY$ und $UV$]]
-'''4.'''  Ebenso gilt entsprechend der $Grafik$ auf der Angabenseite:
+*Die linke Grafik fasst die Ergebnisse der Teilaufgaben&nbsp; '''(1)''', ... , &nbsp;'''(4)'''&nbsp; maßstabsgetreu zusammen.
+*Grau hinterlegt ist die Verbundentropie und gelb die Transinformation.
+*Eine rote Hinterlegung bezieht sich auf die Zufallsgröße&nbsp; $X$, eine grüne auf&nbsp; $Y$.&nbsp; Schraffierte Felder deuten auf eine bedingte Entropie hin.
-$$H(X \mid Y) =  H(XY) - H(Y) = 1.393  - 0.925   =  0.468 (bit)$$
-$$H(Y \mid X) =  H(XY)  - H(X) = 1.393 - 0.722 = 0.671 (bit)$$
-Die linke Grafik fasst die Ergebnisse der Teilaufgaben (a), ... , (d) maßstabsgetreu zusammen. Grau hinterlegt ist die Verbundentropie und gelb die Transinformation. Eine rote Hinterlegung bezieht sich auf die Zufallsgröße $X$, eine grüne auf $Y$. Schraffierte Felder deuten auf eine bedingte Entropie hin.
+Die rechte Grafik beschreibt den gleichen Sachverhalt für die Zufallsgröße&nbsp; $UV$ &nbsp; &rArr; &nbsp; Teilaufgabe&nbsp; '''(5)'''.
-[[Datei:P_ID2767__Inf_A_3_6d.png|right|]]
-Die rechte Grafik beschreibt den gleichen Sachverhalt für die Zufallsgröße $UV \Rightarrow$ Teilaufgabe (e).
-'''5.'''  Man erkennt die Gültigkeit von $P_{ UV } (.) = P_U (⋅) · P_V(⋅)  \Rightarrow$  Transinformation $I(U; V) = 0$ daran, dass die zweite Zeile der $P_{ UV }$–Matrix sich von der ersten Zeile nur durch einen konstanten Faktor (4) unterscheidet. Richtig sind demzufolge die Aussagen 1, 2 und 4. Weiter ist zu erwähnen:
+'''(5)'''&nbsp; Richtig sind gemäß dem Schaubild die Aussagen 1, 2 und 4:
-:*Es ergeben sich die gleichen 1D–Wahrscheinlichkeitsfunktiionen wie für die Zufallsgröße $XY \Rightarrow P_U(U) = [0.2, 0.8]$ und $P_V(V) = [0.34, 0.66]$.
+*Man erkennt die Gültigkeit von&nbsp; $P_{ UV } = P_U  · P_V$  &nbsp; &rArr; &nbsp;   Transinformation $I(U; V) = 0$&nbsp; daran, <br>dass die zweite Zeile der&nbsp; $P_{ UV }$–Matrix sich von der ersten Zeile nur durch einen konstanten Faktor&nbsp; $(4)$&nbsp; unterscheidet.
-:*Deshalb ist auch $H(U) = H(X) = 0.722$ bit und $H(V) = H(Y) = 0.925 bit$.
+*Es ergeben sich gleiche 1D–Wahrscheinlichkeitsfunktionen wie für die Zufallsgröße&nbsp; $XY$ &nbsp; &rArr; &nbsp;  $P_U(U) = \big [0.2, \ 0.8 \big ]$ &nbsp;und&nbsp;  $P_V(V) = \big [0.34, \ 0.66 \big ]$.
-:* Hier gilt aber nun für die Verbundentropie: $H(UV) = H(U) + H(V) ≠ H(XY)$.
+*Deshalb ist auch&nbsp; $H(U) = H(X) = 0.722\ \rm  bit$ &nbsp;und&nbsp; $H(V) = H(Y) = 0.925 \ \rm bit$.
+* Hier gilt aber nun für die Verbundentropie: &nbsp; $H(UV) = H(U) + H(V) ≠ H(XY)$.
 {{ML-Fuß}}
@@ Zeile 110: / Zeile 116: @@
-[[Category:Aufgaben zu Informationstheorie|^3.2Verschiedene Entropien zweidimensionaler Zufallsgrößen^]]
+[[Category:Aufgaben zu Informationstheorie|^3.2 Entropien von 2D-Zufallsgrößen^]]