Aufgaben:Aufgabe 3.9: Bedingte Transinformation: Unterschied zwischen den Versionen

Aktuelle Version vom 21. September 2021, 15:17 Uhr

Ergebnis $W$ als Funktion
von $X$, $Y$, $Z$

Wir gehen von den statistisch unabhängigen Zufallsgrößen $X$, $Y$ und $Z$ mit den folgenden Eigenschaften aus:

$$X \in \{1,\ 2 \} \hspace{0.05cm},\hspace{0.35cm} Y \in \{1,\ 2 \} \hspace{0.05cm},\hspace{0.35cm} Z \in \{1,\ 2 \} \hspace{0.05cm},\hspace{0.35cm} P_X(X) = P_Y(Y) = \big [ 1/2, \ 1/2 \big ]\hspace{0.05cm},\hspace{0.35cm}P_Z(Z) = \big [ p, \ 1-p \big ].$$

Aus $X$, $Y$ und $Z$ bilden wir die neue Zufallsgröße $W = (X+Y) \cdot Z$.

Es ist offensichtlich, dass es zwischen $X$ und $W$ statistische Abhängigkeiten gibt ⇒ Transinformation $I(X; W) ≠ 0$.
Außerdem wird auch $I(Y; W) ≠ 0$ sowie $I(Z; W) ≠ 0$ gelten, worauf in dieser Aufgabe jedoch nicht näher eingegangen wird.

In dieser Aufgabe werden drei verschiedene Transinformationsdefinitionen verwendet:

die „herkömmliche” Transinformation zwischen $X$ und $W$:

$$I(X;W) = H(X) - H(X|\hspace{0.05cm}W) \hspace{0.05cm},$$

die „bedingte” Transinformation zwischen $X$ und $W$ bei gegebenem Festwert $Z = z$:

$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = z) = H(X\hspace{0.05cm}|\hspace{0.05cm} Z = z) - H(X|\hspace{0.05cm}W ,\hspace{0.05cm} Z = z) \hspace{0.05cm},$$

die „bedingte” Transinformation zwischen $X$ und $W$ bei gegebener Zufallsgröße $Z$:

$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z ) = H(X\hspace{0.05cm}|\hspace{0.05cm} Z ) - H(X|\hspace{0.05cm}W \hspace{0.05cm} Z ) \hspace{0.05cm}.$$

Der Zusammenhang zwischen den beiden letzten Definitionen lautet:

$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z ) = \sum_{z \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (P_{Z})} \hspace{-0.2cm} P_Z(z) \cdot I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = z)\hspace{0.05cm}.$$

Hinweise:

Die Aufgabe gehört zum Kapitel Verschiedene Entropien zweidimensionaler Zufallsgrößen.
Insbesondere wird auf die Seite Bedingte Transinformation Bezug genommen .

Fragebogen

$ I(X; W | Z = 1) \ = \ $

$\ \rm bit$

$ I(X; W | Z = 2) \ = \ $

$\ \rm bit$

$p = 1/2\text{:} \ \ \ I(X; W | Z) \ = \ $

$\ \rm bit$

$p = 3/4\text{:} \ \ \ I(X; W | Z) \ = \ $

$\ \rm bit$

$I(X; W) \ = \ $

$\ \rm bit$

Musterlösung

2D-Wahrscheinlichkeitsfunktionen für $Z = 1$

(1) Die obere Grafik gilt für $Z = 1$ ⇒ $W = X + Y$.

Unter den Voraussetzungen $P_X(X) = \big [1/2, \ 1/2 \big]$ sowie $P_Y(Y) = \big [1/2, \ 1/2 \big]$ ergeben sich somit die Verbundwahrscheinlichkeiten $P_{ XW|Z=1 }(X, W)$ entsprechend der rechten Grafik (graue Hinterlegung).

Damit gilt für die Transinformation unter der festen Bedingung $Z = 1$:

$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 1) \hspace{-0.05cm} = \hspace{-1.1cm}\sum_{(x,w) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (P_{XW}\hspace{0.01cm}|\hspace{0.01cm} Z\hspace{-0.03cm} =\hspace{-0.03cm} 1)} \hspace{-1.1cm} P_{XW\hspace{0.01cm}|\hspace{0.01cm} Z\hspace{-0.03cm} =\hspace{-0.03cm} 1} (x,w) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_{XW\hspace{0.01cm}|\hspace{0.01cm} Z\hspace{-0.03cm} =\hspace{-0.03cm} 1} (x,w) }{P_X(x) \cdot P_{W\hspace{0.01cm}|\hspace{0.01cm} Z\hspace{-0.03cm} =\hspace{-0.03cm} 1} (w) }$$

$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 1) = 2 \cdot \frac{1}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{1/4}{1/2 \cdot 1/4} + 2 \cdot \frac{1}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{1/4}{1/2 \cdot 1/2} $$

$$\Rightarrow \hspace{0.3cm} I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 1) \hspace{0.15cm} \underline {=0.5\,{\rm (bit)}} \hspace{0.05cm}.$$

Der erste Term fasst die beiden horizontal schraffierten Felder in der Grafik zusammen, der zweite Term die vertikal schraffierten Felder.
Der zweite Term liefert wegen $\log_2 (1) = 0$ keinen Beitrag.

2D-Wahrscheinlichkeitsfunktionen für $Z = 2$

(2) Für $Z = 2$ gilt zwar $W = \{4,\ 6,\ 8\}$, es ändert sich aber hinsichtlich der Wahrscheinlichkeitsfunktionen gegenüber der Teilaufgabe (1) nichts.

Demzufolge erhält man auch die gleiche bedingte Transinformation:

$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 2) = I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 1) \hspace{0.15cm} \underline {=0.5\,{\rm (bit)}} \hspace{0.05cm}.$$

(3) Die Gleichung lautet für $Z = \{1,\ 2\}$ mit ${\rm Pr}(Z = 1) =p$ und ${\rm Pr}(Z = 2) =1-p$:

$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z) = p \cdot I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 1) + (1-p) \cdot I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 2)\hspace{0.15cm} \underline {=0.5\,{\rm (bit)}} \hspace{0.05cm}.$$

Es ist berücksichtigt, dass nach den Teilaufgaben (1) und (2) die bedingten Transinformationen für gegebenes $Z = 1$ und gegebenes $Z = 2$ gleich sind.
Damit ist $I(X; W|Z)$, also unter der Bedingung einer stochastischen Zufallsgröße $Z = \{1,\ 2\}$ mit $P_Z(Z) = \big [p, \ 1 – p\big ]$ unabhängig von $p$.
Das Ergebnis gilt insbesondere auch für $\underline{p = 1/2}$ und $\underline{p = 3/4}$.

Zur Berechnung der Verbundwahrscheinlichkeit für $XW$

(4) Die Verbundwahrscheinlichkeit $P_{ XW }$ hängt von den $Z$–Wahrscheinlichkeiten $p$ und $1 – p$ ab.

Für $Pr(Z = 1) = Pr(Z = 2) = 1/2$ ergibt sich das rechts skizzierte Schema.
Zur Transinformation tragen nur wieder die beiden horizontal schraffierten Felder bei:

$$ I(X;W) = 2 \cdot \frac{1}{8} \cdot {\rm log}_2 \hspace{0.1cm} \frac{1/8}{1/2 \cdot 1/8} \hspace{0.15cm} \underline {=0.25\,{\rm (bit)}} \hspace{0.35cm} < \hspace{0.35cm} I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z) \hspace{0.05cm}.$$

Das Ergebnis $I(X; W|Z) > I(X; W)$ trifft für dieses Beispiel, aber auch für viele andere Anwendungen zu:

Kenne ich $Z$, so weiß ich mehr über die 2D–Zufallsgröße $XW$ als ohne diese Kenntnis.
Man darf dieses Ergebnis aber nicht verallgemeinern:

Manchmal gilt tatsächlich $I(X; W) > I(X; W|Z)$, so wie im Beispiel 4 im Theorieteil.

@@ Zeile 3: / Zeile 3: @@
 }}
-[[Datei:P_ID2813__Inf_A_3_8.png|right|]]
+[[Datei:P_ID2813__Inf_A_3_8.png|right|frame|Ergebnis&nbsp; $W$&nbsp; als Funktion <br>von&nbsp;  $X$,&nbsp; $Y$,&nbsp; $Z$]]
-Wir gehen von den statistisch unabhängigen Zufallsgrößen $X$, $Y$ und $Z$mit den folgenden Eigenschaften aus :
+Wir gehen von den statistisch unabhängigen Zufallsgrößen&nbsp; $X$,&nbsp; $Y$&nbsp; und&nbsp; $Z$&nbsp; mit den folgenden Eigenschaften aus:
+:$$X \in \{1,\ 2 \} \hspace{0.05cm},\hspace{0.35cm}
+Y \in \{1,\ 2 \} \hspace{0.05cm},\hspace{0.35cm}
+Z \in \{1,\ 2 \} \hspace{0.05cm},\hspace{0.35cm} P_X(X) = P_Y(Y) = \big [ 1/2, \ 1/2 \big ]\hspace{0.05cm},\hspace{0.35cm}P_Z(Z) = \big [ p, \ 1-p \big ].$$
-$X \epsilon \{1,2\}$ , $Y \epsilon \{1,2\}$ ,  $Z \epsilon \{1,2\}$
+Aus&nbsp; $X$,&nbsp; $Y$&nbsp; und&nbsp; $Z$&nbsp; bilden wir die neue Zufallsgröße&nbsp; $W = (X+Y) \cdot Z$.
+*Es ist offensichtlich, dass es zwischen&nbsp; $X$&nbsp; und&nbsp; $W$&nbsp; statistische Abhängigkeiten gibt &nbsp; &rArr; &nbsp; Transinformation&nbsp; $I(X; W) ≠ 0$.
+*Außerdem wird auch&nbsp; $I(Y; W) ≠ 0$ &nbsp;sowie&nbsp; $I(Z; W) ≠ 0$&nbsp; gelten, worauf in dieser Aufgabe jedoch nicht näher eingegangen wird.
-$P_X(X) = P_Y(Y) = [ 1/2 , 1/2]$ , $P_Z(Z) = [ p, 1-p]$.
-Aus $X$, $Y$ und $Z$ bilden wir die neue Zufallsgröße
-$W = (X+Y). Z$.
-Damit ist offensichtlich, dass es zwischen den beiden Zufallsgrößen $X$und W statistische Abhängigkeiten gibt, die sich auch in der Transinformation $I(X; W) ≠ 0$ zeigen werden.
-Außerdem wird auch $I(Y; W) ≠ 04 sowie $I(Z; W) ≠ 04 gelten, worauf in dieser Aufgabe jedoch nicht näher eingegangen wird.
 In dieser Aufgabe werden drei verschiedene Transinformationsdefinitionen verwendet:
-:*die ''herkömmliche'' Transinformation zwischen $X$ und $W$:
+*die &bdquo;herkömmliche&rdquo;&nbsp; Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$:
+:$$I(X;W) =  H(X) - H(X|\hspace{0.05cm}W) \hspace{0.05cm},$$
+* die &bdquo;bedingte&rdquo;&nbsp; Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$&nbsp; bei&nbsp; <u>gegebenem Festwert</u>&nbsp; $Z = z$:
+:$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = z) =  H(X\hspace{0.05cm}|\hspace{0.05cm} Z = z) - H(X|\hspace{0.05cm}W ,\hspace{0.05cm} Z = z) \hspace{0.05cm},$$
+* die &bdquo;bedingte&rdquo;&nbsp; Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$&nbsp; bei&nbsp; <u>gegebener Zufallsgröße</u>&nbsp; $Z$:
+:$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z ) =  H(X\hspace{0.05cm}|\hspace{0.05cm} Z ) - H(X|\hspace{0.05cm}W \hspace{0.05cm} Z ) \hspace{0.05cm}.$$
-$I(X;W) = H(X) - H(X \mid W)$ ,
+Der Zusammenhang zwischen den beiden letzten Definitionen lautet:
-:* die ''bedingte'' Transinformation zwischen $X$ und $W$ bei ''gegebenem Festwer''t $Z = z$:
+:$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z ) = \sum_{z \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (P_{Z})} \hspace{-0.2cm}
+ P_Z(z) \cdot  I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = z)\hspace{0.05cm}.$$
-$I(X;W \mid Z=z) = H(X \mid Z=z) - H(X \mid W , Z=z)$,
-:* die ''bedingte'' Transinformation zwischen $X$ und $W$ bei ''gegebener Zufallsgröße'' $Z$:
-$I(X;W \mid Z) = H(X \mid Z) - H(X \mid W Z)$.
-Der Zusammenhang zwischen den beiden letzten Definitionen lautet:
-$I(X;W \mid Z) = \sum\limits_{z \epsilon supp(P_Z)} P_Z(Z) . I(X; W \mid Z=z)$.
-'''Hinwies:''' Die Aufgabe gehört zum Themengebiet von [http://www.lntwww.de/Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgr%C3%B6%C3%9Fen Kapitel 3.2].
+''Hinweise:''
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
+*Insbesondere wird auf die Seite &nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Transinformation|Bedingte Transinformation]]&nbsp; Bezug genommen .
@@ Zeile 44: / Zeile 42: @@
 <quiz display=simple>
-{Wie groß ist die Transinformation zwischen $X$ und $W$, falls stets $Z = 1$ gilt?
+{Wie groß ist die Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$,&nbsp; falls stets&nbsp; $Z = 1$&nbsp; gilt?
 |type="{}"}
-$ I(X; W | Z = 1)$ = { 0.5 3% } $bit$
+$ I(X; W | Z = 1) \ = \ $ { 0.5 3% } $\ \rm bit$
-{Wie groß ist die Transinformation zwischen $X$ und $W$, falls stets $Z = 2$ gilt?
+{Wie groß ist die Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$,&nbsp; falls stets&nbsp; $Z = 2$&nbsp; gilt?
 |type="{}"}
-$ I(X; W | Z = 2)$ = { 0.5 3% } $bit$
+$ I(X; W | Z = 2) \ = \ $ { 0.5 3% } $\ \rm bit$
-{Nun gelte $p = Pr(Z = 1)$. Wie groß ist die bedingte Transinformation zwischen $X$ und $W$ unter der Annahme, dass $z  \epsilon Z = {1, 2}$ bekannt ist?
+{Nun gelte &nbsp;$p = {\rm Pr}(Z = 1)$. &nbsp; Wie groß ist die bedingte Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$, falls&nbsp; $z  \in Z = \{1,\ 2\}$&nbsp; bekannt ist?
 |type="{}"}
-$ p = 1/2:   I(X; W | Z)$ =  { 0.5 3% } $bit$
+$p = 1/2\text{:} \ \ \ I(X; W | Z) \ = \ $  { 0.5 3% } $\ \rm bit$
-$ p = 3/4:   I(X; W | Z)$ =  { 0.5 3% } $bit$
+$p = 3/4\text{:} \ \ \ I(X; W | Z) \ = \ $  { 0.5 3% } $\ \rm bit$
-{Wie groß ist die unkonditionierte Transinformation?
+{Wie groß ist die unkonditionierte Transinformation für&nbsp; $p = 1/2$?
 |type="{}"}
-$p = 1/2:   I(X; W)$ = { 0.25 3% } $bit$
+$I(X; W) \ = \ $ { 0.25 3% } $\ \rm bit$
@@ Zeile 70: / Zeile 68: @@
 ===Musterlösung===
 {{ML-Kopf}}
-'''1.'''[[Datei:P_ID2814__Inf_A_3_8a.png|right|]]
+[[Datei:P_ID2814__Inf_A_3_8a.png|right|frame|2D-Wahrscheinlichkeitsfunktionen für&nbsp; $Z = 1$]]
-Die folgende Grafik gilt für $Z = 1 \Rightarrow W = X + Y$. Unter den Voraussetzungen $P_X(X) = [1/2, 1/2]$ sowie $P_Y(Y) = [1/2, 1/2]$ ergeben sich somit die Verbundwahrscheinlichkeiten $P_{ XW|Z=1 }(X, W)$ entsprechend der rechten Grafik (graue Hinterlegung).
+'''(1)'''&nbsp; Die obere Grafik gilt für&nbsp; $Z = 1$ &nbsp; &rArr; &nbsp; $W = X + Y$.&nbsp;
+*Unter den Voraussetzungen&nbsp; $P_X(X) = \big [1/2, \ 1/2 \big]$&nbsp; sowie&nbsp; $P_Y(Y) = \big [1/2, \ 1/2 \big]$&nbsp; ergeben sich somit die Verbundwahrscheinlichkeiten&nbsp; $P_{ XW|Z=1 }(X, W)$&nbsp; entsprechend der rechten Grafik (graue Hinterlegung).
-Damit gilt für die Transinformation unter der festen Bedingung $Z = 1$:
-$$I(X;W \mid Z=1) = \sum\limits_{(x,w) \epsilon supp (P_{ XW } \mid Z=1)} P_{ XW \mid Z=1 }(x,w) . log_2 \frac{ P_{ XW \mid Z=1 }(x,w)}{ P_X(X) . P_{ W \mid Z=1 } (w)}=$$
+*Damit gilt für die Transinformation unter der festen Bedingung&nbsp; $Z = 1$:
-$$= 2 . \frac{1}{4} . log_2 \frac{1/4}{1/2 . 1/4} +  2 . \frac{1}{4} . log_2 \frac{1/4}{1/2 . 1/4} = 0.5 (bit)$$
+:$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 1) \hspace{-0.05cm} = \hspace{-1.1cm}\sum_{(x,w) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (P_{XW}\hspace{0.01cm}|\hspace{0.01cm} Z\hspace{-0.03cm} =\hspace{-0.03cm} 1)} \hspace{-1.1cm}
-Der erste Term fasst die beiden horizontal schraffierten Felder in obiger Grafik zusammen, der zweite Term die vertikal schraffierten Felder. Letztere liefern wegen $log_2 (1) = 0$ keinen Beitrag.
+ P_{XW\hspace{0.01cm}|\hspace{0.01cm} Z\hspace{-0.03cm} =\hspace{-0.03cm} 1} (x,w) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_{XW\hspace{0.01cm}|\hspace{0.01cm} Z\hspace{-0.03cm} =\hspace{-0.03cm} 1} (x,w) }{P_X(x) \cdot P_{W\hspace{0.01cm}|\hspace{0.01cm} Z\hspace{-0.03cm} =\hspace{-0.03cm} 1} (w) }$$
+:$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 1)  =  2 \cdot \frac{1}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{1/4}{1/2 \cdot 1/4} +
+\cdot \frac{1}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{1/4}{1/2 \cdot 1/2}
+$$
+:$$\Rightarrow \hspace{0.3cm} I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 1)
+\hspace{0.15cm} \underline {=0.5\,{\rm (bit)}}
+\hspace{0.05cm}.$$
+*Der erste Term fasst die beiden horizontal schraffierten Felder in der Grafik zusammen, der zweite Term die vertikal schraffierten Felder.
+*Der zweite Term liefert wegen&nbsp; $\log_2 (1) = 0$&nbsp; keinen Beitrag.
-[[Datei:P_ID2815__Inf_A_3_8b.png|right|]]
-'''2.''' Für $Z = 2$ gilt zwar '$W = \{4, 6, 8\}$, aber hinsichtlich der Wahrscheinlichkeitsfunktionen ändert sich gegenüber der Teilaufgabe (a) nichts. Demzufolge erhält man auch die gleiche bedingte Transinformation:
-$I(X;W \mid Z=2) = I(X;W \mid Z=1)  = 0.5 (bit)$
+[[Datei:P_ID2815__Inf_A_3_8b.png|right|frame|2D-Wahrscheinlichkeitsfunktionen für&nbsp; $Z = 2$]]
+'''(2)'''&nbsp; Für&nbsp; $Z = 2$&nbsp; gilt zwar $W = \{4,\ 6,\ 8\}$, es ändert sich aber hinsichtlich der Wahrscheinlichkeitsfunktionen  gegenüber der Teilaufgabe&nbsp; '''(1)'''&nbsp; nichts.
-'''3.''' Es ist berücksichtigt, dass entsprechend den Teilaufgaben (a) und (b) die bedingten Transinformationen für gegebenes $Z = 1$ und gegebenes $Z = 2$ gleich sind. Damit ist $I(X; W|Z)$, also unter der Bedingung einer stochastischen Zufallsgröße $Z = \{1, 2\}$ mit $P_Z(Z) = [p, 1 – p]$, unabhängig von p. Das Ergebnis gilt insbesondere auch für $p = 1/2$ und $p = 3/4$.
+*Demzufolge erhält man auch die gleiche bedingte Transinformation:
+:$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 2) = I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 1)
+\hspace{0.15cm} \underline {=0.5\,{\rm (bit)}}
+\hspace{0.05cm}.$$
-'''4.''' Die Verbundwahrscheinlichkeiten P_{ XW }(⋅) hängen auch von den $Z$–Wahrscheinlichkeiten $p$ und $1 – p$ ab. Für $Pr(Z = 1) = Pr(Z = 2) = 1/2$ ergibt sich das nachfolgend skizzierte Schema. Zur Transinformation tragen nur wieder die beiden horizontal schraffierten Felder bei:
+'''(3)'''&nbsp; Die Gleichung lautet für&nbsp; $Z = \{1,\ 2\}$&nbsp; mit&nbsp; ${\rm Pr}(Z = 1) =p$ &nbsp;und&nbsp;  ${\rm Pr}(Z = 2) =1-p$:
+:$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z) =  p \cdot I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 1) + (1-p) \cdot I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 2)\hspace{0.15cm} \underline {=0.5\,{\rm (bit)}}
+\hspace{0.05cm}.$$
+*Es ist berücksichtigt, dass nach den Teilaufgaben&nbsp; '''(1)'''&nbsp; und&nbsp; '''(2)'''&nbsp; die bedingten Transinformationen für gegebenes&nbsp; $Z = 1$&nbsp; und gegebenes&nbsp; $Z = 2$&nbsp; gleich sind.
+*Damit ist&nbsp; $I(X; W|Z)$, also unter der Bedingung einer stochastischen Zufallsgröße&nbsp; $Z = \{1,\ 2\}$&nbsp; mit&nbsp; $P_Z(Z) = \big [p, \ 1 – p\big ]$&nbsp; unabhängig von &nbsp;$p$.
+*Das Ergebnis gilt insbesondere auch für&nbsp; $\underline{p = 1/2}$&nbsp; und&nbsp; $\underline{p = 3/4}$.
-$I(X;W) = 2 . \frac{1}{8} . log_2  \frac{1/8}{1/2 . 1/8} = 0.25 (bit) < I(X; W \mid Z)$.
-[[Datei:P_ID2816__Inf_A_3_8d.png|right|]]
+[[Datei:P_ID2816__Inf_A_3_8d.png|right|frame|Zur Berechnung der Verbundwahrscheinlichkeit für $XW$]]
+'''(4)'''&nbsp; Die Verbundwahrscheinlichkeit&nbsp; $P_{ XW }$&nbsp; hängt von den&nbsp; $Z$–Wahrscheinlichkeiten &nbsp;$p$&nbsp; und&nbsp; $1 – p$&nbsp; ab.
+*Für&nbsp; $Pr(Z = 1) = Pr(Z = 2) = 1/2$&nbsp; ergibt sich das rechts skizzierte Schema.
+*Zur Transinformation tragen nur wieder die beiden horizontal schraffierten Felder bei:
+:$$ I(X;W) = 2 \cdot \frac{1}{8} \cdot {\rm log}_2 \hspace{0.1cm} \frac{1/8}{1/2 \cdot 1/8}
+\hspace{0.15cm} \underline {=0.25\,{\rm (bit)}} \hspace{0.35cm} < \hspace{0.35cm} I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z)
+\hspace{0.05cm}.$$
-Das Ergebnis $I(X; W|Z) > I(X; W)$ trifft für dieses Beispiel, aber auch für viele andere Anwendungen zu:
+Das Ergebnis&nbsp; $I(X; W|Z) > I(X; W)$&nbsp; trifft für dieses Beispiel, aber auch für viele andere Anwendungen zu:
-Kenne ich $Z$, so weiß ich mehr über die 2D–Zufallsgröße $XW$ als ohne diese Kenntnis. Man darf dieses Ergebnis aber nicht verallgemeinern.
+*Kenne ich&nbsp; $Z$, so weiß ich mehr über die 2D–Zufallsgröße&nbsp; $XW$&nbsp; als ohne diese Kenntnis.
-Manchmal gilt tatsächlich $I(X; W) > I(X; W|Z)$, so wie im [http://www.lntwww.de/Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgr%C3%B6%C3%9Fen#Bedingte_Transinformation Beispiel] im Theorieteil.
+*Man darf dieses Ergebnis aber nicht verallgemeinern:
+:Manchmal gilt tatsächlich&nbsp; $I(X; W) > I(X; W|Z)$, so wie im&nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgr%C3%B6%C3%9Fen#Bedingte_Transinformation|Beispiel 4]]&nbsp; im Theorieteil.
 {{ML-Fuß}}