Aufgaben:Aufgabe 3.10: Transinformation beim BSC: Unterschied zwischen den Versionen

Aktuelle Version vom 21. September 2021, 15:36 Uhr

Betrachtetes BSC–Modell

Wir betrachten den Binary Symmetric Channel $\rm (BSC)$. Für die gesamte Aufgabe gelten die Parameterwerte:

Verfälschungswahrscheinlichkeit: $\varepsilon = 0.1$,
Wahrscheinlichkeit für $0$: $p_0 = 0.2$,
Wahrscheinlichkeit für $1$: $p_1 = 0.8$.

Damit lautet die Wahrscheinlichkeitsfunktion der Quelle: $P_X(X)= (0.2 , \ 0.8)$ und für die Quellenentropie gilt:

$$H(X) = p_0 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p_0} + p_1\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p_1} = H_{\rm bin}(0.2)={ 0.7219\,{\rm bit}} \hspace{0.05cm}.$$

In der Aufgabe sollen ermittelt werden:

die Wahrscheinlichkeitsfunktion der Sinke:

$$P_Y(Y) = (\hspace{0.05cm}P_Y(0)\hspace{0.05cm}, \ \hspace{0.05cm} P_Y(1)\hspace{0.05cm}) \hspace{0.05cm},$$

die Verbundwahrscheinlichkeitsfunktion:

$$P_{XY}(X, Y) = \begin{pmatrix} p_{00} & p_{01}\\ p_{10} & p_{11} \end{pmatrix} \hspace{0.05cm},$$

die Transinformation:

$$I(X;Y) = {\rm E} \hspace{-0.08cm}\left [ \hspace{0.02cm}{\rm log}_2 \hspace{0.1cm} \frac{P_{XY}(X, Y)} {P_{X}(X) \cdot P_{Y}(Y) }\right ] \hspace{0.05cm},$$

die Äquivokation:

$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y) = {\rm E} \hspace{0.02cm} \big [ \hspace{0.02cm} {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.03cm}X \mid \hspace{0.03cm} Y} (X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y)} \big ] \hspace{0.05cm},$$

die Irrelevanz:

$$H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X) = {\rm E} \hspace{0.02cm} \big [ \hspace{0.02cm} {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.03cm}Y \mid \hspace{0.03cm} X} (Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X)} \big ] \hspace{0.05cm}.$$

Hinweise:

Die Aufgabe gehört zum Kapitel Anwendung auf die Digitalsignalübertragung.
Bezug genommen wird insbesondere auf die Seite Transinformationsberechnung für den Binärkanal.
In der Aufgabe 3.10Z wird die Kanalkapazität $C_{\rm BSC }$ des BSC–Modells berechnet.
Diese ergibt sich als die maximale Transinformation $I(X;\ Y)$ durch Maximierung bezüglich der Wahrscheinlichkeiten $p_0$ bzw. $p_1 = 1 - p_0$.

Fragebogen

$P_{ XY }(0, 0) \ = \ $

$P_{ XY }(0, 1) \ = \ $

$P_{ XY }(1, 0) \ = \ $

$P_{ XY }(1, 1) \ = \ $

$P_Y(0)\ = \ $

$P_Y(1) \ = \ $

$I(X; Y)\ = \ $

$\ \rm bit$

$H(X|Y) \ = \ $

$\ \rm bit$

	$H(Y)$ ist nie größer als $H(X)$.
	$H(Y)$ ist nie kleiner als $H(X)$.

	$H(Y\|X)$ ist nie größer als die Äquivokation $H(X\|Y)$.
	$H(Y\|X)$ ist nie kleiner als die Äquivokation $H(X\|Y)$.

Musterlösung

(1) Für die gesuchten Größen gilt allgemein bzw. mit den Zahlenwerten $p_0 = 0.2$ und $\varepsilon = 0.1$:

$$P_{XY}(0, 0) = p_0 \cdot (1 - \varepsilon) \hspace{0.15cm} \underline {=0.18} \hspace{0.05cm}, \hspace{0.5cm} P_{XY}(0, 1) = p_0 \cdot \varepsilon \hspace{0.15cm} \underline {=0.02} \hspace{0.05cm},$$

$$P_{XY}(1, 0) = p_1 \cdot \varepsilon \hspace{0.15cm} \underline {=0.08} \hspace{0.05cm}, \hspace{1.55cm} P_{XY}(1, 1) = p_1 \cdot (1 - \varepsilon) \hspace{0.15cm} \underline {=0.72} \hspace{0.05cm}.$$

(2) Allgemein gilt:

$$P_Y(Y) = \big [ {\rm Pr}( Y = 0)\hspace{0.05cm}, {\rm Pr}( Y = 1) \big ] = \big ( p_0\hspace{0.05cm}, p_1 \big ) \cdot \begin{pmatrix} 1 - \varepsilon & \varepsilon\\ \varepsilon & 1 - \varepsilon \end{pmatrix}.$$

Daraus ergeben sich folgende Zahlenwerte:

$$ {\rm Pr}( Y = 0)= p_0 \cdot (1 - \varepsilon) + p_1 \cdot \varepsilon = 0.2 \cdot 0.9 + 0.8 \cdot 0.1 \hspace{0.15cm} \underline {=0.26} \hspace{0.05cm},$$

$${\rm Pr}( Y = 1)= p_0 \cdot \varepsilon + p_1 \cdot (1 - \varepsilon) = 0.2 \cdot 0.1 + 0.8 \cdot 0.9 \hspace{0.15cm} \underline {=0.74} \hspace{0.05cm}.$$

(3) Für die Transinformation gilt gemäß der Definition mit $p_0 = 0.2$, $p_1 = 0.8$ und $\varepsilon = 0.1$:

$$I(X;Y) = {\rm E} \hspace{-0.08cm}\left [ \hspace{0.02cm}{\rm log}_2 \hspace{0.08cm} \frac{P_{XY}(X, Y)} {P_{X}(X) \hspace{-0.05cm}\cdot \hspace{-0.05cm} P_{Y}(Y) }\right ] \hspace{0.3cm} \Rightarrow$$

$$I(X;Y) = 0.18 \cdot {\rm log}_2 \hspace{0.1cm} \frac{0.18}{0.2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} 0.26} + 0.02 \cdot {\rm log}_2 \hspace{0.08cm} \frac{0.02}{0.2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} 0.74} + 0.08 \cdot {\rm log}_2 \hspace{0.08cm} \frac{0.08}{0.8 \hspace{-0.05cm}\cdot \hspace{-0.05cm} 0.26} + 0.72 \cdot {\rm log}_2 \hspace{0.08cm} \frac{0.72}{0.8 \hspace{-0.05cm}\cdot \hspace{-0.05cm} 0.74} \hspace{0.15cm} \underline {=0.3578\,{\rm bit}} \hspace{0.05cm}.$$

(4) Mit der angegebenen Quellenentropie $H(X)$ erhält man für die Äquivokation:

$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y) = H(X) - I(X;Y) = 0.7219 - 0.3578 \hspace{0.15cm} \underline {=0.3642\,{\rm bit}} \hspace{0.05cm}.$$

Man könnte aber auch die allgemeine Definition mit den Rückschlusswahrscheinlichkeiten $P_{X|Y}(⋅)$ anwenden:

$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y) = {\rm E} \hspace{0.02cm} \left [ \hspace{0.05cm} {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.03cm}X \mid \hspace{0.03cm} Y} (X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y)} \hspace{0.05cm}\right ] = {\rm E} \hspace{0.02cm} \left [ \hspace{0.05cm} {\rm log}_2 \hspace{0.1cm} \frac{P_Y(Y)}{P_{XY} (X, Y)} \hspace{0.05cm} \right ] \hspace{0.05cm}$$

Im Beispiel erhält man auch nach dieser Berechnungsvorschrift das gleiche Ergebnis $H(X|Y) = 0.3642 \ \rm bit$:

$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y) = 0.18 \cdot {\rm log}_2 \hspace{0.1cm} \frac{0.26}{0.18} + 0.02 \cdot {\rm log}_2 \hspace{0.1cm} \frac{0.74}{0.02} + 0.08 \cdot {\rm log}_2 \hspace{0.1cm} \frac{0.26}{0.08} + 0.72 \cdot {\rm log}_2 \hspace{0.1cm} \frac{0.74}{0.72} \hspace{0.05cm}.$$

(5) Richtig ist der Lösungsvorschlag 2:

Bei gestörter Übertragung $(ε > 0)$ ist die Unsicherheit hinsichtlich der Sinke stets größer als die Unsicherheit bezüglich der Quelle. Man erhält hier als Zahlenwert:

$$H(Y) = H_{\rm bin}(0.26)={ 0.8268\,{\rm bit}} \hspace{0.05cm}.$$

Bei fehlerfreier Übertragung $(ε = 0)$ würde dagegen $P_Y(⋅) = P_X(⋅)$ und $H(Y) = H(X)$ gelten.

(6) Auch hier ist der zweite Lösungsvorschlag richtig:

Wegen $I(X;Y) = H(X) - H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y) = H(Y) - H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X)$ ist $H(Y|X)$ um den gleichen Betrag größer als $H(X|Y)$, um den $H(Y)$ größer ist als $H(X)$:

$$H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X) = H(Y) -I(X;Y) = 0.8268 - 0.3578 ={ 0.4690\,{\rm bit}} \hspace{0.05cm}$$

Bei direkter Berechnung erhält man das gleiche Ergebnis $H(Y|X) = 0.4690\ \rm bit$:

$$H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X) = {\rm E} \hspace{0.02cm} \left [ \hspace{0.02cm} {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.03cm}Y \mid \hspace{0.03cm} X} (Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X)} \right ] = 0.18 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.9} + 0.02 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.1} + 0.08 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.1} + 0.72 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.9} \hspace{0.05cm}.$$

@@ Zeile 2: / Zeile 2: @@
 }}
-[[Datei:P_ID2787__Inf_A_3_9.png|right|]]
+[[Datei:P_ID2787__Inf_A_3_9.png|right|frame|Betrachtetes BSC–Modell]]
-Wir betrachten den $\text{Binary Symmetric Channel}$ (BSC). Für die gesamte Aufgabe gelten die  Parameterwerte:
+Wir betrachten den&nbsp; [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|Binary Symmetric Channel]]&nbsp; $\rm (BSC)$.&nbsp; Für die gesamte Aufgabe gelten die  Parameterwerte:
-:* Verfälschungswahrscheinlichkeit: $\epsilon = 0.1$
+* Verfälschungswahrscheinlichkeit: &nbsp; $\varepsilon = 0.1$,
-:* Wahrscheinlichkeit für $0$:   $p_0 = 0.2$,
+* Wahrscheinlichkeit für $0$: &nbsp;  $p_0 = 0.2$,
-:* Wahrscheinlichkeit für $1$:   $p_1 = 0.8$.
+* Wahrscheinlichkeit für $1$: &nbsp;  $p_1 = 0.8$.
-Damit lautet die Wahrscheinlichkeitsfunktion der Quelle:
-$P_X(X)= (0.2 , 0.8)$
+Damit lautet die Wahrscheinlichkeitsfunktion der Quelle: &nbsp; $P_X(X)= (0.2 , \ 0.8)$&nbsp; und für die Quellenentropie gilt:
+:$$H(X) = p_0 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p_0} + p_1\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p_1} = H_{\rm bin}(0.2)={ 0.7219\,{\rm bit}} \hspace{0.05cm}.$$
-und für die Quellenentropie gilt:
+In der Aufgabe sollen ermittelt werden:
+* die Wahrscheinlichkeitsfunktion der Sinke:
+:$$P_Y(Y) = (\hspace{0.05cm}P_Y(0)\hspace{0.05cm}, \ \hspace{0.05cm} P_Y(1)\hspace{0.05cm})
+\hspace{0.05cm},$$
+* die Verbundwahrscheinlichkeitsfunktion:
+:$$P_{XY}(X, Y) = \begin{pmatrix}
+		p_{00}  & p_{01}\\
+		p_{10}  & p_{11}
+		\end{pmatrix}  \hspace{0.05cm},$$
+* die Transinformation:
+:$$I(X;Y) = {\rm E} \hspace{-0.08cm}\left [ \hspace{0.02cm}{\rm log}_2 \hspace{0.1cm} \frac{P_{XY}(X, Y)}
+{P_{X}(X) \cdot P_{Y}(Y) }\right ]  \hspace{0.05cm},$$
+*die Äquivokation:
+:$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y) =  {\rm E} \hspace{0.02cm} \big [ \hspace{0.02cm} {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.03cm}X \mid \hspace{0.03cm} Y} (X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y)} \big ] \hspace{0.05cm},$$
+*die Irrelevanz:
+:$$H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X) =  {\rm E} \hspace{0.02cm} \big [ \hspace{0.02cm} {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.03cm}Y \mid \hspace{0.03cm} X} (Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X)} \big ] \hspace{0.05cm}.$$
-$H(X) = p_0 \cdot log_2 \frac{1}{p_0} + p_1 \cdot log_2 \frac{1}{p_1} = H_{bin}(0.2) = 0.7219 (\text{bit})$
-In der Aufgabe sollen ermittelt werden:
-:* die Wahrscheinlichkeitsfunktion der Sinke:
-$P_Y(Y) = (P_Y(0) , P_Y(1))$,
-:* die Verbundwahrscheinlichkeitsfunktion :
-$P_{XY}(X, Y) = \begin{pmatrix} p_{00} & p_{01}\\ p_{10} & p_{11} \end{pmatrix} \hspace{0.05cm}$
-:* die Transinformation
-$I(X;Y) = E[ log_2 \frac{P_{ XY }(X,Y)}{P_X(X) . P_Y(Y)}]$,
-:*die Äquivokation:
-$H(X \mid Y) = E[log_2 \frac{1}{P_{ X \mid Y }(X \mid Y)}]$,
-:*die Irrelevanz:
-$H(Y \mid X) = E[log_2 \frac{1}{P_{ Y \mid X }(Y \mid X)}]$
-'''Hinwies:''' Die Aufgabe gehört zu [http://www.lntwww.de/Informationstheorie/Anwendung_auf_die_Digitalsignal%C3%BCbertragung Kapitel 3.3.] In der [http://www.lntwww.de/Aufgaben:3.09Z_BSC%E2%80%93Kanalkapazit%C3%A4t Aufgabe Z3.9] wird die [http://www.lntwww.de/Informationstheorie/Anwendung_auf_die_Digitalsignal%C3%BCbertragung#Kanalkapazit.C3.A4t_eines_Bin.C3.A4rkanals Kanalkapazität] $C_{ BSC }$ des $BSC$–Modells berechnet. Diese ergibt sich als die maximale Transinformation $I(X; Y)$ durch Maximierung bezüglich der Symbolwahrscheinlichkeiten $p_0$ bzw. $p_1 = 1 – p_0$.
+''Hinweise:''
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung|Anwendung auf die Digitalsignalübertragung]].
+*Bezug genommen wird insbesondere auf die Seite&nbsp;    [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Transinformationsberechnung_f.C3.BCr_den_Bin.C3.A4rkanal|Transinformationsberechnung für den Binärkanal]].
+*In der&nbsp; [[Aufgaben:Aufgabe_3.10Z:_BSC–Kanalkapazität|Aufgabe 3.10Z]]&nbsp; wird die  Kanalkapazität&nbsp; $C_{\rm BSC }$&nbsp; des BSC–Modells berechnet.
+*Diese ergibt sich als die maximale Transinformation&nbsp; $I(X;\ Y)$&nbsp; durch Maximierung bezüglich der Wahrscheinlichkeiten&nbsp; $p_0$&nbsp; bzw.&nbsp; $p_1 = 1 - p_0$.
@@ Zeile 39: / Zeile 47: @@
 <quiz display=simple>
-{Berechnen Sie die Verbundwahrscheinlichkeiten $P_{ XY }(X, Y)$
+{Berechnen Sie die Verbundwahrscheinlichkeiten&nbsp; $P_{ XY }(X, Y)$
 |type="{}"}
-$P_{ XY }(0, 0)$ = { 0.18 3% }
+$P_{ XY }(0, 0) \ = \ $ { 0.18 3% }
-$P_{ XY }(0, 1)$ = { 0.02 3% }
+$P_{ XY }(0, 1) \ = \ $ { 0.02 3% }
-$P_{ XY }(1, 0)$ = { 0.08 3% }
+$P_{ XY }(1, 0) \ = \ $ { 0.08 3% }
-$P_{ XY }(1, 1)$ = { 0.72 3% }
+$P_{ XY }(1, 1) \ = \ $ { 0.72 3% }
-{Wie lautet die Wahrscheinlichkeitsfunktion $P_Y(Y)$?
+{Wie lautet die Wahrscheinlichkeitsfunktion&nbsp; $P_Y(Y)$&nbsp; der Sinke?
 |type="{}"}
-$P_Y(0)$ = { 0.26 3% }
+$P_Y(0)\ = \ $ { 0.26 3% }
-$P_Y(1)$ = { 0.74 3% }
+$P_Y(1) \ = \ $ { 0.74 3% }
-{Welcher Wert ergibt sich für die Transinformation?
+{Welcher Wert ergibt sich für die Transinformation&nbsp; $I(X;\
+ Y)$?
 |type="{}"}
-$I(X; Y)$ = { 0.3578 3% }
+$I(X; Y)\ = \ $ { 0.3578 3% } $\ \rm bit$
-{Welcher Wert ergibt sich für die Äquivokation?
+{Welcher Wert ergibt sich für die Äquivokation&nbsp; $H(X|Y)$?
 |type="{}"}
-$H(X|Y)$ = {  0.3642 3% }
+$H(X|Y) \ = \ $ {  0.3642 3% } $\ \rm bit$
-{Welche Aussage trifft für die Sinkenentropie $H(Y)$ zu?
+{Welche Aussage trifft für die Sinkenentropie&nbsp; $H(Y)$&nbsp; zu?
 |type="[]"}
-- $H(Y)$ ist nie größer als $H(X)$.
+- $H(Y)$&nbsp; ist nie größer als&nbsp; $H(X)$.
-+ $H(Y)$ ist nie kleiner als $H(X)$.
++ $H(Y)$&nbsp; ist nie kleiner als&nbsp; $H(X)$.
-{Welche Aussage trifft für die Irrelevanz $H(Y|X)$ zu?
+{Welche Aussage trifft für die Irrelevanz&nbsp; $H(Y|X)$&nbsp; zu?
 |type="[]"}
-- $H(Y|X)$ ist nie größer als die Äquivokation $H(X|Y)$.
+- $H(Y|X)$&nbsp; ist nie größer als die Äquivokation&nbsp; $H(X|Y)$.
-+ $H(Y|X)$ ist nie kleiner als die Äquivokation $H(X|Y)$.
++ $H(Y|X)$&nbsp; ist nie kleiner als die Äquivokation&nbsp; $H(X|Y)$.
@@ Zeile 75: / Zeile 84: @@
 ===Musterlösung===
 {{ML-Kopf}}
-'''1.''' Für die gesuchten Größen gilt allgemein bzw. mit den Zahlenwerten $p_0 = 0.2$ und $ε = 0.1$:
+'''(1)'''&nbsp; Für die gesuchten Größen gilt allgemein bzw. mit den Zahlenwerten&nbsp; $p_0 = 0.2$&nbsp; und&nbsp; $\varepsilon = 0.1$:
+:$$P_{XY}(0, 0) = p_0 \cdot (1 - \varepsilon)
-$P_{ XY }(0 , 0) = p_0 . (1 - \varepsilon ) = 0.18 $ , $P_{XY}(0,1) = p_0  . \varepsilon = 0.02$,
+ \hspace{0.15cm} \underline {=0.18} \hspace{0.05cm}, \hspace{0.5cm}
+P_{XY}(0, 1) = p_0 \cdot \varepsilon
-$P_{XY}(1,0) = p_1  . \varepsilon = 0.08$ ,  $P_{ XY }(1 , 1) = p_1 . (1 - \varepsilon ) = 0.72$.
+  \hspace{0.15cm} \underline {=0.02} \hspace{0.05cm},$$
+:$$P_{XY}(1, 0) = p_1 \cdot \varepsilon
+  \hspace{0.15cm} \underline {=0.08} \hspace{0.05cm}, \hspace{1.55cm}
-'''2.''' Es gilt:
+P_{XY}(1, 1) = p_1 \cdot (1 - \varepsilon)
+ \hspace{0.15cm} \underline {=0.72} \hspace{0.05cm}.$$
-$$P_Y(Y) = \big ( {\rm Pr}( Y = 0)\hspace{0.05cm}, {\rm Pr}( Y = 1) \big ) = \big ( p_0\hspace{0.05cm}, p_1 \big ) \cdot \begin{pmatrix} 1 - \varepsilon & \varepsilon\\ \varepsilon & 1 - \varepsilon \end{pmatrix}$$
-$$\Rightarrow \hspace{0.3cm} {\rm Pr}( Y = 0)\hspace{-0.15cm}  =  \hspace{-0.15cm} p_0 \cdot (1 - \varepsilon) + p_1 \cdot \varepsilon = 0.2 \cdot 0.9 + 0.8 \cdot 0.1 \hspace{0.15cm} \underline {=0.26} \hspace{0.05cm},\\ {\rm Pr}( Y = 1)\hspace{-0.15cm}  = \hspace{-0.15cm} p_0 \cdot \varepsilon + p_1 \cdot (1 - \varepsilon) = 0.2 \cdot 0.1 + 0.8 \cdot 0.9 \hspace{0.15cm} \underline {=0.74} \hspace{0.05cm}$$
-'''3.'''  Für die Transinformation gilt gemäß der Definition mit $p_0 = 0.2$ , $p_1 = 0.8$ und $ε = 0.1$
+'''(2)'''&nbsp; Allgemein gilt:
+:$$P_Y(Y) = \big [ {\rm Pr}( Y = 0)\hspace{0.05cm}, {\rm Pr}( Y = 1) \big ] = \big ( p_0\hspace{0.05cm}, p_1 \big ) \cdot \begin{pmatrix} 1 - \varepsilon & \varepsilon\\ \varepsilon & 1 - \varepsilon \end{pmatrix}.$$
+Daraus ergeben sich folgende Zahlenwerte:
+:$$ {\rm Pr}( Y = 0)= p_0 \cdot (1 - \varepsilon) + p_1 \cdot \varepsilon = 0.2 \cdot 0.9 + 0.8 \cdot 0.1 \hspace{0.15cm} \underline {=0.26} \hspace{0.05cm},$$
+:$${\rm Pr}( Y = 1)= p_0 \cdot \varepsilon + p_1 \cdot (1 - \varepsilon) = 0.2 \cdot 0.1 + 0.8 \cdot 0.9 \hspace{0.15cm} \underline {=0.74} \hspace{0.05cm}.$$
-$$I(X;Y) \hspace{-0.2cm}  =  \hspace{-0.2cm} {\rm E} \hspace{-0.08cm}\left [ \hspace{0.02cm}{\rm log}_2 \hspace{0.08cm} \frac{P_{XY}(X, Y)} {P_{X}(X) \hspace{-0.05cm}\cdot \hspace{-0.05cm} P_{Y}(Y) }\right ] = 0.18 \cdot {\rm log}_2 \hspace{0.1cm} \frac{0.18}{0.2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} 0.26} + 0.02 \cdot {\rm log}_2 \hspace{0.08cm} \frac{0.02}{0.2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} 0.74} +$$
-$$\hspace{-0.2cm} 0.08 \cdot {\rm log}_2 \hspace{0.08cm} \frac{0.08}{0.8 \hspace{-0.05cm}\cdot \hspace{-0.05cm} 0.26} + 0.72 \cdot {\rm log}_2 \hspace{0.08cm} \frac{0.72}{0.8 \hspace{-0.05cm}\cdot \hspace{-0.05cm} 0.74} \hspace{0.15cm} \underline {=0.3578\,{\rm bit}} \hspace{0.05cm}$$
+'''(3)'''&nbsp; Für die Transinformation gilt gemäß der Definition mit&nbsp; $p_0 = 0.2$,&nbsp; $p_1 = 0.8$&nbsp; und&nbsp; $\varepsilon = 0.1$:
+:$$I(X;Y) = {\rm E} \hspace{-0.08cm}\left [ \hspace{0.02cm}{\rm log}_2 \hspace{0.08cm} \frac{P_{XY}(X, Y)} {P_{X}(X) \hspace{-0.05cm}\cdot \hspace{-0.05cm} P_{Y}(Y) }\right ] \hspace{0.3cm} \Rightarrow$$
+:$$I(X;Y)  = 0.18 \cdot {\rm log}_2 \hspace{0.1cm} \frac{0.18}{0.2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} 0.26} + 0.02 \cdot {\rm log}_2 \hspace{0.08cm} \frac{0.02}{0.2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} 0.74}
++ 0.08 \cdot {\rm log}_2 \hspace{0.08cm} \frac{0.08}{0.8 \hspace{-0.05cm}\cdot \hspace{-0.05cm} 0.26} + 0.72 \cdot {\rm log}_2 \hspace{0.08cm} \frac{0.72}{0.8 \hspace{-0.05cm}\cdot \hspace{-0.05cm} 0.74} \hspace{0.15cm} \underline {=0.3578\,{\rm bit}} \hspace{0.05cm}.$$
-'''4.'''  Mit  der angegebenen Quellenentropie $H(X)$ erhält man für die Äquivokation:
-$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y) = H(X) - I(X;Y) = 0.7219 - 0.3578 \hspace{0.15cm} \underline {=0.3642\,{\rm bit}} \hspace{0.05cm}$$.
-Man könnte auch die allgemeine Definition mit den Rückschlusswahrscheinlichkeiten $P_{X|Y}(⋅)$
-anwenden:
-$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y) = {\rm E} \hspace{0.02cm} \big [ \hspace{0.05cm} {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.03cm}X \mid \hspace{0.03cm} Y} (X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y)} \hspace{0.05cm}\big ] = {\rm E} \hspace{0.02cm} \big [ \hspace{0.05cm} {\rm log}_2 \hspace{0.1cm} \frac{P_Y(Y)}{P_{XY} (X, Y)} \hspace{0.05cm} \big ] \hspace{0.05cm}$$
+'''(4)'''&nbsp; Mit  der angegebenen Quellenentropie&nbsp; $H(X)$&nbsp; erhält man für die Äquivokation:
+:$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y) = H(X) - I(X;Y) = 0.7219 - 0.3578 \hspace{0.15cm} \underline {=0.3642\,{\rm bit}} \hspace{0.05cm}.$$
+*Man könnte aber auch die allgemeine Definition mit den Rückschlusswahrscheinlichkeiten&nbsp; $P_{X|Y}(⋅)$&nbsp; anwenden:
+:$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y) = {\rm E} \hspace{0.02cm} \left [ \hspace{0.05cm} {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.03cm}X \mid \hspace{0.03cm} Y} (X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y)} \hspace{0.05cm}\right ] = {\rm E} \hspace{0.02cm} \left [ \hspace{0.05cm} {\rm log}_2 \hspace{0.1cm} \frac{P_Y(Y)}{P_{XY} (X, Y)} \hspace{0.05cm} \right ] \hspace{0.05cm}$$
-Im Beispiel erhält man auch nach dieser Berechnungsvorschrift das gleiche Ergebnis $H(X|Y) = 0.3642 bit$ :
+*Im Beispiel erhält man auch nach dieser Berechnungsvorschrift das gleiche Ergebnis&nbsp; $H(X|Y) = 0.3642 \ \rm bit$:
+:$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y) = 0.18 \cdot {\rm log}_2 \hspace{0.1cm} \frac{0.26}{0.18} + 0.02 \cdot {\rm log}_2 \hspace{0.1cm} \frac{0.74}{0.02} + 0.08 \cdot {\rm log}_2 \hspace{0.1cm} \frac{0.26}{0.08} + 0.72 \cdot {\rm log}_2 \hspace{0.1cm} \frac{0.74}{0.72} \hspace{0.05cm}.$$
-$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y) \hspace{-0.15cm}  =  \hspace{-0.15cm} 0.18 \cdot {\rm log}_2 \hspace{0.1cm} \frac{0.26}{0.18} + 0.02 \cdot {\rm log}_2 \hspace{0.1cm} \frac{0.74}{0.02} + 0.08 \cdot {\rm log}_2 \hspace{0.1cm} \frac{0.26}{0.08} + 0.72 \cdot {\rm log}_2 \hspace{0.1cm} \frac{0.74}{0.72} \hspace{0.05cm}$$
-'''5.'''  Richtig ist der ''Lösungsvorschlag 2.'' Bei gestörter Übertragung $(ε > 0)$ ist die Unsicherheit hinsichtlich der Sinke stets größer als die Unsicherheit bezüglich der Quelle. Man erhält hier als Zahlenwert:
-$$H(Y) = H_{\rm bin}(0.26)={ 0.8268\,{\rm bit}} \hspace{0.05cm}$$
-Bei fehlerfreier Übertragung $(ε = 0)$ würde dagegen $P_Y(⋅) = P_X(⋅)$ und $H(Y) = H(X)$ gelten
+'''(5)'''&nbsp; Richtig ist der <u>Lösungsvorschlag 2:</u>
+*Bei gestörter Übertragung&nbsp; $(ε > 0)$&nbsp; ist die Unsicherheit hinsichtlich der Sinke stets größer als die Unsicherheit bezüglich der Quelle.&nbsp; Man erhält hier als Zahlenwert:
+:$$H(Y) = H_{\rm bin}(0.26)={ 0.8268\,{\rm bit}} \hspace{0.05cm}.$$
+*Bei fehlerfreier Übertragung&nbsp; $(ε = 0)$&nbsp; würde dagegen&nbsp; $P_Y(⋅) = P_X(⋅)$&nbsp; und&nbsp; $H(Y) = H(X)$&nbsp; gelten.
-'''6.''' Auch hier ist der ''zweite Lösungsvorschlag'' richtig. Wegen
-$$I(X;Y) = H(X) - H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y) = H(Y) - H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X)$$
-ist $H(Y|X)$ um den gleichen Betrag größer als $H(X|Y)$, um den auch $H(Y)$ größer ist als $H(X)$:
-$$H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X) = H(Y) -I(X;Y) = 0.8268 - 0.3578 ={ 0.4690\,{\rm bit}} \hspace{0.05cm}$$
-Bei direkter Berechnung erhält man das gleiche Ergebnis $H(Y|X) = 0.4690 bit$:
-$$H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X) \hspace{-0.15cm}  =  \hspace{-0.15cm} {\rm E} \hspace{0.02cm} \big [ \hspace{0.02cm} {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.03cm}Y \mid \hspace{0.03cm} X} (Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X)} \big ] =$$
+'''(6)'''&nbsp; Auch hier ist der <u>zweite Lösungsvorschlag</u> richtig:
-$$=\hspace{-0.15cm} 0.18 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.9} + 0.02 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.1} + 0.08 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.1} + 0.72 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.9} \hspace{0.05cm}$$
+*Wegen&nbsp; $I(X;Y) = H(X) - H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y) = H(Y) - H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X)$&nbsp; ist&nbsp; $H(Y|X)$&nbsp; um den gleichen Betrag größer als&nbsp; $H(X|Y)$, um den&nbsp; $H(Y)$&nbsp; größer ist als&nbsp; $H(X)$:
+:$$H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X) = H(Y) -I(X;Y) = 0.8268 - 0.3578 ={ 0.4690\,{\rm bit}} \hspace{0.05cm}$$
+*Bei direkter Berechnung erhält man das gleiche Ergebnis&nbsp; $H(Y|X) = 0.4690\ \rm  bit$:
+:$$H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X) = {\rm E} \hspace{0.02cm} \left [ \hspace{0.02cm} {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.03cm}Y \mid \hspace{0.03cm} X} (Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X)} \right ] = 0.18 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.9} + 0.02 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.1} + 0.08 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.1} + 0.72 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.9} \hspace{0.05cm}.$$
 {{ML-Fuß}}