Aufgabe 3.10: Transinformation beim BSC

Wir betrachten den $\text{Binary Symmetric Channel}$ (BSC). Für die gesamte Aufgabe gelten die Parameterwerte:

Verfälschungswahrscheinlichkeit: $\epsilon = 0.1$
Wahrscheinlichkeit für $0$: $p_0 = 0.2$,
Wahrscheinlichkeit für $1$: $p_1 = 0.8$.

Damit lautet die Wahrscheinlichkeitsfunktion der Quelle:

$P_X(X)= (0.2 , 0.8)$

und für die Quellenentropie gilt:

$H(X) = p_0 \cdot log_2 \frac{1}{p_0} + p_1 \cdot log_2 \frac{1}{p_1} = H_{bin}(0.2) = 0.7219 (\text{bit})$

In der Aufgabe sollen ermittelt werden:

die Wahrscheinlichkeitsfunktion der Sinke:

$P_Y(Y) = (P_Y(0) , P_Y(1))$,

die Verbundwahrscheinlichkeitsfunktion :

$P_{XY}(X, Y) = \begin{pmatrix} p_{00} & p_{01}\\ p_{10} & p_{11} \end{pmatrix} \hspace{0.05cm}$

die Transinformation

$I(X;Y) = E[ log_2 \frac{P_{ XY }(X,Y)}{P_X(X) . P_Y(Y)}]$,

die Äquivokation:

$H(X \mid Y) = E[log_2 \frac{1}{P_{ X \mid Y }(X \mid Y)}]$,

die Irrelevanz:

$H(Y \mid X) = E[log_2 \frac{1}{P_{ Y \mid X }(Y \mid X)}]$

Hinwies: Die Aufgabe gehört zu Kapitel 3.3. In der Aufgabe Z3.9 wird die Kanalkapazität $C_{ BSC }$ des $BSC$–Modells berechnet. Diese ergibt sich als die maximale Transinformation $I(X; Y)$ durch Maximierung bezüglich der Symbolwahrscheinlichkeiten $p_0$ bzw. $p_1 = 1 – p_0$.

Fragebogen

$P_{ XY }(0, 0)$ =

$P_{ XY }(0, 1)$ =

$P_{ XY }(1, 0)$ =

$P_{ XY }(1, 1)$ =

$P_Y(0)$ =

$P_Y(1)$ =

$I(X; Y)$ =

$H(X|Y)$ =

	$H_(Y)$ ist nie größer als $H_(X)$.
	$H_(Y)$ ist nie kleiner als $H_(X)$.

	$H_(Y\|X)$ ist nie größer als die Äquivokation $H_(X\|Y)$.
	$H_(Y\|X)$ ist nie kleiner als die Äquivokation $H_(X\|Y)$.

Musterlösung

1. Für die gesuchten Größen gilt allgemein bzw. mit den Zahlenwerten $p_0 = 0.2$ und $ε = 0.1$:

$P_{ XY }(0 , 0) = p_0 . (1 - \varepsilon ) = 0.18 $ , $P_{XY}(0,1) = p_0 . \varepsilon = 0.02$,

$P_{XY}(1,0) = p_1 . \varepsilon = 0.08$ , $P_{ XY }(1 , 1) = p_1 . (1 - \varepsilon ) = 0.72$.

2. Es gilt:

$P_Y(Y) = ( Pr(Y = 0) , Pr(Y = 1)) = (p_0 ,p_1 ) . 3. 4. 5. 6. 7.