Quelltext der Seite Applets:Kapazität von digitalen gedächtnislosen Kanälen

{{LntAppletLinkDeEn|transinformation|transinformation_en}}

==Programmbeschreibung==
<br>
In diesem Applet werden binäre&nbsp; $(M=2)$&nbsp; und ternäre&nbsp; $(M=3)$&nbsp; Kanalmodelle ohne Gedächtnis betrachtet mit jeweils&nbsp; $M$&nbsp; Eingängen&nbsp; $X$&nbsp; und&nbsp; $M$&nbsp; Ausgängen&nbsp; $Y$.&nbsp; Ein solches Nachrichtensystem ist durch die Wahrscheinlichkeitsfunktion&nbsp; $P_X(X)$&nbsp; und die Matrix&nbsp; $P_{\hspace{0.01cm}Y\hspace{0.03cm} \vert \hspace{0.01cm}X}(Y\hspace{0.03cm}  \vert \hspace{0.03cm} X)$&nbsp; der Übergangswahrscheinlichkeiten vollständig bestimmt.


Für diese binären bzw. ternären Systeme werden folgende informationstheoretische Beschreibungsgrößen hergeleitet und verdeutlicht:
*die&nbsp; ''Quellenentropie'' &nbsp; $H(X)$&nbsp; und die&nbsp; ''Sinkenentropie'' &nbsp; $H(Y)$,
*die&nbsp; ''Äquivokation'' &nbsp; (&bdquo;Rückschlussentropie&rdquo;)&nbsp; $H(X|Y)$&nbsp; und die &nbsp; ''Irrelevanz'' (&bdquo;Streuentropie&rdquo;)&nbsp; $H(Y|X)$,
*die&nbsp; ''Verbundentropie'' &nbsp; $H(XY)$&nbsp; sowie die ''Transinformation''&nbsp; (englisch:&nbsp; ''Mutual Information'')&nbsp; $I(X; Y)$,
*die&nbsp; ''Kanalkapazität'' &nbsp; als die entscheidende Kenngröße digitaler Kanalmodelle ohne Gedächtnis: 
:$$C = \max_{P_X(X)} \hspace{0.15cm}  I(X;Y)  \hspace{0.05cm}.$$ 

Diese informationstheoretische Größen können sowohl in analytisch&ndash;geschlossener Form berechnet oder durch Auswertung von Quellen&ndash; und Sinkensymbolfolge simulativ ermittelt werden.  

==Theoretischer Hintergrund==
<br>
===Zugrunde liegendes Modell der Digitalsignalübertragung === 	

Die Menge der möglichen&nbsp; '''Quellensymbole'''&nbsp; wird durch die diskrete Zufallsgröße&nbsp; $X$&nbsp; charakterisiert.&nbsp; 
*Im binären Fall &nbsp; &rArr; &nbsp; $M_X= |X| = 2$&nbsp; gilt&nbsp; $X = \{\hspace{0.05cm}{\rm A}, \hspace{0.15cm} {\rm B} \hspace{0.05cm}\}$&nbsp; mit der Wahrscheinlichkeitsfunktion&nbsp; $($englisch:&nbsp; ''Probability Mass Function'',&nbsp; $\rm PMF)$  &nbsp; $P_X(X)= \big (p_{\rm A},\hspace{0.15cm}p_{\rm B}\big)$&nbsp; sowie den Quellensymbolwahrscheinlichkeiten&nbsp; $p_{\rm A}$&nbsp; und&nbsp; $p_{\rm B}=1- p_{\rm A}$.
*Entsprechend gilt für eine Ternärquelle&nbsp; &rArr; &nbsp; $M_X= |X| = 3$: &nbsp; &nbsp; $X = \{\hspace{0.05cm}{\rm A}, \hspace{0.15cm} {\rm B}, \hspace{0.15cm} {\rm C} \hspace{0.05cm}\}$, &nbsp; &nbsp; $P_X(X)= \big (p_{\rm A},\hspace{0.15cm}p_{\rm B},\hspace{0.15cm}p_{\rm C}\big)$, &nbsp; &nbsp; $p_{\rm C}=1- p_{\rm A}-p_{\rm B}$.


Die Menge der möglichen&nbsp; '''Sinkensymbole'''&nbsp; wird durch die diskrete Zufallsgröße&nbsp; $Y$&nbsp; charakterisiert.&nbsp; Diese entstammen der gleichen Symbolmenge wie die Quellensymbole &nbsp; &rArr; &nbsp; $M_Y=M_X = M$.&nbsp; Zur Vereinfachung der nachfolgenden Beschreibung bezeichnen wir diese mit Kleinbuchstaben, zum Beispiel für&nbsp; $M=3$: &nbsp;&nbsp; $Y = \{\hspace{0.05cm}{\rm a}, \hspace{0.15cm} {\rm b}, \hspace{0.15cm} {\rm c} \hspace{0.05cm}\}$.   

Der Zusammenhang zwischen den Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; ist durch ein&nbsp; '''digitales Kanalmodell ohne Gedächtnis'''&nbsp; $($englisch:&nbsp; ''Discrete Memoryless Channel'',&nbsp; $\rm DMC)$&nbsp; festgelegt. Die linke  Grafik zeigt dieses für&nbsp; $M=2$&nbsp; und die rechte  Grafik für&nbsp; $M=3$.

[[Datei:Transinf_1_neu.png|center|frame|Digitales Kanalmodell für&nbsp; $M=2$&nbsp; (links) und für&nbsp; $M=3$&nbsp; (rechts). <br>Bitte beachten Sie:&nbsp; In der rechten Grafik sind nicht alle Übergänge beschriftet]]

Die folgende Beschreibung gilt für den einfacheren Fall&nbsp; $M=2$.&nbsp; Für die Berechnung aller informationstheoretischer Größen im nächsten Abschnitt benötigen wir außer&nbsp; $P_X(X)$&nbsp; und&nbsp;  $P_Y(Y)$&nbsp; noch die zweidimensionalen Wahrscheinlichkeitsfunktionen&nbsp; $($jeweils eine&nbsp; $2\times2$&ndash;Matrix$)$&nbsp; aller
#&nbsp; [[Stochastische_Signaltheorie/Statistische_Abhängigkeit_und_Unabhängigkeit#Bedingte_Wahrscheinlichkeit|bedingten Wahrscheinlichkeiten]] &nbsp; &rArr; &nbsp; $P_{\hspace{0.01cm}Y\hspace{0.03cm} \vert \hspace{0.01cm}X}(Y\hspace{0.03cm}  \vert \hspace{0.03cm} X)$ &nbsp; &rArr; &nbsp; durch das DMC&ndash;Modell vorgegeben;
#&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Verbundwahrscheinlichkeit_und_Verbundentropie|Verbundwahrscheinlichkeiten]]&nbsp; &rArr; &nbsp; $P_{XY}(X,\hspace{0.1cm}Y)$;
#&nbsp; [[Stochastische_Signaltheorie/Statistische_Abhängigkeit_und_Unabhängigkeit#R.C3.BCckschlusswahrscheinlichkeit|Rückschlusswahrscheinlichkeiten]] &nbsp; &rArr; &nbsp; $P_{\hspace{0.01cm}X\hspace{0.03cm} \vert \hspace{0.03cm}Y}(X\hspace{0.03cm}  \vert \hspace{0.03cm} Y)$.
 

[[Datei:Transinf_2.png|right|frame|Betrachtetes Modell des Binärkanals]]
{{GraueBox|TEXT=
$\text{Beispiel 1}$:&nbsp; Wir betrachten den skizzierten Binärkanal.
* Die Verfälschungswahrscheinlichkeiten seien:
  
:$$\begin{align*}p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}A}  & =  {\rm Pr}(Y\hspace{-0.1cm} = {\rm a}\hspace{0.05cm}\vert X \hspace{-0.1cm}= {\rm A}) = 0.95\hspace{0.05cm},\hspace{0.8cm}p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}A}  =  {\rm Pr}(Y\hspace{-0.1cm} = {\rm b}\hspace{0.05cm}\vert X \hspace{-0.1cm}= {\rm A}) = 0.05\hspace{0.05cm},\\
p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}B}  & =  {\rm Pr}(Y\hspace{-0.1cm} = {\rm a}\hspace{0.05cm}\vert X \hspace{-0.1cm}= {\rm B}) = 0.40\hspace{0.05cm},\hspace{0.8cm}p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}B}  =  {\rm Pr}(Y\hspace{-0.1cm} = {\rm b}\hspace{0.05cm}\vert X \hspace{-0.1cm}= {\rm B}) = 0.60\end{align*}$$

:$$\Rightarrow \hspace{0.3cm}  P_{\hspace{0.01cm}Y\hspace{0.05cm} \vert \hspace{0.05cm}X}(Y\hspace{0.05cm}  \vert \hspace{0.05cm} X) = 
		\begin{pmatrix} 
		0.95  & 0.05\\
		0.4 & 0.6
		\end{pmatrix} \hspace{0.05cm}.$$

*Außerdem gehen wir von nicht gleichwahrscheinlichen Quellensymbolen aus:
 
:$$P_X(X) = \big ( p_{\rm A},\ p_{\rm B} \big )=
\big ( 0.1,\ 0.9 \big )
\hspace{0.05cm}.$$

*Für die Wahrscheinlichkeitsfunktion der Sinke ergibt sich somit:
   
:$$P_Y(Y) = \big [ {\rm Pr}( Y\hspace{-0.1cm} = {\rm a})\hspace{0.05cm}, \ {\rm Pr}( Y \hspace{-0.1cm}= {\rm b}) \big ] = \big ( 0.1\hspace{0.05cm},\ 0.9 \big ) \cdot 
\begin{pmatrix} 
		0.95  & 0.05\\
		0.4 & 0.6
		\end{pmatrix} $$

:$$\Rightarrow \hspace{0.3cm}  {\rm Pr}( Y \hspace{-0.1cm}= {\rm a}) =  
0.1 \cdot 0.95 + 0.9 \cdot 0.4 = 0.455\hspace{0.05cm},\hspace{1.0cm}
{\rm Pr}( Y \hspace{-0.1cm}= {\rm b})  =  1 - {\rm Pr}( Y \hspace{-0.1cm}= {\rm a}) = 0.545.$$

*Die Verbundwahrscheinlichkeiten&nbsp; $p_{\mu \kappa} = \text{Pr}\big[(X = μ) ∩ (Y = κ)\big]$&nbsp; zwischen Quelle und Sinke sind:
 
:$$\begin{align*}p_{\rm Aa} & =   p_{\rm a} \cdot p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}A} = 0.095\hspace{0.05cm},\hspace{0.5cm}p_{\rm Ab} =   p_{\rm b} \cdot p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}A} = 0.005\hspace{0.05cm},\\
p_{\rm Ba} & =   p_{\rm a} \cdot p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}B} = 0.360\hspace{0.05cm},
\hspace{0.5cm}p_{\rm Bb} =   p_{\rm b} \cdot p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}B} = 0.540\hspace{0.05cm}.
\end{align*}$$

:$$\Rightarrow \hspace{0.3cm}  P_{XY}(X,\hspace{0.1cm}Y) = 
		\begin{pmatrix} 
		0.095  & 0.005\\
		0.36 & 0.54
		\end{pmatrix} \hspace{0.05cm}.$$
 
* Für die Rückschlusswahrscheinlichkeiten erhält man:

:$$\begin{align*}p_{\rm A\hspace{0.03cm}\vert \hspace{0.03cm}a} & =   p_{\rm Aa}/p_{\rm a} = 0.095/0.455 = 0.2088\hspace{0.05cm},\hspace{0.5cm}p_{\rm A\hspace{0.03cm}\vert \hspace{0.03cm}b}  =   p_{\rm Ab}/p_{\rm b} = 0.005/0.545 = 0.0092\hspace{0.05cm},\\
p_{\rm B\hspace{0.03cm}\vert \hspace{0.03cm}a} & =   p_{\rm Ba}/p_{\rm a} = 0.36/0.455 = 0.7912\hspace{0.05cm},\hspace{0.5cm}p_{\rm B\hspace{0.03cm}\vert \hspace{0.03cm}b}  =   p_{\rm Bb}/p_{\rm b} = 0.54/0.545 = 0.9908\hspace{0.05cm}
\end{align*}$$

:$$\Rightarrow \hspace{0.3cm}  P_{\hspace{0.01cm}X\hspace{0.05cm} \vert \hspace{0.05cm}Y}(X\hspace{0.05cm}  \vert \hspace{0.05cm} Y) = 
		\begin{pmatrix} 
		0.2088  & 0.0092\\
		0.7912 & 0.9908
		\end{pmatrix} \hspace{0.05cm}.$$ }}
<br clear=all><br><br>
===Definition und Interpretation verschiedener Entropiefunktionen ===

Im&nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|$\rm LNTwww$&ndash;Theorieteil]]&nbsp; werden alle für 2D&ndash;Zufallsgrößen relevanten Entropien definiert, die auch für die Digitalsignalübertragung gelten.&nbsp; Zudem finden Sie dort zwei Schaubilder, die den Zusammenhang zwischen den einzelnen Entropien illustrieren.&nbsp; 
*Für die Digitalsignalübertragung ist die rechte Darstellung zweckmäßig, bei der die Richtung von der Quelle&nbsp; $X$&nbsp; zur Sinke&nbsp; $Y$&nbsp; erkennbar ist.&nbsp; 
*Wir interpretieren nun ausgehend von dieser Grafik die einzelnen informationstheoretischen Größen. 


[[Datei:P_ID2781__Inf_T_3_3_S2.png|center|frame|Zwei informationstheoretische Modelle für die Digitalsignalübertragung.
<br>Bitte beachten Sie:&nbsp; In der rechten Grafik ist&nbsp; $H_{XY}$&nbsp; nicht darstellbar]]

*Die&nbsp; '''Quellenentropie'''&nbsp; (englisch:&nbsp; ''Source Entropy''&nbsp;)&nbsp; $H(X)$&nbsp; bezeichnet den mittleren Informationsgehalt der Quellensymbolfolge.&nbsp; Mit dem Symbolumfang&nbsp; $|X|$&nbsp; gilt:
 
:$$H(X) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_X(X)}\right ] \hspace{0.1cm}
= -{\rm E} \big [ {\rm log}_2 \hspace{0.1cm}{P_X(X)}\big ] \hspace{0.2cm}
=\hspace{0.2cm} \sum_{\mu = 1}^{|X|} 
 P_X(x_{\mu}) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{P_X(x_{\mu})} \hspace{0.05cm}.$$

*Die&nbsp; '''Äquivokation'''&nbsp; (auch&nbsp; ''Rückschlussentropie'' genannt, englisch:&nbsp; ''Equivocation''&nbsp;)&nbsp; $H(X|Y)$&nbsp; gibt den mittleren Informationsgehalt an, den ein Betrachter, der über die Sinke&nbsp; $Y$&nbsp; genau Bescheid weiß, durch Beobachtung der Quelle&nbsp; $X$&nbsp; gewinnt:
 
:$$H(X|Y) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.05cm}X\hspace{-0.01cm}|\hspace{-0.01cm}Y}(X\hspace{-0.01cm} |\hspace{0.03cm} Y)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 1}^{|X|} \sum_{\kappa = 1}^{|Y|} 
 P_{XY}(x_{\mu},\hspace{0.05cm}y_{\kappa}) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.05cm}X\hspace{-0.01cm}|\hspace{0.03cm}Y}
(\hspace{0.05cm}x_{\mu}\hspace{0.03cm} |\hspace{0.05cm} y_{\kappa})}
 \hspace{0.05cm}.$$

*Die Äquivokation ist der Anteil der Quellenentropie&nbsp; $H(X)$, der durch Kanalstörungen&nbsp; (bei digitalem Kanal:&nbsp; Übertragungsfehler)&nbsp; verloren geht.&nbsp; Es verbleibt die&nbsp; '''Transinformation'''&nbsp; (englisch:&nbsp; ''Mutual Information'')&nbsp; $I(X; Y)$, die zur Sinke gelangt:
 
:$$I(X;Y) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_{XY}(X, Y)}{P_X(X) \cdot P_Y(Y)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 1}^{|X|} \sum_{\kappa = 1}^{|Y|} 
 P_{XY}(x_{\mu},\hspace{0.05cm}y_{\kappa}) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_{XY}(x_{\mu},\hspace{0.05cm}y_{\kappa})}{P_{\hspace{0.05cm}X}(\hspace{0.05cm}x_{\mu}) \cdot P_{\hspace{0.05cm}Y}(\hspace{0.05cm}y_{\kappa})}
 \hspace{0.05cm} = H(X) - H(X|Y) \hspace{0.05cm}.$$

*Die&nbsp; '''Irrelevanz'''&nbsp; (manchmal auch&nbsp; ''Streuentropie''&nbsp; genannt, englisch:&nbsp; ''Irrelevance'')&nbsp; $H(Y|X)$&nbsp; gibt den mittleren Informationsgehalt an, den ein Betrachter, der über die Quelle&nbsp; $X$&nbsp; genau Bescheid weiß, durch Beobachtung der Sinke&nbsp; $Y$&nbsp; gewinnt:
 
:$$H(Y|X) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.05cm}Y\hspace{-0.01cm}|\hspace{-0.01cm}X}(Y\hspace{-0.01cm} |\hspace{0.03cm} X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 1}^{|X|} \sum_{\kappa = 1}^{|Y|} 
 P_{XY}(x_{\mu},\hspace{0.05cm}y_{\kappa}) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.05cm}Y\hspace{-0.01cm}|\hspace{0.03cm}X}
(\hspace{0.05cm}y_{\kappa}\hspace{0.03cm} |\hspace{0.05cm} x_{\mu})}
 \hspace{0.05cm}.$$

*Die&nbsp; '''Sinkenentropie'''&nbsp; $H(Y)$, der mittlere Informationsgehalt der Sinke, ist die Summe aus der nützlichen Transinformation&nbsp; $I(X; Y)$&nbsp; und der Irrelevanz&nbsp; $H(Y|X)$, die ausschließlich von Kanalfehlern herrührt:
  	
:$$H(Y) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_Y(Y)}\right ] \hspace{0.1cm}
= -{\rm E} \big [ {\rm log}_2 \hspace{0.1cm}{P_Y(Y)}\big ] \hspace{0.2cm} =I(X;Y) + H(Y|X) 
 \hspace{0.05cm}.$$

*Die&nbsp; '''Verbundentropie'''&nbsp; $H(XY)$&nbsp; gibt ist den mittleren Informationsgehalt der 2D&ndash;Zufallsgröße&nbsp; $XY$&nbsp;an.&nbsp sie beschreibt zudem eine obere Schranke für die Summe aus Quellenentropie und Sinkenentropie:

:$$H(XY) = {\rm E} \left [ {\rm log} \hspace{0.1cm} \frac{1}{P_{XY}(X, Y)}\right ] = \sum_{\mu = 1}^{|X|}  \hspace{0.1cm} \sum_{\kappa = 1}^{|Y|} \hspace{0.1cm}
 P_{XY}(x_{\mu}\hspace{0.05cm}, y_{\kappa}) \cdot {\rm log} \hspace{0.1cm} \frac{1}{P_{XY}(x_{\mu}\hspace{0.05cm}, y_{\kappa})}\le H(X) + H(Y) \hspace{0.05cm}.$$ 

[[Datei:Transinf_2.png|right|frame|Betrachtetes Modell des Binärkanals]]
{{GraueBox|TEXT=
$\text{Beispiel 2}$:&nbsp; Es gelten die gleichen Voraussetzungen wie für das&nbsp; [[Applets:Kapazität_von_digitalen_gedächtnislosen_Kanälen#Zugrunde_liegendes_Modell_der_Digitalsignal.C3.BCbertragung|$\text{Beispiel 1}$]]:&nbsp;

'''(1)'''&nbsp; Die Quellensymbole sind nicht gleichwahrscheinlich: 
:$$P_X(X) = \big ( p_{\rm A},\ p_{\rm B} \big )=
\big ( 0.1,\ 0.9 \big )
\hspace{0.05cm}.$$ 
'''(2)'''&nbsp; Die Verfälschungswahrscheinlichkeiten seien:  
:$$\begin{align*}p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}A}  & =  {\rm Pr}(Y\hspace{-0.1cm} = {\rm a}\hspace{0.05cm}\vert X \hspace{-0.1cm}= {\rm A}) = 0.95\hspace{0.05cm},\hspace{0.8cm}p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}A}  =  {\rm Pr}(Y\hspace{-0.1cm} = {\rm b}\hspace{0.05cm}\vert X \hspace{-0.1cm}= {\rm A}) = 0.05\hspace{0.05cm},\\
p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}B}  & =  {\rm Pr}(Y\hspace{-0.1cm} = {\rm a}\hspace{0.05cm}\vert X \hspace{-0.1cm}= {\rm B}) = 0.40\hspace{0.05cm},\hspace{0.8cm}p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}B}  =  {\rm Pr}(Y\hspace{-0.1cm} = {\rm b}\hspace{0.05cm}\vert X \hspace{-0.1cm}= {\rm B}) = 0.60\end{align*}$$

:$$\Rightarrow \hspace{0.3cm}  P_{\hspace{0.01cm}Y\hspace{0.05cm} \vert \hspace{0.05cm}X}(Y\hspace{0.05cm}  \vert \hspace{0.05cm} X) = 
		\begin{pmatrix} 
		0.95  & 0.05\\
		0.4 & 0.6
		\end{pmatrix} \hspace{0.05cm}.$$

[[Datei:Inf_T_1_1_S4_vers2.png|frame|Binäre Entropiefunktion als Funktion von&nbsp; $p$|right]]
*Wegen Voraussetzung&nbsp; '''(1)'''&nbsp; erhält man so für die Quellenentropie mit der&nbsp; [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Bin.C3.A4re_Entropiefunktion|binären Entropiefunktion]]&nbsp; $H_{\rm bin}(p)$:&nbsp;

:$$H(X) =  p_{\rm A} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p_{\rm A}\hspace{0.1cm} } + p_{\rm B} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{p_{\rm B} }= H_{\rm bin} (p_{\rm A}) = H_{\rm bin} (0.1)= 0.469 \ {\rm bit}
\hspace{0.05cm};$$

::$$H_{\rm bin} (p) =  p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm} } + (1 - p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1 - p} \hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

* Entsprechend gilt für die Sinkenentropie mit der PMF&nbsp; $P_Y(Y) = \big ( p_{\rm a},\ p_{\rm b} \big )=
\big ( 0.455,\ 0.545 \big )$:
:$$H(Y) =   H_{\rm bin} (0.455)= 0.994 \ {\rm bit}
\hspace{0.05cm}.$$
*Als nächstes berechnen wir die Verbundentropie:
:$$H(XY) =  p_{\rm Aa} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p_{\rm Aa}\hspace{0.1cm} }+ p_{\rm Ab} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p_{\rm Ab}\hspace{0.1cm} }+p_{\rm Ba} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p_{\rm Ba}\hspace{0.1cm} }+ p_{\rm Bb} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p_{\rm Bb}\hspace{0.1cm} }$$
:$$\Rightarrow \hspace{0.3cm}H(XY) =    0.095 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.095 } +0.005 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.005 }+0.36 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.36 }+0.54 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.54 }= 1.371 \ {\rm bit}
\hspace{0.05cm}.$$

Entsprechend dem oberen linken Schaubild sind somit auch die restlichen informationstheoretischen Größen berechenbar:
[[Datei:Transinf_4.png|right|frame|Informationstheoretisches Modell für&nbsp; $\text{Beispiel 2}$]]

*die&nbsp; '''Äquivokation'''&nbsp; (oder Rückschlussentropie):
 
:$$H(X \vert Y) \hspace{-0.01cm} =\hspace{-0.01cm}  H(XY) \hspace{-0.01cm} -\hspace{-0.01cm}  H(Y) \hspace{-0.01cm}  = \hspace{-0.01cm}  1.371\hspace{-0.01cm}  -\hspace{-0.01cm}  0.994\hspace{-0.01cm} =\hspace{-0.01cm}  0.377\ {\rm bit}
 \hspace{0.05cm},$$

*die '''Irrelevanz'''&nbsp; (oder Streuentropie):
 
:$$H(Y \vert X) = H(XY) - H(X)  = 1.371 - 0.994 = 0.902\ {\rm bit}
 \hspace{0.05cm}.$$

*die&nbsp; '''Transinformation'''&nbsp; (englisch&nbsp; ''Mutual Information''):
 
:$$I(X;Y) = H(X) + H(Y) - H(XY)  = 0.469 + 0.994 - 1.371 = 0.092\ {\rm bit}
 \hspace{0.05cm},$$

Die Ergebnisse sind in nebenstehender Grafik  zusammengefasst. 

''Anmerkung'':&nbsp; Äquivokation und Irrelevanz könnte man (allerdings mit Mehraufwand) auch direkt aus den entsprechenden Wahrscheinlichkeitsfunktionen berechnen, zum Beispiel:
  
:$$H(Y \vert X) = \hspace{-0.2cm} \sum_{(x, y) \hspace{0.05cm}\in \hspace{0.05cm}XY} \hspace{-0.2cm} P_{XY}(x,\hspace{0.05cm}y) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.05cm}Y\hspace{-0.01cm}\vert \hspace{0.03cm}X}
(\hspace{0.05cm}y\hspace{0.03cm} \vert \hspace{0.05cm} x)}= p_{\rm Aa} \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}A} } +
p_{\rm Ab} \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}A} } +
p_{\rm Ba} \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}B} } +
p_{\rm Bb} \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}B} } = 0.902 \ {\rm bit} \hspace{0.05cm}.$$}}


[[Datei:Transinf_3.png|right|frame|Betrachtetes Modell des Ternärkanals:<br>Rote Übergänge stehen für&nbsp; $p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}A} = p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}B} = p_{\rm c\hspace{0.03cm}\vert \hspace{0.03cm}C} = q$&nbsp; und blaue für&nbsp; $p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}A} = p_{\rm c\hspace{0.03cm}\vert \hspace{0.03cm}A}  =\text{...}= p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}C}= (1-q)/2$]]
{{GraueBox|TEXT=
$\text{Beispiel 3}$:&nbsp; Nun betrachten wir ein Übertragungssystem mit&nbsp; $M_X = M_Y = M=3$.&nbsp;

'''(1)'''&nbsp; Die Quellensymbole seien gleichwahrscheinlich: 
:$$P_X(X) = \big ( p_{\rm A},\ p_{\rm B},\ p_{\rm C} \big )=
\big ( 1/3,\ 1/3,\ 1/3 \big )\hspace{0.30cm}\Rightarrow\hspace{0.30cm}H(X)={\rm log_2}\hspace{0.1cm}3 \approx 1.585 \ {\rm bit}
\hspace{0.05cm}.$$
'''(2)'''&nbsp; Das Kanalmodell ist symmetrisch &nbsp; &rArr; &nbsp; auch die Sinkensymbole sind gleichwahrscheinlich: 
:$$P_Y(Y) = \big ( p_{\rm a},\ p_{\rm b},\ p_{\rm c} \big )=
\big ( 1/3,\ 1/3,\ 1/3 \big )\hspace{0.30cm}\Rightarrow\hspace{0.30cm}H(Y)={\rm log_2}\hspace{0.1cm}3 \approx 1.585 \ {\rm bit}
\hspace{0.05cm}.$$
'''(3)'''&nbsp; Die Verbundwahrscheinlichkeiten ergeben sich wie folgt: 
:$$p_{\rm Aa}= p_{\rm Bb}= p_{\rm Cc}= q/M,$$
:$$p_{\rm Ab}= p_{\rm Ac}= p_{\rm Ba}= p_{\rm Bc} = p_{\rm Ca}= p_{\rm Cb} = (1-q)/(2M)$$
:$$\Rightarrow\hspace{0.30cm}H(XY) =  3 \cdot p_{\rm Aa} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p_{\rm Aa}\hspace{0.1cm}  }+6 \cdot p_{\rm Ab} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p_{\rm Ab}\hspace{0.1cm} }= \
\text{...} \ = q \cdot {\rm log_2}\hspace{0.1cm}\frac{M}{q }+ (1-q) \cdot {\rm log_2}\hspace{0.1cm}\frac{M}{(1-q)/2 }.$$
[[Datei:Transinf_10.png|right|frame|Einige Ergebnisse zum&nbsp; $\text{Beispiel 3}$]] 
'''(4)'''&nbsp; Für die Transinformation erhält man nach einigen Umformungen unter Berücksichtigung der Gleichung&nbsp;
:$$I(X;Y) = H(X) + H(Y) - H(XY)\text{:}$$
:$$\Rightarrow \hspace{0.3cm} I(X;Y) = {\rm log_2}\ (M) - (1-q) -H_{\rm bin}(q).$$
* Bei fehlerfreier Ternärübertragung&nbsp; $(q=1)$&nbsp; gilt&nbsp; $I(X;Y) = H(X) = H(Y)={\rm log_2}\hspace{0.1cm}3$.
* Mit&nbsp; $q=0.8$&nbsp; sinkt die Transinformaion schon auf&nbsp; $I(X;Y) = 0.663$&nbsp; und mit&nbsp; $q=0.5$&nbsp; auf&nbsp; $0.085$&nbsp; bit.
*Der ungünstigste Fall aus informationstheoretischer Sicht ist&nbsp; $q=1/3$&nbsp; &rArr; &nbsp; $I(X;Y) = 0$.
*Dagegen ist der aus der aus Sicht der Übertragungstheorie ungünstigste Fall&nbsp; $q=0$&nbsp; &rArr; &nbsp; &bdquo;kein einziges Übertragungssymbol kommt richtig an&rdquo;&nbsp; aus informationstheoretischer Sicht gar nicht so schlecht.
* Um dieses gute Ergebnis nutzen zu können, ist allerdings sendeseitig eine Kanalcodierung erforderlich. }}
<br><br>
===Definition und Bedeutung der Kanalkapazität === 

Berechnet man die Transinformation&nbsp; $I(X, Y)$&nbsp; wie zuletzt im&nbsp; $\text{Beispiel 2}$&nbsp; ausgeführt,&nbsp; so hängt diese nicht nur vom diskreten gedächtnislosen Kanal&nbsp; (englisch:&nbsp; ''Discrete Memoryless Channel'',&nbsp; kurz DMC)&nbsp; ab, sondern auch von der Quellenstatistik   &nbsp;  ⇒  &nbsp;  $P_X(X)$&nbsp; ab.&nbsp; Ergo: &nbsp; '''Die Transinformation'''&nbsp; $I(X, Y)$&nbsp;''' ist keine reine Kanalkenngröße'''.

{{BlaueBox|TEXT=
$\text{Definition:}$&nbsp; Die von&nbsp; [https://de.wikipedia.org/wiki/Claude_Shannon Claude E. Shannon]&nbsp; eingeführte&nbsp; '''Kanalkapazität'''&nbsp; (englisch:&nbsp; ''Channel Capacity'')&nbsp; lautet gemäß seinem Standardwerk&nbsp; [Sha48]<ref name = ''Sha48''>Shannon, C.E.: ''A Mathematical Theory of Communication''. In: Bell Syst. Techn. J. 27 (1948), S. 379-423 und S. 623-656.</ref>:
 
:$$C = \max_{P_X(X)} \hspace{0.15cm}  I(X;Y)  \hspace{0.05cm}.$$

Oft wird die Zusatzeinheit „bit/Kanalzugriff” hinzugefügt,&nbsp; bei englischen Texten „bit/use”.&nbsp; Da nach dieser Definition stets die bestmögliche Quellenstatistik zugrunde liegt,&nbsp; hängt&nbsp; $C$&nbsp; nur von den Kanaleigenschaften &nbsp; ⇒ &nbsp; $P_{Y \vert X}(Y \vert X)$ ab,&nbsp; nicht jedoch von der Quellenstatistik &nbsp; ⇒ &nbsp; $P_X(X)$.&nbsp; }}


Shannon benötigte die Kanalbeschreibungsgröße&nbsp; $C$&nbsp; zur Formulierung des Kanalcodierungstheorems – eines der Highlights der von ihm begründeten Informationstheorie.

{{BlaueBox|TEXT=
$\text{Shannons Kanalcodierungstheorem:}$&nbsp; 
*Zu jedem Übertragungskanal mit der Kanalkapazität&nbsp; $C > 0$&nbsp; existiert (mindestens) ein&nbsp; $(k,\ n)$–Blockcode,&nbsp; dessen (Block–)Fehlerwahrscheinlichkeit gegen Null geht,&nbsp; so lange die Coderate&nbsp; $R = k/n$&nbsp; kleiner oder gleich der Kanalkapazität ist: &nbsp; $R ≤ C.$
* Voraussetzung hierfür ist allerdings,&nbsp; dass für die Blocklänge dieses Codes gilt: &nbsp; $n → ∞.$


$\text{Umkehrschluss von Shannons Kanalcodierungstheorem:}$&nbsp;
 
Ist die Rate&nbsp;  $R$&nbsp; des verwendeten&nbsp; $(n$,&nbsp; $k)$–Blockcodes größer als die Kanalkapazität&nbsp; $C$,&nbsp; so ist niemals eine beliebig kleine Blockfehlerwahrscheinlichkeit erreichbar.}}


[[Datei:Transinf_9.png|right|frame|Informationsheoretischer Größen für <br>verschiedene&nbsp; $p_{\rm A}$&nbsp; und&nbsp; $p_{\rm B}= 1- p_{\rm A}$ ]]
{{GraueBox|TEXT=
$\text{Beispiel 4}$:&nbsp; Wir betrachten den gleichen diskreten gedächtnislosen Kanal wie im &nbsp;$\text{Beispiel 2}$.&nbsp;
In diesem&nbsp;$\text{Beispiel 2}$&nbsp; wurden die Symbolwahrscheinlichkeiten&nbsp; $p_{\rm A} = 0.1$&nbsp; und&nbsp; $p_{\rm B}= 1- p_{\rm A}=0.9$&nbsp; vorausgesetzt.&nbsp; Damit ergab sich die Transinformation zu&nbsp;  $I(X;Y)= 0.092$&nbsp; bit/Kanalzugriff &nbsp; &rArr; &nbsp; siehe erste Zeile, vierte Spalte in der Tabelle.

Die&nbsp; '''Kanalkapazität'''&nbsp; ist die Transinformation&nbsp; $I(X, Y)$&nbsp; bei bestmöglichen Symbolwahrscheinlichkeiten&nbsp; $p_{\rm A} = 0.55$&nbsp; und&nbsp; $p_{\rm B}= 1- p_{\rm A}=0.45$:
:$$C = \max_{P_X(X)} \hspace{0.15cm}  I(X;Y) = 0.284 \ \rm bit/Kanalzugriff \hspace{0.05cm}.$$

Aus der Tabelle erkennt man weiter&nbsp; (auf die Zusatzeinheit &bdquo;bit/Kanalzugriff&bdquo; verzichten wir im Folgenden):
*Der Parameter&nbsp; $p_{\rm A} = 0.1$&nbsp; war sehr ungünstig gewählt, weil beim vorliegenden Kanal das Symbol&nbsp; $\rm A$&nbsp; mehr verfälscht wird als&nbsp; $\rm B$.&nbsp; Schon mit&nbsp; $p_{\rm A} = 0.9$&nbsp; ergibt sich ein etwas besserer Wert:&nbsp; $I(X; Y)=0.130$.
*Aus dem gleichen Grund liefert&nbsp; $p_{\rm A} = 0.55$,&nbsp; $p_{\rm B} = 0.45$&nbsp; ein etwas besseres Ergebnis als gleichwahrscheinliche Symbole&nbsp; $p_{\rm A} = p_{\rm B} =0.5$.
*Je unsymmetrischer der Kanal ist, um so mehr weicht die optimale Wahrscheinlichkeitsfunktion&nbsp; $P_X(X)$&nbsp; von der Gleichverteilung ab.&nbsp; Im Umkehrschluss:&nbsp; Bei symmetrischem Kanal ergibt sich stets die Gleichverteilung.}} 


Der Ternärkanal von &nbsp;$\text{Beispiel 3}$&nbsp; ist symmetrisch.&nbsp; Deshalb ist hier&nbsp; $P_X(X) = \big ( 1/3,\ 1/3,\ 1/3 \big )$&nbsp; für jeden&nbsp; $q$&ndash;Wert optimal, und die in der Ergebnistabelle angegebene Transinformation&nbsp;  $I(X;Y)$&nbsp; ist gleichzeitig die Kanalkapazität&nbsp;  $C$.  




==Versuchsdurchführung==

[[Datei:Exercises_binomial_fertig.png|right]]
*Wählen Sie zunächst die Nummer&nbsp; '''1'''&nbsp; ...&nbsp; '''14'''&nbsp; der zu bearbeitenden Aufgabe.
*Eine Aufgabenbeschreibung wird angezeigt.&nbsp; Die Parameterwerte sind angepasst.
*Lösung nach Drücken von &bdquo;Musterlösung&rdquo;.
*Bei allen Entropiewerten müsste die Einheit "bit/use" hizugefügt werden.
*Die Nummer&nbsp; '''0'''&nbsp; entspricht einem &bdquo;Reset&rdquo;:&nbsp; Gleiche Einstellung wie beim Programmstart.
<br clear=all>
{{BlaueBox|TEXT=
'''(1)'''&nbsp; Es gelte&nbsp; $p_{\rm A} = p_{\rm B} = 0.5$&nbsp; und&nbsp; $p_{\rm b \vert A} = p_{\rm a \vert B} = 0.1$.&nbsp;Welches Kanalmodell liegt vor?&nbsp; Wie lauten die Entropien&nbsp; $H(X), \, H(Y)$&nbsp; und die Transinformation&nbsp; $I(X;\, Y)$?}}

:*&nbsp; Betrachtet wird das BSC&ndash;Modell&nbsp; (Binary Symmetric Channel).&nbsp; Wegen&nbsp; $p_{\rm A} = p_{\rm B} = 0.5$&nbsp; gilt für die Quellen&ndash; und die Sinkenentropie:&nbsp; $H(X) = H(Y) = 1$.
:*&nbsp; Wegen&nbsp; $p_{\rm b \vert A} = p_{\rm a \vert B} = 0.1$&nbsp; sind auch Äqivokation und Irrelevanz gleich:&nbsp; $H(X \vert Y) = H(Y \vert X) = H_{\rm bin}(p_{\rm b \vert A}) =  H_{\rm bin}(0.1) =0.469$.
:*&nbsp; Die Transinformation ist&nbsp; $I(X;\, Y) = H(X) - H(X \vert Y)= 1-H_{\rm bin}(p_{\rm b \vert A}) = 0.531$&nbsp; und die Verbundentropie ist&nbsp; $H(XY) =1.469$.   

{{BlaueBox|TEXT=
'''(2)'''&nbsp; Es gelte weiter&nbsp; $p_{\rm b \vert A} = p_{\rm a \vert B} = 0.1$, aber nun ist die Symbolwahrscheinlichkeit&nbsp; $p_{\rm A} = 0.9$.&nbsp; Wie groß ist die Kapazität&nbsp; $C_{\rm BSC}$&nbsp; des BSC&ndash;Kanals mit&nbsp; $p_{\rm b \vert A} = p_{\rm a \vert B}$?
:Welches&nbsp; $p_{\rm b \vert A} = p_{\rm a \vert B}$&nbsp; führt zur größtmöglichen Kanalkapazität und welches&nbsp; $p_{\rm b \vert A} = p_{\rm a \vert B}$&nbsp; zur Kanalkapazität&nbsp; $C_{\rm BSC}=0$?}}

:*&nbsp; Die Kapazität&nbsp; $C_{\rm BSC}$&nbsp; ist gleich der maximalen Transinformation&nbsp; $I(X;\, Y)$&nbsp; unter Berücksichtigung der optimalen Symbolwahrscheinlichkeiten.
:*&nbsp; Aufgrund der Symmetrie des BSC&ndash;Modells&nbsp; führen gleichwahrscheinliche Symbole&nbsp; $(p_{\rm A} = p_{\rm B} = 0.5)$&nbsp; zum Optimum &nbsp; &rArr; &nbsp; $C_{\rm BSC}=0.531$.
:*&nbsp; Am besten ist der ideale Kanal&nbsp; $(p_{\rm b \vert A} = p_{\rm a \vert B} = 0)$&nbsp; &rArr; &nbsp;  $C_{\rm BSC}=1$.&nbsp; Der schlechteste BSC&ndash;Kanal liegt durch&nbsp; $p_{\rm b \vert A} = p_{\rm a \vert B} = 0.5$&nbsp; fest &nbsp; &rArr; &nbsp;  $C_{\rm BSC}=0$.
:*&nbsp; Aber auch mit &nbsp; $p_{\rm b \vert A} = p_{\rm a \vert B} = 1$&nbsp; ergibt sich&nbsp;  $C_{\rm BSC}=1$.&nbsp; Hier  werden alle Symbole invertiert, was informationstheoretisch das Gleiche ist wie&nbsp; $\langle Y_n \rangle = \langle X_n \rangle$. 

{{BlaueBox|TEXT=
'''(3)'''&nbsp; Es gelte&nbsp; $p_{\rm A} = p_{\rm B} = 0.5$,&nbsp; $p_{\rm b \vert A} =  0.05$&nbsp; und&nbsp; $ p_{\rm a \vert B} = 0.4$.&nbsp; Interpretieren Sie die Ergebnisse im Vergleich zum Versuch&nbsp; '''(1)'''&nbsp; sowie zum&nbsp; $\text{Beispiel 2}$&nbsp; im Theorieteil.}}

:*&nbsp; Im Gegensatz zum Versuch&nbsp; '''(1)'''&nbsp; liegt hier kein BSC-Kanal vor.&nbsp; Vielmehr ist der hier betrachtete Kanal unsymmetrisch:&nbsp; $p_{\rm b \vert A} \ne p_{\rm a \vert B}$.
:*&nbsp; Gemäß&nbsp; $\text{Beispiel 2}$&nbsp; gilt für&nbsp; $p_{\rm A} = 0.1,\ p_{\rm B} = 0.9$: &nbsp; &nbsp; $H(X)= 0.469$,&nbsp; $H(Y)= 0.994$,&nbsp; $H(X \vert Y)=0.377$,&nbsp; $H(Y \vert X)=0.902$,&nbsp; $I(X;\ Y)=0.092$.
:*&nbsp; Nun gilt&nbsp; $p_{\rm A} = p_{\rm B} = 0.5$&nbsp; und man erhält&nbsp; $H(X)= 1.000$,&nbsp; $H(Y)= 0.910$,&nbsp; $H(X \vert Y)=0.719$,&nbsp; $H(Y \vert X)=0.629$,&nbsp; $I(X;\ Y)=0.281$.
:*&nbsp; Alle Ausgabewerte hängen signifikant von&nbsp; $p_{\rm A}$&nbsp; und&nbsp; $p_{\rm B}=1-p_{\rm A}$&nbsp; ab mit Ausnahme der bedingten Wahrscheinlichkeiten&nbsp; ${\rm Pr}(Y \vert X)\ \in \ \{\hspace{0.05cm}0.95,\ 0.05,\ 0.4,\ 0.6\hspace{0.05cm} \}$.

{{BlaueBox|TEXT=
'''(4)'''&nbsp; Es gelte weiter&nbsp; $p_{\rm A} = p_{\rm B}$,&nbsp; $p_{\rm b \vert A} =  0.05$,&nbsp; $ p_{\rm a \vert B} = 0.4$.&nbsp; Welche Unterschiede erkennen Sie hinsichtlich analytischer Berechnung und &bdquo;Simulation&rdquo;&nbsp; $(N=10000)$.}}
   
:*&nbsp; Die Verbundwahrscheinlichkeiten sind&nbsp; $p_{\rm Aa} =0.475$,&nbsp; $p_{\rm Ab} =0.025$,&nbsp; $p_{\rm Ba} =0.200$,&nbsp;$p_{\rm Bb} =0.300$.&nbsp; Simulation:&nbsp; Approximation durch relative Häufigkeiten:
:*&nbsp; Zum Beispiel für&nbsp; $N=10000$:&nbsp; $h_{\rm Aa} =0.4778$,&nbsp; $h_{\rm Ab} =0.0264$,&nbsp; $h_{\rm Ba} =0.2039$,&nbsp;$h_{\rm Bb} =0.2919$.&nbsp; Nach Drücken&nbsp; &bdquo;Neue Folge&rdquo;&nbsp; etwas andere Werte.
:*&nbsp; Für alle nachfolgenden Berechnungen kein prinzieller Unterschied zwischen Theorie und Simulation, außer&nbsp; $p \to h$.&nbsp; Beispiele:&nbsp;
:*&nbsp; $p_{\rm A} = 0.5 \to h_{\rm A}=h_{\rm Aa} + h_{\rm Ab} =0.5042$,&nbsp; $p_b = 0.325 \to h_{\rm b}=h_{\rm Ab} + h_{\rm Bb} =0.318$,&nbsp; $p_b|A = 0.05 \to h_{\rm b|A}=h_{\rm Ab}/h_{\rm A} =0.0264/0.5042= 0.0524$,&nbsp;
:*&nbsp; $p_{\rm A|b} = 0.0769 \to h_{\rm A|b}=h_{\rm Ab}/h_{\rm b} =0.0264/0.318= 0.0830$.&nbsp; Dadurch liefert diese Simulation&nbsp; $I_{\rm Sim}(X;\ Y)=0.269$&nbsp; anstelle von&nbsp; $I(X;\ Y)=0.281$.

{{BlaueBox|TEXT=
'''(5)'''&nbsp; Einstellung gemäß&nbsp; '''(4)'''.&nbsp; Wie unterscheidet sich&nbsp; $I_{\rm Sim}(X;\ Y)$&nbsp;  für&nbsp; $N=10^3$,&nbsp; $10^4$,&nbsp; $10^5$&nbsp; von&nbsp; $I(X;\ Y) = 0.281$&nbsp;?&nbsp; Jeweils Mittelung über zehn Realisierungen.  }}  
:*&nbsp; $N=10^3$: &nbsp; $0.232 \le I_{\rm Sim} \le 0.295$, &nbsp; Mittelwert:&nbsp;  $0.263$ &nbsp; | &nbsp; $N=10^4$: &nbsp; $0.267 \le I_{\rm Sim} \le 0.293$ &nbsp; MW:&nbsp; $0.279$ &nbsp; | &nbsp; $N=10^5$: &nbsp; $0.280 \le I_{\rm Sim} \le 0.285$ &nbsp; MW:&nbsp; $0.282$.
:*&nbsp; Mit&nbsp; $N=10^6$&nbsp; unterscheidet sich bei diesem Kanal das Simulationsergebnis vom theoretischen Wert um weniger als&nbsp; $\pm 0.001$.&nbsp; 

{{BlaueBox|TEXT=
'''(6)'''&nbsp; Wie groß ist die Kapazität&nbsp; $C_6$&nbsp; dieses Kanals mit&nbsp;  $p_{\rm b \vert A} =  0.05$,&nbsp; $ p_{\rm a \vert B} = 0.4$?&nbsp; Ist mit der Coderate&nbsp; $R=0.3$&nbsp; die Fehlerwahrscheinlichkeit&nbsp; $0$&nbsp; möglich? }}

:*&nbsp; $C_6=0.284$&nbsp; ist das Maximum von&nbsp; $I(X;\ Y)$&nbsp; für &nbsp; $p_{\rm A} =0.55$&nbsp; &rArr; &nbsp;$p_{\rm B} =0.55$.&nbsp; Simulation über&nbsp; zehnmal&nbsp; $N=10^5$:&nbsp; $0.281 \le I_{\rm Sim}(X;\ Y) \le 0.289$.
:*&nbsp; Mit der Coderate&nbsp; $R=0.3 > C_6$&nbsp; ist auch bei bestmöglicher Codierung eine beliebig kleine Blockfehlerwahrscheinlichkeit nicht erreichbar.

{{BlaueBox|TEXT=
'''(7)'''&nbsp; Nun gelte&nbsp; $p_{\rm A} = p_{\rm B}$,&nbsp; $p_{\rm b \vert A} =  0.5$,&nbsp; $ p_{\rm a \vert B} = 0$.&nbsp; Welche Eigenschaft zeigt dieser unsymmetrische Kanal?&nbsp; Welche Werte ergeben sich für&nbsp; $H(X)$,&nbsp; $H(X \vert Y)$,&nbsp;  $I(X;\ Y)$&nbsp;?  }}

:*&nbsp; Das Symbol&nbsp; $\rm A$&nbsp; wird niemals verfälscht, das Symbol&nbsp; $\rm B$&nbsp; mit (informationstheoretisch) maximaler Verfälschungswahrscheinlichkeit&nbsp;$ p_{\rm a \vert B} = 0.5$
:*&nbsp;  Die gesamte Verfälschungswahrscheinlichkeit ist&nbsp; $ {\rm Pr} (Y_n \ne X_n)= p_{\rm A} \cdot p_{\rm b \vert A} + p_{\rm B} \cdot p_{\rm a \vert B}= 0.25$&nbsp; &rArr; &nbsp; ca.&nbsp; $25\%$&nbsp; der ausgegebenen Sinkensymbole sind violett.
:*&nbsp; Verbundwahrscheinlichkeiten:&nbsp; $p_{\rm Aa}= 1/2,\ p_{\rm Ab}= 0,\ p_{\rm Ba}=  p_{\rm Bb}= 1/4$,&nbsp; &nbsp; Rückschlusswahrscheinlichkeiten:&nbsp; $p_{\rm A \vert a}= 2/3,\ p_{\rm B \vert a}= 1/3,\ p_{\rm A \vert b}= 0,\ p_{\rm B \vert b}= 1$.  
:*&nbsp; Daraus erhält man für die Äquivokation&nbsp; $H(X \vert Y)=0.689$; &nbsp; Quellenentropie&nbsp; $H(X)= 1$ &nbsp;  &rArr; &nbsp; $I(X;\ Y)=H(X)-H(X \vert Y)=0.311$.  

{{BlaueBox|TEXT=
'''(8)'''&nbsp; Wie groß ist die Kapazität&nbsp; $C_8$&nbsp; dieses Kanals mit&nbsp;  $p_{\rm b \vert A} =  0.05$,&nbsp; $ p_{\rm a \vert B} = 0.35$?&nbsp; Ist mit der Coderate&nbsp; $R=0.3$&nbsp; die Fehlerwahrscheinlichkeit&nbsp; $0$&nbsp; möglich? }}

:*&nbsp; $C_8=0.326$&nbsp; ist das Maximum von&nbsp; $I(X;\ Y)$&nbsp;für &nbsp; $p_{\rm A} =0.55$.&nbsp; Wegen&nbsp; $C_8 >R=0.3 $&nbsp; ist somit eine beliebig kleine Blockfehlerwahrscheinlichkeit erreichbar.
:*&nbsp; Der einzige Unterschied gegenüber&nbsp; $(6)$ &nbsp; &rArr; &nbsp; $C_6=0.284 < 0.3$&nbsp; ist die geringfügig kleinere Verfälschungswahrscheinlichkeit&nbsp; $ p_{\rm a \vert B} = 0.35$&nbsp; statt&nbsp; $ p_{\rm a \vert B} = 0.4$.
 
{{BlaueBox|TEXT=
'''(9)'''&nbsp; Wir betrachten den idealen Ternärkanal:&nbsp; $p_{\rm a \vert A} = p_{\rm b \vert B}=p_{\rm c \vert C}=1$.&nbsp; Wie groß ist dessen Kapazität&nbsp; $C_9$?&nbsp; Welche maximale Transinformation zeigt das Programm an? }}

:*&nbsp; Aufgrund der Symmetrie des Kanalmodells führen gleichwahrscheinliche Symbole $(p_{\rm A} = p_{\rm B}=p_{\rm C}=1/3)$&nbsp; zur Kanalkapazität:&nbsp; $C_9 = \log_2\ (3) = 1.585$.
:*&nbsp; Da im Programm alle Parameterwerte nur mit einer Auflösung von&nbsp; $0.05$&nbsp; eingebbar sind, wird für&nbsp; $I(X;\ Y)$&nbsp; dieser Maximalwert nicht erreicht.
:*&nbsp; Mögliche Approximationen:&nbsp; $p_{\rm A} = p_{\rm B}= 0.3, \ p_{\rm C}=0.4$&nbsp; &rArr; &nbsp; $I(X;\ Y)= 1.571$ &nbsp; &nbsp; | &nbsp; &nbsp; $p_{\rm A} = p_{\rm B}= 0.35, \ p_{\rm C}=0.3$&nbsp; &rArr; &nbsp; $I(X;\ Y)= 1.581$.   

{{BlaueBox|TEXT=
'''(10)'''&nbsp; Die Quellensymbole seien (&bdquo;quasi&rdquo;)&ndash;gleichwahrscheinlich.&nbsp; Interpretieren Sie die weiteren Einstellungen und die Ergebnisse.  }}

:*&nbsp; Die Verfälschungswahrscheinlichkeiten sind&nbsp; $p_{\rm b \vert A} = p_{\rm c \vert B}=p_{\rm a \vert C}=1$ &nbsp; &rArr; &nbsp; kein einziges Sinkensymbol ist gleich dem Quellensymbol.
:*&nbsp; Dieses zyklische Mapping hat keinen Einfluss auf die Kanalkapazität:&nbsp; $C_{10} = C_9 = 1.585$.&nbsp; Das Programm liefert wieder&nbsp; ${\rm Max}\big[I(X;\ Y)\big]= 1.581$.

{{BlaueBox|TEXT=
'''(11)'''&nbsp; Wir betrachten bis einschließlich&nbsp; '''(13)'''&nbsp; die gleiche Ternärquelle.&nbsp; Welche Ergebnisse erhält man für&nbsp;  $p_{\rm b \vert A} = p_{\rm c \vert B}=p_{\rm a \vert C}=0.2$&nbsp; und&nbsp; $p_{\rm c \vert A} = p_{\rm a \vert B}=p_{\rm b \vert C}=0$?  }}
:*&nbsp; Jedes Symbol kann nur in eines der zwei möglichen anderen Symbole verfälscht werden.&nbsp; Aus&nbsp; $p_{\rm b \vert A} = p_{\rm c \vert B}=p_{\rm a \vert C}=0.2$&nbsp; folgt&nbsp; $p_{\rm a \vert A} = p_{\rm b \vert B}=p_{\rm c \vert C}=0.8$.
:*&nbsp; Damit erhält man für die maximale Transinformation&nbsp; ${\rm Max}\big[I(X;\ Y)\big]= 0.861$&nbsp; und für die Kanalkapazität einen geringfügig größeren Wert:&nbsp; $C_{11} \gnapprox  0.861$.

{{BlaueBox|TEXT=
'''(12)'''&nbsp; Wie ändern sich die Ergebnisse, wenn jedes Symbol zu&nbsp; $80\%$&nbsp; richtig übertragen und zu je&nbsp; $10\%$&nbsp; in eines der beiden anderen Symbole verfälscht wird?   }}
:*&nbsp; Obwohl die Wahrscheinlichkeit für eine richtige Übertragung mit&nbsp; $80\%$&nbsp; ebenso groß ist wie in&nbsp;  '''(11)''', ist hier die Kanalkapazität um etwa den Wert&nbsp; $0.2$&nbsp; kleiner.
:*&nbsp; Weiß man beim Kanal&nbsp;  '''(11)''', dass&nbsp; $X = \rm A$&nbsp; verfälscht wurde, so weiß  man auch, dass&nbsp; $Y = \rm b$&nbsp; ist.&nbsp; Bei&nbsp;  '''(12)'''&nbsp; weiß man das nicht &nbsp; &rArr; &nbsp; der Kanal ist ungünstiger.

{{BlaueBox|TEXT=
'''(13)'''&nbsp; Die Verfälschungswahrscheinlichkeiten seien nun&nbsp; $p_{\rm b \vert A} = p_{\rm c \vert A} = p_{\rm a \vert B} = p_{\rm c \vert B}=p_{\rm a \vert C}=p_{\rm b \vert C}=0.5$.&nbsp; Interpretieren Sie diesen redundanzfreien Ternärkanal.   }}
:*&nbsp; Kein einziges Sinkensymbol ist gleich dem zugehörigen Quellensymbol; bezüglich der beiden anderen Symbole ist eine &nbsp;$50$&nbsp; zu&nbsp; $50$&ndash;Entscheidung zu treffen.
:*&nbsp; Trotzdem ist hier die Kanalkapazität mit &nbsp;$C_{13} \gnapprox  0.584$&nbsp; nur geringfügig kleiner als im vorherigen Versuch:&nbsp; $C_{12} \gnapprox  0.661$.
:*&nbsp; Die Kanalapazität&nbsp; $C=0$&nbsp; ergibt sich beim redundanzfreien Ternärkanal genau für den Fall, dass alle neun Verfälschungswahrscheinlichkeiten gleich&nbsp; $1/3$&nbsp; sind.

{{BlaueBox|TEXT=
'''(14)'''&nbsp; Welche Kapazität $C_{14}$ besitzt der Ternärkanal mit&nbsp; $p_{\rm b \vert A} = p_{\rm a \vert B}= 0$&nbsp; und&nbsp; $p_{\rm c \vert A} = p_{\rm c \vert B} = p_{\rm a \vert C}=p_{\rm b \vert C}=0.1$&nbsp; &rArr; &nbsp; $p_{\rm a \vert A} = p_{\rm b \vert B}=0.9$,&nbsp;$p_{\rm c \vert C} =0.8$?    }}
:*&nbsp; Mit der Voreinstellung&nbsp; $p_{\rm A}=p_{\rm B}=0.2$ &nbsp; &rArr; &nbsp; $p_{\rm C}=0.6$&nbsp; ergibt sich&nbsp; $I(X;\ Y)= 0.738$.&nbsp; Gesucht sind nun &bdquo;bessere&rdquo; Symbolwahrscheinlichkeiten.
:*&nbsp; Aus der Symmetrie des Kanals ist offensichtlich, dass&nbsp; $p_{\rm A}=p_{\rm B}$&nbsp; optimal ist.&nbsp; Die Kanalkapazität&nbsp; $C_{14}=0.995$&nbsp; ergibt sich für&nbsp; $p_{\rm A}=p_{\rm B}=0.4$ &nbsp; &rArr; &nbsp; $p_{\rm C}=0.2$.
:*&nbsp; Beispiel:&nbsp; Ternärübertragung, falls das mittlere Symbol&nbsp; $\rm C$&nbsp; in zwei Richtungen verfälscht werden kann, die äußeren Symbole aber jeweils nur in eine Richtung.

==Zur Handhabung des Applets==
[[Datei:Anleitung_transinformation.png|left|600px]]
<br><br><br><br>
&nbsp; &nbsp; '''(A)''' &nbsp; &nbsp; Auswahlmöglichkeit, ob &nbsp;&bdquo;analytisch&rdquo;&nbsp; oder &nbsp;&bdquo;per Simulation&rdquo;

&nbsp; &nbsp; '''(B)''' &nbsp; &nbsp; Einstellung des Parameters&nbsp; $N$&nbsp; für die Simulation

&nbsp; &nbsp; '''(C)''' &nbsp; &nbsp; Auswahlmöglichkeit, ob &nbsp;&bdquo;Binärquelle&rdquo;&nbsp; oder &nbsp;&bdquo;Ternärquelle&rdquo;

&nbsp; &nbsp; '''(D)''' &nbsp; &nbsp; Einstellung der Symbolwahrscheinlichkeiten

&nbsp; &nbsp; '''(E)''' &nbsp; &nbsp; Einstellung der Übergangswahrscheinlichkeiten

&nbsp; &nbsp; '''(F)''' &nbsp; &nbsp; Numerikausgabe verschiedener Wahrscheinlichkeiten 

&nbsp; &nbsp; '''(G)''' &nbsp; &nbsp; Zwei Schaubilder mit den informationstheoretischen Größen

&nbsp; &nbsp; '''(H)''' &nbsp; &nbsp; Ausgabe einer beispielhaften Quellensymbolfolge

&nbsp; &nbsp; '''(I)''' &nbsp; &nbsp; Zugehörige simulierte Sinkensymbolfolge

&nbsp; &nbsp; '''(J)''' &nbsp; &nbsp; Bereich für Übungen:  Aufgabenauswahl, Fragen, Musterlösungen
<br clear=all>

==Über die Autoren==
Dieses interaktive Berechnungstool  wurde am [http://www.lnt.ei.tum.de/startseite Lehrstuhl für Nachrichtentechnik] der [https://www.tum.de/ Technischen Universität München] konzipiert und realisiert. 
*Die erste Version wurde 2010 von&nbsp; [[Biografien_und_Bibliografien/An_LNTwww_beteiligte_Studierende#Martin_V.C3.B6lkl_.28Diplomarbeit_LB_2010.29|Martin Völkl]]&nbsp; im Rahmen seiner Diplomarbeit mit &bdquo;FlashMX&ndash;Actionscript&rdquo; erstellt&nbsp; (Betreuer:&nbsp; [[Biografien_und_Bibliografien/An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten#Prof._Dr.-Ing._habil._G.C3.BCnter_S.C3.B6der_.28am_LNT_seit_1974.29|Günter Söder]]). 
*2020 wurde das Programm  von&nbsp; [[Biografien_und_Bibliografien/An_LNTwww_beteiligte_Studierende#Veronika_Hofmann_.28Ingenieurspraxis_Math_2020.29|Veronika Hofmann]]&nbsp;  (Ingenieurspraxis Mathematik, Betreuer:&nbsp; [[Benedikt Leible]]&nbsp; und&nbsp; [[Biografien_und_Bibliografien/Beteiligte_der_Professur_Leitungsgebundene_%C3%9Cbertragungstechnik#Tasn.C3.A1d_Kernetzky.2C_M.Sc._.28bei_L.C3.9CT_seit_2014.29|Tasnád Kernetzky]] )  unter  &bdquo;HTML5&rdquo; neu gestaltet.

==Nochmalige Aufrufmöglichkeit des Applets in neuem Fenster==

{{LntAppletLinkDeEn|transinformation|transinformation_en}}