Aufgaben:Aufgabe 4.3Z: Umrechnungen von L–Wert und S–Wert: Unterschied zwischen den Versionen

Aus LNTwww
Wechseln zu:Navigation, Suche
 
(5 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
 
{{quiz-Header|Buchseite=Kanalcodierung/Soft–in Soft–out Decoder}}
 
{{quiz-Header|Buchseite=Kanalcodierung/Soft–in Soft–out Decoder}}
  
[[Datei:P_ID3093__KC_Z_4_3neu_v1.png|right|right|frame|Funktion $y = \tanh {(x)}$ in Tabellenform]]
+
[[Datei:P_ID3093__KC_Z_4_3neu_v1.png|right|right|frame|Funktion&nbsp; $y = \tanh {(x)}$&nbsp; <br>in Tabellenform]]
Wir gehen von einer binären Zufallsgröße $x &#8712; \{+1, \, -1\}$ mit folgenden Wahrscheinlichkeiten aus:
+
Wir gehen von einer binären Zufallsgröße&nbsp; $x &#8712; \{+1, \, -1\}$&nbsp; mit folgenden Wahrscheinlichkeiten aus:
 
:$${\rm Pr}(x =+1) \hspace{-0.15cm} \ = \ \hspace{-0.15cm} p\hspace{0.05cm},$$
 
:$${\rm Pr}(x =+1) \hspace{-0.15cm} \ = \ \hspace{-0.15cm} p\hspace{0.05cm},$$
 
:$${\rm Pr}(x =-1) \hspace{-0.15cm} \ = \ \hspace{-0.15cm} q = 1-p\hspace{0.05cm}.$$
 
:$${\rm Pr}(x =-1) \hspace{-0.15cm} \ = \ \hspace{-0.15cm} q = 1-p\hspace{0.05cm}.$$
  
Die &bdquo;Zuverlässigkeit&rdquo; des Symbols $x$ kann ausgedrückt werden
+
Die &bdquo;Zuverlässigkeit&rdquo; des Symbols&nbsp; $x$&nbsp; kann ausgedrückt werden
* durch den $L$&ndash;Wert entsprechend der Definition
+
* durch den&nbsp; $L$&ndash;Wert entsprechend der Definition
:$$L(x) = {\rm ln} \hspace{0.2cm}  \frac{p}{q} = \frac{p}{1 - p}\hspace{0.05cm}
+
:$$L(x) = {\rm ln} \hspace{0.2cm}  \frac{p}{q} = {\rm ln} \hspace{0.2cm} \frac{p}{1 - p}\hspace{0.05cm}
 
  \hspace{0.05cm},$$
 
  \hspace{0.05cm},$$
* durch den so genannten $S$&ndash;Wert
+
* durch den so genannten&nbsp; $S$&ndash;Wert
 
:$$S(x) = p- q \hspace{0.05cm}.$$
 
:$$S(x) = p- q \hspace{0.05cm}.$$
  
Den Begriff &bdquo;$S$&ndash;Wert&rdquo; haben wir kreiert, um die folgenden Fragen griffiger formulieren zu können. In der Literatur findet man hierfür manchmal die Bezeichung &bdquo;Soft Bit&rdquo;.
+
Den Begriff &bdquo;$S$&ndash;Wert&rdquo; haben wir kreiert, um die folgenden Fragen griffiger formulieren zu können. In der Literatur findet man hierfür manchmal die Bezeichung&nbsp; &bdquo;Soft Bit&rdquo;.
  
Wie in Teilaufgabe (1) gezeigt werden soll, können $L(x)$ und $S(x)$ ineinander umgerechnet werden.
+
Wie in Teilaufgabe '''(1)''' gezeigt werden soll, können&nbsp; $L(x)$&nbsp; und&nbsp; $S(x)$&nbsp; ineinander umgerechnet werden.
  
Anschließend sollen diese Funktionen zur Berechnung der folgenden Größen berechnet werden, wobei stets von der Codelänge $n = 3$ ausgegangen wird:
+
Anschließend sollen diese Funktionen zur Berechnung der folgenden Größen herangezogen werden, wobei stets von der Codelänge&nbsp; $n = 3$&nbsp; ausgegangen wird:
* der extrinsische $L$&ndash;Wert für das dritte Symbol &nbsp;&#8658;&nbsp; $L_{\rm E}(x_3)$,
+
* der extrinsische&nbsp; $L$&ndash;Wert für das dritte Symbol &nbsp; &#8658; &nbsp; $L_{\rm E}(x_3)$,
* der Aposteriori&ndash;$L$&ndash;Wert für das dritte Symbol &nbsp;&#8658;&nbsp; $L_{\rm APP}(x_3)$.
+
* der Aposteriori&ndash;$L$&ndash;Wert für das dritte Symbol &nbsp; &#8658; &nbsp; $L_{\rm APP}(x_3)$.
  
  
 
Die Berechnung soll für folgende Codes erfolgen:
 
Die Berechnung soll für folgende Codes erfolgen:
* den Wiederholungscode  [[Kanalcodierung/Beispiele_bin%C3%A4rer_Blockcodes#Wiederholungscodes| RC (3, 1, 3)]] mit der Nebenbedingung $\sign {(x_1)} = \sign {(x_2)} = \sign {(x_3)}$,
+
* den Wiederholungscode&nbsp; [[Kanalcodierung/Beispiele_bin%C3%A4rer_Blockcodes#Wiederholungscodes|$\text{RC (3, 1, 3)}$]]&nbsp; mit der Nebenbedingung&nbsp; $\sign {(x_1)} = \sign {(x_2)} = \sign {(x_3)}$,
* den Single Parity&ndash;Code &nbsp; &#8658; &nbsp; [[Kanalcodierung/Beispiele_bin%C3%A4rer_Blockcodes#Single_Parity.E2.80.93check_Codes_.281.29| SPC (3, 2, 2)]] mit der Nebenbedingung $x_1 \cdot x_2 \cdot x_3 = +1$.
+
* den Single Parity&ndash;Code &nbsp; &#8658; &nbsp; [[Kanalcodierung/Beispiele_bin%C3%A4rer_Blockcodes#Single_Parity.E2.80.93check_Codes_.281.29|$\text{SPC (3, 2, 2)}$]]&nbsp; mit der Nebenbedingung&nbsp; $x_1 \cdot x_2 \cdot x_3 = +1$.
 +
 
 +
 
 +
 
  
  
Zeile 30: Zeile 33:
  
 
''Hinweise:''
 
''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Soft%E2%80%93in_Soft%E2%80%93out_Decoder| Soft&ndash;in Soft&ndash;out Decoder]].
+
* Die Aufgabe gehört zum Kapitel&nbsp; [[Kanalcodierung/Soft%E2%80%93in_Soft%E2%80%93out_Decoder| Soft&ndash;in Soft&ndash;out Decoder]].
* Bezug genommen wird insbesondere auf die Seite [[Kanalcodierung/Soft–in_Soft–out_Decoder#Zuverl.C3.A4ssigkeitsinformation_.E2.80.93_Log_Likelihood_Ratio| Zuverlässigkeitsinformation &ndash; Log Likelihood Ratio]].
+
* Bezug genommen wird insbesondere auf die Seite&nbsp; [[Kanalcodierung/Soft–in_Soft–out_Decoder#Zuverl.C3.A4ssigkeitsinformation_.E2.80.93_Log_Likelihood_Ratio| Zuverlässigkeitsinformation &ndash; Log Likelihood Ratio]].
* Zur Lösung benötigen Sie den <i>Tangens Hyperbolikus</i> entsprechend folgender Definition (diese Funktion ist oben in Tabellenform angegeben):
+
* Zur Lösung benötigen Sie den&nbsp; <i>Tangens Hyperbolikus</i>&nbsp; entsprechend folgender Definition (diese Funktion ist oben in Tabellenform angegeben):
 
:$$y = {\rm tanh}(x) = \frac{{\rm e}^{+x/2} - {\rm e}^{-x/2}}{{\rm e}^{+x/2} + {\rm e}^{-x/2}}  
 
:$$y = {\rm tanh}(x) = \frac{{\rm e}^{+x/2} - {\rm e}^{-x/2}}{{\rm e}^{+x/2} + {\rm e}^{-x/2}}  
 
= \frac{1 - {\rm e}^{-x}}{1 + {\rm e}^{-x}}  
 
= \frac{1 - {\rm e}^{-x}}{1 + {\rm e}^{-x}}  
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$
* Sollte die Eingabe des Zahlenwertes &bdquo;0&rdquo; erforderlich sein, so geben Sie bitte &bdquo;0.&rdquo; ein.
 
  
  
Zeile 42: Zeile 44:
 
===Fragebogen===
 
===Fragebogen===
 
<quiz display=simple>
 
<quiz display=simple>
{Welcher Zusammenhang besteht zwischen $S$&ndash;Wert und $L$&ndash;Wert?
+
{Welcher Zusammenhang besteht zwischen&nbsp; $S$&ndash;Wert und&nbsp; $L$&ndash;Wert?
 
|type="[]"}
 
|type="[]"}
 
- $S(x) = \tanh {(L(x))}$,
 
- $S(x) = \tanh {(L(x))}$,
Zeile 48: Zeile 50:
 
+ $L(x) = 2 \cdot \tanh^{-1}{(S(x))}$.
 
+ $L(x) = 2 \cdot \tanh^{-1}{(S(x))}$.
  
{Betrachtet wird der (3, 1) <i>Repetition Code</i>. Für die Apriori&ndash;$L$&ndash;Werte gelte $\underline{L}_{\rm A} = (+2, -1, +3)$. Wie groß ist der extrinsische $L$&ndash;Wert für das Symbol $x_3$?
+
{Betrachtet wird der&nbsp; $\text{RC (3, 1, 3)}$. Für die Apriori&ndash;$L$&ndash;Werte gelte&nbsp; $\underline{L}_{\rm A} = (+2, -1, +3)$. Wie groß ist der extrinsische&nbsp; $L$&ndash;Wert für das Symbol&nbsp; $x_3$?
 
|type="{}"}
 
|type="{}"}
 
$L_{\rm E}(x_3) \ = \ ${ 1 3% }
 
$L_{\rm E}(x_3) \ = \ ${ 1 3% }
  
{Wie groß ist in diesem Fall der Aposteriori&ndash;$L$&ndash;Wert für das Symbol $x_3$?
+
{Wie groß ist in diesem Fall der Aposteriori&ndash;$L$&ndash;Wert für das Symbol&nbsp; $x_3$?
 
|type="{}"}
 
|type="{}"}
 
$L_{\rm APP}(x_3) \ = \ ${ 4 3% }
 
$L_{\rm APP}(x_3) \ = \ ${ 4 3% }
  
{Wie groß ist der extrinsische $L$&ndash;Wert beim (3, 2) <i>Single Parity&ndash;check Code</i>? Es gelte weiterhin $\underline{L}_{\rm A} = (+2, -1, +3)$.
+
{Wie groß ist der extrinsische $L$&ndash;Wert beim&nbsp; $\text{SPC (3, 2, 2)}$? Es gelte weiterhin&nbsp; $\underline{L}_{\rm A} = (+2, -1, +3)$.
 
|type="{}"}
 
|type="{}"}
 
$L_{\rm E}(x_3) \ = \ ${ -0.757256--0.713144 }
 
$L_{\rm E}(x_3) \ = \ ${ -0.757256--0.713144 }
  
{Die Apriori&ndash;Wahrscheinlichkeiten seien nun $0.3, \ 0.8$ und $0.9$. Wie groß ist der extrinsische $L$&ndash;Wert für den <i>Repetition Code</i>?
+
{Die Apriori&ndash;Wahrscheinlichkeiten seien nun&nbsp; $0.3, \ 0.8$&nbsp; und&nbsp; $0.9$. Wie groß ist der extrinsische&nbsp; $L$&ndash;Wert für den <i>Repetition Code</i>?
 
|type="{}"}
 
|type="{}"}
 
$L_{\rm E}(x_3) \ = \ ${ 0.535 3% }
 
$L_{\rm E}(x_3) \ = \ ${ 0.535 3% }
  
{Welcher extrinsische $L$&ndash;Wert ergibt sich bei gleichen Voraussetzungen wie in (5) für den <i>Single Parity&ndash;check Code</i>?
+
{Welcher extrinsische&nbsp; $L$&ndash;Wert ergibt sich bei gleichen Voraussetzungen wie in &nbsp;'''(5)'''&nbsp; für den <i>Single Parity&ndash;check Code</i>?
 
|type="{}"}
 
|type="{}"}
 
$L_{\rm E}(x_3) \ = \ ${ 0.49 3% }
 
$L_{\rm E}(x_3) \ = \ ${ 0.49 3% }
Zeile 77: Zeile 79:
  
 
gelten folgende Definitionen:
 
gelten folgende Definitionen:
:$$L(x) = {\rm ln} \hspace{0.2cm}  \frac{p}{q} = \frac{p}{1 - p}\hspace{0.05cm}
+
:$$L(x) = {\rm ln} \hspace{0.2cm}  \frac{p}{q} = {\rm ln} \hspace{0.2cm} \frac{p}{1 - p}\hspace{0.05cm}
 
  \hspace{0.3cm} \Rightarrow \hspace{0.3cm}  
 
  \hspace{0.3cm} \Rightarrow \hspace{0.3cm}  
 
-\infty \le L(x) \le +\infty
 
-\infty \le L(x) \le +\infty
Zeile 86: Zeile 88:
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$
  
Ausgehend vom $S$&ndash;Wert erhält man wegen $p + q = 1$:
+
*Ausgehend vom $S$&ndash;Wert erhält man wegen $p + q = 1$:
 
:$$S(x) = p- q = \frac{p- q}{p+  q} =  \frac{1- q/p}{1+ q/p}
 
:$$S(x) = p- q = \frac{p- q}{p+  q} =  \frac{1- q/p}{1+ q/p}
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$
  
Gleichzeitig gilt $q/p = \exp {(-L(x))}$. Daraus folgt:
+
*Gleichzeitig gilt $q/p = {\rm e}^{-L(x)}$. Daraus folgt:
 
:$$S(x) = \frac{1- {\rm e}^{-L(x)}}{1+ {\rm e}^{-L(x)}}
 
:$$S(x) = \frac{1- {\rm e}^{-L(x)}}{1+ {\rm e}^{-L(x)}}
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$
  
Multipliziert man Zähler und Nenner mit $\exp {[-L(x)/2]}$, so erhält man schließlich:
+
*Multipliziert man Zähler und Nenner mit ${\rm e}^{-L(x)/2}$, so erhält man schließlich:
 +
[[Datei:P_ID3097__KC_Z_4_3c_v2.png|right|frame|Zusammenhang zwischen Wahrscheinlichkeit, $L$–Wert, $S$–Wert]]
 
:$$S(x) = \frac{{\rm e}^{+L(x)/2}- {\rm e}^{-L(x)/2}}{{\rm e}^{+L(x)/2}+ {\rm e}^{-L(x)/2}}
 
:$$S(x) = \frac{{\rm e}^{+L(x)/2}- {\rm e}^{-L(x)/2}}{{\rm e}^{+L(x)/2}+ {\rm e}^{-L(x)/2}}
= {\rm tanh}[L(x)/2]
+
= {\rm tanh}\big [L(x)/2. \big]
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$
  
Die Umkehrfunktion ergibt
+
*Die Umkehrfunktion ergibt
 
:$$L(x) = 2 \cdot {\rm tanh}^{-1}[S(x)]
 
:$$L(x) = 2 \cdot {\rm tanh}^{-1}[S(x)]
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$
 +
<br clear=all>
 +
Richtig sind somit die <u>Lösungsvorschläge 2 und 3</u>. Die Tabelle zeigt den $L$&ndash;Wert  $S$&ndash;Wert für einige Wahrscheinlichkeiten $p = {\rm Pr}(x=+1)$.
  
Richtig sind somit die <u>Lösungsvorschläge 2 und 3</u>.
 
[[Datei:P_ID3097__KC_Z_4_3c_v2.png|center|frame|Zusammenhang zwischen Wahrscheinlichkeit, $L$–Wert, $S$–Wert]]
 
 
Die Tabelle zeigt den $L$&ndash;Wert sowie den $S$&ndash;Wert für einige Wahrscheinlichkeiten $p = {\rm Pr}(x=+1)$.
 
  
 
+
'''(2)'''&nbsp; Der extrinsische $L$&ndash;Wert für das Symbol $x_3$ berücksichtigt nur die Apriori&ndash;$L$&ndash;Werte $L_{\rm A}(x_1)$ und $L_{\rm A}(x_2)$, nicht jedoch $L_{\rm A}(x_3)$.  
'''(2)'''&nbsp; Der extrinsische $L$&ndash;Wert für das Symbol $x_3$ berücksichtigt nur die Apriori&ndash;$L$&ndash;Werte $L_{\rm A}(x_1)$ und $L_{\rm A}(x_2)$, nicht jedoch $L_{\rm A}(x_3)$. Beim (3, 1) <i>Repetition Code</i> ergibt sich hierfür:
+
*Beim (3, 1) <i>Repetition Code</i> ergibt sich hierfür:
 
:$$L_{\rm E}(x_3) = L_{\rm A}(x_1) + L_{\rm A}(x_2) = 2 + (-1)
 
:$$L_{\rm E}(x_3) = L_{\rm A}(x_1) + L_{\rm A}(x_2) = 2 + (-1)
 
\hspace{0.15cm} \underline{= +1}\hspace{0.05cm}.$$
 
\hspace{0.15cm} \underline{= +1}\hspace{0.05cm}.$$
Zeile 119: Zeile 120:
  
  
'''(4)'''&nbsp; Hier lautet die entsprechende Berechnungsvorschrift:
+
'''(4)'''&nbsp; Beim <i>Single Parity&ndash;check Code</i>  lautet die entsprechende Berechnungsvorschrift:
 
:$$L_{\rm E}(x_3) \hspace{-0.15cm} \ = \ \hspace{-0.15cm} 2 \cdot {\rm tanh}^{-1} \hspace{0.05cm}
 
:$$L_{\rm E}(x_3) \hspace{-0.15cm} \ = \ \hspace{-0.15cm} 2 \cdot {\rm tanh}^{-1} \hspace{0.05cm}
  \left [  {\rm tanh}(x_1/2) \cdot {\rm tanh}(x_2/2)  \right ] = $$
+
  \left [  {\rm tanh}(x_1/2) \cdot {\rm tanh}(x_2/2)  \right ] = 2 \cdot {\rm tanh}^{-1} \hspace{0.05cm}
:$$\hspace{1.45cm} = \ \hspace{-0.15cm} 2 \cdot {\rm tanh}^{-1} \hspace{0.05cm}
 
 
  \left [  {\rm tanh}(+1) \cdot {\rm tanh}(-0.5)  \right ] =
 
  \left [  {\rm tanh}(+1) \cdot {\rm tanh}(-0.5)  \right ] =
 
2 \cdot {\rm tanh}^{-1} \hspace{0.05cm}
 
2 \cdot {\rm tanh}^{-1} \hspace{0.05cm}
  \left [  0.7616 \cdot (-0.4621)  \right ] =$$
+
  \left [  0.7616 \cdot (-0.4621)  \right ] $$
:$$\hspace{1.45cm} = \ \hspace{-0.15cm}2 \cdot {\rm tanh}^{-1} \hspace{0.05cm}
+
:$$\Rightarrow \hspace{0.3cm}L_{\rm E}(x_3) \hspace{-0.15cm} \ = \ \hspace{-0.15cm} 2 \cdot {\rm tanh}^{-1} \hspace{0.05cm}
 
  \left [  -0.3519  \right ] =-2 \cdot 0.3676\hspace{0.15cm} \underline{= -0.7352}\hspace{0.05cm}.$$
 
  \left [  -0.3519  \right ] =-2 \cdot 0.3676\hspace{0.15cm} \underline{= -0.7352}\hspace{0.05cm}.$$
  
Das Endergebnis wurde der Tabelle auf der Angabenseite entnommen.
+
Das Ergebnis ${\rm tanh}^{-1}  (-0.3519) =  0.3676$ wurde der Tabelle auf der Angabenseite entnommen.
 +
 
  
  
'''(5)'''&nbsp; Beim Wiederholungscode der Länge $n = 3$ gilt wie in der Teilaufgabe (3): <span style="color: rgb(204, 0, 0);">Vorzeichen?</span>
+
'''(5)'''&nbsp; Beim Wiederholungscode der Länge $n = 3$ gilt wie in der Teilaufgabe (3):  
 
:$$L_{\rm E}(x_3) = L_{\rm A}(x_1) + L_{\rm A}(x_2) = -0.847 +1.382
 
:$$L_{\rm E}(x_3) = L_{\rm A}(x_1) + L_{\rm A}(x_2) = -0.847 +1.382
 
\hspace{0.15cm} \underline{= +0.535}\hspace{0.05cm}.$$
 
\hspace{0.15cm} \underline{= +0.535}\hspace{0.05cm}.$$
  
Benutzt wurden hierbei die $L$&ndash;Werte entsprechend der Tabelle zur Teilaufgabe (1).
+
Benutzt wurden hierbei die $L$&ndash;Werte entsprechend der Tabelle zur Teilaufgabe (1), zum Beispiel ${\rm Pr}(x_1 = +1) = 0.3$ &nbsp; &rArr; &nbsp; $L_{\rm A}(x_1) = -0.847$.
  
  
 
'''(6)'''&nbsp; Nachdem hier anstelle der Apriori&ndash;$L$&ndash;Werte die Apriori&ndash;Wahrscheinlichkeiten gegeben sind, kommt man gegenüber der Teilaufgabe (4) auf dem Umweg über den extrinsischen $S$&ndash;Wert schneller zum Erfolg.
 
'''(6)'''&nbsp; Nachdem hier anstelle der Apriori&ndash;$L$&ndash;Werte die Apriori&ndash;Wahrscheinlichkeiten gegeben sind, kommt man gegenüber der Teilaufgabe (4) auf dem Umweg über den extrinsischen $S$&ndash;Wert schneller zum Erfolg.
  
Die extrinsische Wahrscheinlichkeit für das dritte Symbol bezeichnen wir hier mit $P_{\rm E}(x_3)$. Für diese gilt:
+
*Die extrinsische Wahrscheinlichkeit für das dritte Symbol bezeichnen wir hier mit $P_{\rm E}(x_3)$. Für diese gilt:
 
:$$P_{\rm E}(x_3 = +1) \hspace{-0.15cm} \ = \ \hspace{-0.15cm} P_{\rm A}(x_1 = +1) \cdot P_{\rm A}(x_2 = -1) +  
 
:$$P_{\rm E}(x_3 = +1) \hspace{-0.15cm} \ = \ \hspace{-0.15cm} P_{\rm A}(x_1 = +1) \cdot P_{\rm A}(x_2 = -1) +  
P_{\rm A}(x_1 = -1) \cdot P_{\rm A}(x_2 = +1) = $$
+
P_{\rm A}(x_1 = -1) \cdot P_{\rm A}(x_2 = +1) = 0.3 \cdot (1-0.8) + (1-0.3) \cdot 0.8 = 0.62\hspace{0.05cm}.$$
:$$\hspace{2.35cm} \ = \ \hspace{-0.15cm} 0.3 \cdot (1-0.8) + (1-0.3) \cdot 0.8 = 0.62\hspace{0.05cm}.$$
 
  
Daraus ergeben sich für die weiteren Größen:
+
*Daraus ergeben sich für die weiteren Größen:
 
:$$S_{\rm E}(x_3) = P_{\rm E}(x_3 = +1) - P_{\rm E}(x_3 = - 1) =  0.62 -0.38 = 0.24\hspace{0.05cm},$$
 
:$$S_{\rm E}(x_3) = P_{\rm E}(x_3 = +1) - P_{\rm E}(x_3 = - 1) =  0.62 -0.38 = 0.24\hspace{0.05cm},$$
 
:$$L_{\rm E}(x_3) = 2 \cdot {\rm tanh}^{-1} \hspace{0.05cm}
 
:$$L_{\rm E}(x_3) = 2 \cdot {\rm tanh}^{-1} \hspace{0.05cm}

Aktuelle Version vom 29. November 2022, 18:43 Uhr

Funktion  $y = \tanh {(x)}$ 
in Tabellenform

Wir gehen von einer binären Zufallsgröße  $x ∈ \{+1, \, -1\}$  mit folgenden Wahrscheinlichkeiten aus:

$${\rm Pr}(x =+1) \hspace{-0.15cm} \ = \ \hspace{-0.15cm} p\hspace{0.05cm},$$
$${\rm Pr}(x =-1) \hspace{-0.15cm} \ = \ \hspace{-0.15cm} q = 1-p\hspace{0.05cm}.$$

Die „Zuverlässigkeit” des Symbols  $x$  kann ausgedrückt werden

  • durch den  $L$–Wert entsprechend der Definition
$$L(x) = {\rm ln} \hspace{0.2cm} \frac{p}{q} = {\rm ln} \hspace{0.2cm} \frac{p}{1 - p}\hspace{0.05cm} \hspace{0.05cm},$$
  • durch den so genannten  $S$–Wert
$$S(x) = p- q \hspace{0.05cm}.$$

Den Begriff „$S$–Wert” haben wir kreiert, um die folgenden Fragen griffiger formulieren zu können. In der Literatur findet man hierfür manchmal die Bezeichung  „Soft Bit”.

Wie in Teilaufgabe (1) gezeigt werden soll, können  $L(x)$  und  $S(x)$  ineinander umgerechnet werden.

Anschließend sollen diese Funktionen zur Berechnung der folgenden Größen herangezogen werden, wobei stets von der Codelänge  $n = 3$  ausgegangen wird:

  • der extrinsische  $L$–Wert für das dritte Symbol   ⇒   $L_{\rm E}(x_3)$,
  • der Aposteriori–$L$–Wert für das dritte Symbol   ⇒   $L_{\rm APP}(x_3)$.


Die Berechnung soll für folgende Codes erfolgen:

  • den Wiederholungscode  $\text{RC (3, 1, 3)}$  mit der Nebenbedingung  $\sign {(x_1)} = \sign {(x_2)} = \sign {(x_3)}$,
  • den Single Parity–Code   ⇒   $\text{SPC (3, 2, 2)}$  mit der Nebenbedingung  $x_1 \cdot x_2 \cdot x_3 = +1$.




Hinweise:

$$y = {\rm tanh}(x) = \frac{{\rm e}^{+x/2} - {\rm e}^{-x/2}}{{\rm e}^{+x/2} + {\rm e}^{-x/2}} = \frac{1 - {\rm e}^{-x}}{1 + {\rm e}^{-x}} \hspace{0.05cm}.$$


Fragebogen

1

Welcher Zusammenhang besteht zwischen  $S$–Wert und  $L$–Wert?

$S(x) = \tanh {(L(x))}$,
$S(x) = \tanh {(L(x)/2)}$,
$L(x) = 2 \cdot \tanh^{-1}{(S(x))}$.

2

Betrachtet wird der  $\text{RC (3, 1, 3)}$. Für die Apriori–$L$–Werte gelte  $\underline{L}_{\rm A} = (+2, -1, +3)$. Wie groß ist der extrinsische  $L$–Wert für das Symbol  $x_3$?

$L_{\rm E}(x_3) \ = \ $

3

Wie groß ist in diesem Fall der Aposteriori–$L$–Wert für das Symbol  $x_3$?

$L_{\rm APP}(x_3) \ = \ $

4

Wie groß ist der extrinsische $L$–Wert beim  $\text{SPC (3, 2, 2)}$? Es gelte weiterhin  $\underline{L}_{\rm A} = (+2, -1, +3)$.

$L_{\rm E}(x_3) \ = \ $

5

Die Apriori–Wahrscheinlichkeiten seien nun  $0.3, \ 0.8$  und  $0.9$. Wie groß ist der extrinsische  $L$–Wert für den Repetition Code?

$L_{\rm E}(x_3) \ = \ $

6

Welcher extrinsische  $L$–Wert ergibt sich bei gleichen Voraussetzungen wie in  (5)  für den Single Parity–check Code?

$L_{\rm E}(x_3) \ = \ $


Musterlösung

(1)  Für die binäre Zufallsgröße $x ∈ \{+1, -1\}$ mit den Wahrscheinlichkeiten

  • $p = {\rm Pr}(x = +1)$, und
  • $p = {\rm Pr}(x=-1) = 1-p$


gelten folgende Definitionen:

$$L(x) = {\rm ln} \hspace{0.2cm} \frac{p}{q} = {\rm ln} \hspace{0.2cm} \frac{p}{1 - p}\hspace{0.05cm} \hspace{0.3cm} \Rightarrow \hspace{0.3cm} -\infty \le L(x) \le +\infty \hspace{0.05cm},$$
$$S(x) = p- q = 2 \cdot p - 1\hspace{0.05cm} \hspace{0.3cm} \Rightarrow \hspace{0.3cm} -1 \le S(x) \le +1 \hspace{0.05cm}.$$
  • Ausgehend vom $S$–Wert erhält man wegen $p + q = 1$:
$$S(x) = p- q = \frac{p- q}{p+ q} = \frac{1- q/p}{1+ q/p} \hspace{0.05cm}.$$
  • Gleichzeitig gilt $q/p = {\rm e}^{-L(x)}$. Daraus folgt:
$$S(x) = \frac{1- {\rm e}^{-L(x)}}{1+ {\rm e}^{-L(x)}} \hspace{0.05cm}.$$
  • Multipliziert man Zähler und Nenner mit ${\rm e}^{-L(x)/2}$, so erhält man schließlich:
Zusammenhang zwischen Wahrscheinlichkeit, $L$–Wert, $S$–Wert
$$S(x) = \frac{{\rm e}^{+L(x)/2}- {\rm e}^{-L(x)/2}}{{\rm e}^{+L(x)/2}+ {\rm e}^{-L(x)/2}} = {\rm tanh}\big [L(x)/2. \big] \hspace{0.05cm}.$$
  • Die Umkehrfunktion ergibt
$$L(x) = 2 \cdot {\rm tanh}^{-1}[S(x)] \hspace{0.05cm}.$$


Richtig sind somit die Lösungsvorschläge 2 und 3. Die Tabelle zeigt den $L$–Wert $S$–Wert für einige Wahrscheinlichkeiten $p = {\rm Pr}(x=+1)$.


(2)  Der extrinsische $L$–Wert für das Symbol $x_3$ berücksichtigt nur die Apriori–$L$–Werte $L_{\rm A}(x_1)$ und $L_{\rm A}(x_2)$, nicht jedoch $L_{\rm A}(x_3)$.

  • Beim (3, 1) Repetition Code ergibt sich hierfür:
$$L_{\rm E}(x_3) = L_{\rm A}(x_1) + L_{\rm A}(x_2) = 2 + (-1) \hspace{0.15cm} \underline{= +1}\hspace{0.05cm}.$$


(3)  Für den Aposteriori–$L$–Wert erhält man somit:

$$L_{\rm APP}(x_3) = L_{\rm A}(x_3) + L_{\rm E}(x_3) = 3 + 1 \hspace{0.15cm} \underline{= +4}\hspace{0.05cm}.$$


(4)  Beim Single Parity–check Code lautet die entsprechende Berechnungsvorschrift:

$$L_{\rm E}(x_3) \hspace{-0.15cm} \ = \ \hspace{-0.15cm} 2 \cdot {\rm tanh}^{-1} \hspace{0.05cm} \left [ {\rm tanh}(x_1/2) \cdot {\rm tanh}(x_2/2) \right ] = 2 \cdot {\rm tanh}^{-1} \hspace{0.05cm} \left [ {\rm tanh}(+1) \cdot {\rm tanh}(-0.5) \right ] = 2 \cdot {\rm tanh}^{-1} \hspace{0.05cm} \left [ 0.7616 \cdot (-0.4621) \right ] $$
$$\Rightarrow \hspace{0.3cm}L_{\rm E}(x_3) \hspace{-0.15cm} \ = \ \hspace{-0.15cm} 2 \cdot {\rm tanh}^{-1} \hspace{0.05cm} \left [ -0.3519 \right ] =-2 \cdot 0.3676\hspace{0.15cm} \underline{= -0.7352}\hspace{0.05cm}.$$

Das Ergebnis ${\rm tanh}^{-1} (-0.3519) = 0.3676$ wurde der Tabelle auf der Angabenseite entnommen.


(5)  Beim Wiederholungscode der Länge $n = 3$ gilt wie in der Teilaufgabe (3):

$$L_{\rm E}(x_3) = L_{\rm A}(x_1) + L_{\rm A}(x_2) = -0.847 +1.382 \hspace{0.15cm} \underline{= +0.535}\hspace{0.05cm}.$$

Benutzt wurden hierbei die $L$–Werte entsprechend der Tabelle zur Teilaufgabe (1), zum Beispiel ${\rm Pr}(x_1 = +1) = 0.3$   ⇒   $L_{\rm A}(x_1) = -0.847$.


(6)  Nachdem hier anstelle der Apriori–$L$–Werte die Apriori–Wahrscheinlichkeiten gegeben sind, kommt man gegenüber der Teilaufgabe (4) auf dem Umweg über den extrinsischen $S$–Wert schneller zum Erfolg.

  • Die extrinsische Wahrscheinlichkeit für das dritte Symbol bezeichnen wir hier mit $P_{\rm E}(x_3)$. Für diese gilt:
$$P_{\rm E}(x_3 = +1) \hspace{-0.15cm} \ = \ \hspace{-0.15cm} P_{\rm A}(x_1 = +1) \cdot P_{\rm A}(x_2 = -1) + P_{\rm A}(x_1 = -1) \cdot P_{\rm A}(x_2 = +1) = 0.3 \cdot (1-0.8) + (1-0.3) \cdot 0.8 = 0.62\hspace{0.05cm}.$$
  • Daraus ergeben sich für die weiteren Größen:
$$S_{\rm E}(x_3) = P_{\rm E}(x_3 = +1) - P_{\rm E}(x_3 = - 1) = 0.62 -0.38 = 0.24\hspace{0.05cm},$$
$$L_{\rm E}(x_3) = 2 \cdot {\rm tanh}^{-1} \hspace{0.05cm} \left [ S_{\rm E}(x_3) \right ] = 2 \cdot {\rm tanh}^{-1} \hspace{0.05cm} (0.24) = 2 \cdot 0.245 \hspace{0.15cm} \underline{= +0.49}\hspace{0.05cm}$$