Aufgaben:Aufgabe 3.12: Streng symmetrische Kanäle: Unterschied zwischen den Versionen

Aus LNTwww
Wechseln zu:Navigation, Suche
 
(5 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 4: Zeile 4:
  
 
[[Datei:P_ID2801__Inf_A_3_11_neu.png|right|frame|Vorgegebenes Teilkanalmodell (oben) <br>und BSEC–Modell (unten)]]
 
[[Datei:P_ID2801__Inf_A_3_11_neu.png|right|frame|Vorgegebenes Teilkanalmodell (oben) <br>und BSEC–Modell (unten)]]
Die obere Grafik zeigt zwei streng symmetrische Teilkanäle $\rm A$ und $\rm B$. Ein ''streng  symmetrischer Kanal'' (englisch: ''Strongly Symmetric Channel'') ist dabei
+
Die obere Grafik zeigt zwei streng symmetrische Teilkanäle&nbsp; $\rm A$&nbsp; und&nbsp; $\rm B$.&nbsp;
* gleichmäßig  '''dispersiv'''  (''uniformly dispersive'')  &nbsp; &rArr; &nbsp; jedes Eingangssymbol $u$ hat die gleiche Menge an Übergangswahrscheinlichkeiten:
 
:$$\left \{ P_{\hspace{0.05cm}Y\hspace{-0.01cm}|\hspace{0.02cm}U}(y\hspace{-0.01cm} |\hspace{-0.01cm} u) \hspace{-0.05cm}: \hspace{0.25cm}u \in U \right \} \hspace{0.05cm},$$
 
* zudem gleichmäßig '''fokussierend''' (''uniformly focusing'')'' &nbsp; &rArr; &nbsp; jedes Ausgangssymbol $y$ hat die gleiche Übergangswahrscheinlichkeitsmenge:
 
:$$ \left \{ P_{\hspace{0.05cm}Y\hspace{-0.01cm}|\hspace{0.02cm}U}(y\hspace{-0.01cm} |\hspace{-0.01cm} u) \hspace{-0.05cm}: \hspace{0.25cm}y \in Y \right \} \hspace{0.05cm}.$$
 
Die Zufallsgröße $U = \{0, 1\}$ tritt dabei direkt an den Eingängen der Teilkanäle $\rm A$ und $\rm B$ auf.
 
  
Die Kanalkapazität eines streng symmetrischen Kanals lässt sich sehr viel einfacher berechnen als im unsymmetrischen Fall. Hierauf wird jedoch in dieser Aufgabe nicht näher eingegangen.
+
Ein&nbsp; '''streng  symmetrischer Kanal'''&nbsp; (englisch:&nbsp; "Strongly Symmetric Channel")&nbsp; ist dabei
 +
* gleichmäßig&nbsp;  '''dispersiv'''&nbsp;  ("uniformly dispersive")  &nbsp; &rArr; &nbsp; jedes Eingangssymbol&nbsp; $u$&nbsp; hat die gleiche Menge an Übergangswahrscheinlichkeiten:
 +
:$$\left \{ P_{\hspace{0.05cm}Y\hspace{-0.01cm}|\hspace{0.02cm}U}(y\hspace{0.03cm} |\hspace{0.03cm} u) \hspace{-0.05cm}: \hspace{0.25cm}u \in U \right \} \hspace{0.05cm},$$
 +
* zudem gleichmäßig&nbsp; '''fokussierend'''&nbsp; ("uniformly focusing") &nbsp; &rArr; &nbsp; jedes Ausgangssymbol&nbsp; $y$&nbsp; hat die gleiche Übergangswahrscheinlichkeitsmenge:
 +
:$$ \left \{ P_{\hspace{0.05cm}Y\hspace{-0.01cm}|\hspace{0.02cm}U}(y\hspace{0.03cm} |\hspace{0.03cm} u) \hspace{-0.05cm}: \hspace{0.25cm}y \in Y \right \} \hspace{0.05cm}.$$
 +
Die Zufallsgröße&nbsp; $U = \{0,\ 1\}$&nbsp; tritt dabei direkt an den Eingängen der Teilkanäle&nbsp; $\rm A$&nbsp; und&nbsp; $\rm B$&nbsp; auf.
 +
 
 +
Die Kanalkapazität eines streng symmetrischen Kanals lässt sich sehr viel einfacher berechnen als im unsymmetrischen Fall.&nbsp; Hierauf wird jedoch in dieser Aufgabe nicht näher eingegangen.
  
 
Für die Kapazität des Gesamtkanals gilt:
 
Für die Kapazität des Gesamtkanals gilt:
 
:$$ C = p_{\rm A} \cdot C_{\rm A} + p_{\rm B} \cdot C_{\rm B}\hspace{0.05cm}$$
 
:$$ C = p_{\rm A} \cdot C_{\rm A} + p_{\rm B} \cdot C_{\rm B}\hspace{0.05cm}$$
Hierbei bezeichnet $p_{\rm A}$ die Wahrscheinlichkeit, dass der Teilkanal $\rm A$ ausgewählt wird und $C_{\rm A}$ gibt dessen Kapazität an. Entsprechendes gilt für den Teilkanal $\rm B$.
+
Hierbei bezeichnet&nbsp; $p_{\rm A}$&nbsp; die Wahrscheinlichkeit, dass der Teilkanal&nbsp; $\rm A$&nbsp; ausgewählt wird und&nbsp; $C_{\rm A}$&nbsp; gibt dessen Kapazität an.&nbsp; Entsprechendes gilt für den Teilkanal&nbsp; $\rm B$.
 +
 
 +
Anschließend soll auch die Kanalkapazität des&nbsp; [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Error_.26_Erasure_Channel_.E2.80.93_BSEC|Binary Symmetric Error & Erasure Channel]]&nbsp; $\rm (BSEC)$&nbsp; nach der unteren Skizze (grau hinterlegt) ermittelt werden, indem der Zusammenhang hergeleitet wird zwischen
 +
*den Parametern&nbsp; $p_{\rm A}$,&nbsp; $p_{\rm B}$&nbsp; und der Verfälschungswahrscheinlichkeit&nbsp; $q$&nbsp; des oben dargestelltern Teilkanalmodells, und
 +
* den Parametern&nbsp; $λ$&nbsp; und&nbsp; $\varepsilon$&nbsp; des BSEC–Modells.
 +
 
 +
 
  
Anschließend soll auch die Kanalkapazität des [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Error_.26_Erasure_Channel_.E2.80.93_BSEC|Binary Symmetric Error & Erasure Channel]] (BSEC) nach der unteren Skizze (grau hinterlegt) ermittelt werden, indem der Zusammenhang hergeleitet wird zwischen
 
*den Parametern $p_{\rm A}$, $p_{\rm B}$ und der Verfälschungswahrscheinlichkeit $q$ des oben dargestelltern Teilkanalmodells, und
 
* den Parametern $λ$ und $\varepsilon$ des BSEC–Modells.
 
  
  
Zeile 29: Zeile 34:
 
*Bezug genommen wird insbesondere auf die Seite&nbsp;    [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Eigenschaften_symmetrischer_Kan.C3.A4le|Eigenschaften symmetrischer Kanäle]].
 
*Bezug genommen wird insbesondere auf die Seite&nbsp;    [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Eigenschaften_symmetrischer_Kan.C3.A4le|Eigenschaften symmetrischer Kanäle]].
 
   
 
   
*Entsprechend der [[Aufgaben:Aufgabe_3.10Z:_BSC–Kanalkapazität|Aufgabe 3.10Z]] gilt für die Kanalkapazität des BSC–Modells mit der Verfälschungswahrscheinlichkeit $\varepsilon$:
+
*Entsprechend der&nbsp; [[Aufgaben:Aufgabe_3.10Z:_BSC–Kanalkapazität|Aufgabe 3.10Z]]&nbsp; gilt für die Kanalkapazität des BSC–Modells mit der Verfälschungswahrscheinlichkeit&nbsp; $\varepsilon$:
 
:$$ C_{\rm BSC} = 1 - H_{\rm bin}(\varepsilon)\hspace{0.05cm}.$$
 
:$$ C_{\rm BSC} = 1 - H_{\rm bin}(\varepsilon)\hspace{0.05cm}.$$
  
Zeile 37: Zeile 42:
  
 
<quiz display=simple>
 
<quiz display=simple>
{Welche Kapazität $C_{\rm A}$ besitzt der Teilkanal $\rm A$?
+
{Welche Kapazität&nbsp; $C_{\rm A}$&nbsp; besitzt der Teilkanal&nbsp; $\rm A$?
|type="[]"}
+
|type="()"}
+ $C_{\rm A} = 1 H_{\rm bin}(q),$
+
+ $C_{\rm A} = 1 - H_{\rm bin}(q),$
-  $C_{\rm A} = p_{\rm A} · \big[1 H_{\rm bin}(q)\big],$
+
-  $C_{\rm A} = p_{\rm A} · \big[1 - H_{\rm bin}(q)\big],$
 
- $C_{\rm A} = 0.$
 
- $C_{\rm A} = 0.$
  
{ Welche Kapazität $C_{\rm B}$ besitzt der Teilkanal $\rm B$?
+
{ Welche Kapazität&nbsp; $C_{\rm B}$&nbsp; besitzt der Teilkanal&nbsp; $\rm B$?
|type="[]"}
+
|type="()"}
- $C_{\rm B} = 1 H_{\rm bin}(q),$
+
- $C_{\rm B} = 1 - H_{\rm bin}(q),$
- $C_{\rm B} = p_{\rm B} · \big[1 H_{\rm bin}(q)\big],$
+
- $C_{\rm B} = p_{\rm B} · \big[1 - H_{\rm bin}(q)\big],$
 
+ $C_{\rm B} = 0.$
 
+ $C_{\rm B} = 0.$
  
{Welche Kapazität $C$ besitzt der Gesamtkanal?
+
{Welche Kapazität&nbsp; $C$&nbsp; besitzt der Gesamtkanal?
 
|type="[]"}
 
|type="[]"}
- $C = 1 H_{\rm bin}(q),$
+
- $C = 1 - H_{\rm bin}(q),$
+ $C = p_{\rm A} · \big[1 H_{\rm bin}(q)\big],$
+
+ $C = p_{\rm A} · \big[1 - H_{\rm bin}(q)\big],$
 
- $C = 0.$
 
- $C = 0.$
  
Zeile 58: Zeile 63:
 
|type="[]"}
 
|type="[]"}
 
- $p_{\rm A} = λ,$
 
- $p_{\rm A} = λ,$
+ $p_{\rm A} = 1 λ,$
+
+ $p_{\rm A} = 1 - λ,$
 
- $p_{\rm A} = ε$,
 
- $p_{\rm A} = ε$,
- $p_{\rm A} = ε/(1 λ)?$
+
- $p_{\rm A} = ε/(1 - λ)?$
  
 
{Wie gelangt man vom betrachteten Teilkanalmodell zum BSEC&ndash;Modell? Mit
 
{Wie gelangt man vom betrachteten Teilkanalmodell zum BSEC&ndash;Modell? Mit
 
|type="[]"}
 
|type="[]"}
 
- $q = λ,$
 
- $q = λ,$
- $q = 1 λ,$
+
- $q = 1 - λ,$
 
- $q = ε,$
 
- $q = ε,$
+ $q = ε/(1 λ)?$
+
+ $q = ε/(1 - λ)?$
  
  
{Berechnen Sie die BSEC–Kanalkapazität (''Binary Symmetric Error & Erasure Channel'') für &nbsp;$ε = 0.08$&nbsp; und &nbsp;$λ = 0.2.$
+
{Berechnen Sie die BSEC–Kanalkapazität&nbsp; ("Binary Symmetric Error & Erasure Channel")&nbsp; für &nbsp;$ε = 0.08$&nbsp; und &nbsp;$λ = 0.2.$
 
|type="{}"}
 
|type="{}"}
 
$C_{\rm BSEC} \ = \ $ { 0.425 3% } $\ \rm bit$
 
$C_{\rm BSEC} \ = \ $ { 0.425 3% } $\ \rm bit$
  
{Wie groß ist die Kanalkapazität des BSC–Kanals  (''Binary Symmetric Channel'') für &nbsp;$ε = 0.08$?
+
{Wie groß ist die Kanalkapazität des BSC–Kanals  ("Binary Symmetric Channel") für &nbsp;$ε = 0.08$?
 
|type="{}"}
 
|type="{}"}
$C_{\rm BSC}$ = { 0.598 3% } $\ \rm bit$
+
$C_{\rm BSC}\ = \ $ { 0.598 3% } $\ \rm bit$
  
{Wie groß ist die Kanalkapazität des BEC–Kanals (''Binary Erasure Channel'') für &nbsp;$λ = 0.2$?
+
{Wie groß ist die Kanalkapazität des BEC–Kanals&nbsp; ("Binary Erasure Channel")&nbsp; für &nbsp;$λ = 0.2$?
 
|type="{}"}
 
|type="{}"}
$C_{\rm BEC}$ = { 0.8 3% }  $\ \rm bit$
+
$C_{\rm BEC}\ = \ $ { 0.8 3% }  $\ \rm bit$
  
 
</quiz>
 
</quiz>
Zeile 86: Zeile 91:
 
===Musterlösung===
 
===Musterlösung===
 
{{ML-Kopf}}
 
{{ML-Kopf}}
'''(1)'''&nbsp;  Der Teilkanal $\rm A$ ist ein BSC (''Binary Symmetric Channel'') mit der Verfälschungswahrscheinlichkeit $q$  &nbsp; &rArr, &nbsp; <u>Lösungsvorschlag 1</u>.
+
'''(1)'''&nbsp;  Der Teilkanal&nbsp; $\rm A$&nbsp; ist ein BSC&nbsp; ("Binary Symmetric Channel")&nbsp; mit der Verfälschungswahrscheinlichkeit&nbsp; $q$  &nbsp; &rArr; &nbsp; <u>Lösungsvorschlag 1</u>.
  
  
'''(2)'''&nbsp;  Der Teilkanal $\rm B$ ist ein ''Auslöschungskanal''. Sowohl die Sinkenentropie als auch die Irrelevanz dieses Teilkanals sind Null    &nbsp; &rArr, &nbsp; <u>Lösungsvorschlag 3</u>.
+
'''(2)'''&nbsp;  Der Teilkanal&nbsp; $\rm B$&nbsp; ist ein&nbsp; "Auslöschungskanal".&nbsp; Sowohl die Sinkenentropie als auch die Irrelevanz dieses Teilkanals sind Null    &nbsp; &rArr; &nbsp; <u>Lösungsvorschlag 3</u>.
  
  
 
[[Datei:P_ID2804__Inf_A_3_11e_neu.png|right|frame|BSEC–Modell (oben) und <br>vorgegebenes Teilkanalmodell (unten)]]
 
[[Datei:P_ID2804__Inf_A_3_11e_neu.png|right|frame|BSEC–Modell (oben) und <br>vorgegebenes Teilkanalmodell (unten)]]
 
'''(3)'''&nbsp;  Die Kapazität $C$ des Gesamtkanals kann mit der angegebenen Gleichung berechnet werden:
 
'''(3)'''&nbsp;  Die Kapazität $C$ des Gesamtkanals kann mit der angegebenen Gleichung berechnet werden:
:$$ C = p_{\rm A} \cdot C_{\rm A} + p_{\rm B} \cdot C_{\rm B} = p_{\rm A} \cdot [1 - H_{\rm bin}(q)]\hspace{0.05cm}.$$
+
:$$ C = p_{\rm A} \cdot C_{\rm A} + p_{\rm B} \cdot C_{\rm B} = p_{\rm A} \cdot \big[1 - H_{\rm bin}(q)\big]\hspace{0.05cm}.$$
 
Hier stimmt somit der <u>Lösungsvorschlag 2</u>.
 
Hier stimmt somit der <u>Lösungsvorschlag 2</u>.
  
Zeile 100: Zeile 105:
 
'''(4)'''&nbsp;  Beim bisher betrachteten Modell ergeben sich folgende Übergangswahrscheinlichkeiten:
 
'''(4)'''&nbsp;  Beim bisher betrachteten Modell ergeben sich folgende Übergangswahrscheinlichkeiten:
 
:$${\rm Pr}(Y \hspace{-0.05cm} = {\rm E}\hspace{-0.05cm}\mid \hspace{-0.05cm} X \hspace{-0.05cm}= 0) ={\rm Pr}(Y \hspace{-0.05cm} = {\rm E}\hspace{-0.05cm}\mid \hspace{-0.05cm} X \hspace{-0.05cm}= 1) = p_{\rm B} \hspace{0.05cm}.$$
 
:$${\rm Pr}(Y \hspace{-0.05cm} = {\rm E}\hspace{-0.05cm}\mid \hspace{-0.05cm} X \hspace{-0.05cm}= 0) ={\rm Pr}(Y \hspace{-0.05cm} = {\rm E}\hspace{-0.05cm}\mid \hspace{-0.05cm} X \hspace{-0.05cm}= 1) = p_{\rm B} \hspace{0.05cm}.$$
*Beim BSEC–Modell sind die entsprechenden bedingten Wahrscheinlichkeiten gleich $λ$  &nbsp; &rArr; &nbsp;  siehe Grafik auf der Angabenseite.
+
*Beim BSEC–Modell sind die entsprechenden bedingten Wahrscheinlichkeiten gleich $λ$  &nbsp; <br>&rArr; &nbsp;  siehe Grafik auf der Angabenseite.
 
* Richtig ist also der <u>Lösungsvorschlag 2</u>:
 
* Richtig ist also der <u>Lösungsvorschlag 2</u>:
 
:$$p_{\rm B} = \lambda = 1 - p_{\rm A} \hspace{0.3cm}\Rightarrow \hspace{0.3cm} p_{\rm A} = 1- \lambda\hspace{0.05cm}.$$
 
:$$p_{\rm B} = \lambda = 1 - p_{\rm A} \hspace{0.3cm}\Rightarrow \hspace{0.3cm} p_{\rm A} = 1- \lambda\hspace{0.05cm}.$$
  
  
'''(5)'''&nbsp;  Beim BSEC–Modell (''Binary Symmetric Error & Erasure Channel'') gilt beispielsweise:
+
'''(5)'''&nbsp;  Beim BSEC–Modell ("Binary Symmetric Error & Erasure Channel") gilt beispielsweise:
 
:$$ {\rm Pr}(Y \hspace{-0.05cm} = 1\hspace{-0.05cm}\mid \hspace{-0.05cm} X \hspace{-0.05cm}= 0) =\varepsilon \hspace{0.05cm}.$$
 
:$$ {\rm Pr}(Y \hspace{-0.05cm} = 1\hspace{-0.05cm}\mid \hspace{-0.05cm} X \hspace{-0.05cm}= 0) =\varepsilon \hspace{0.05cm}.$$
 
*Dagegen ergibt sich bei unserem Hilfsmodell gemäß der unteren Grafik:
 
*Dagegen ergibt sich bei unserem Hilfsmodell gemäß der unteren Grafik:
 
:$${\rm Pr}(Y \hspace{-0.05cm} = 1\hspace{-0.05cm}\mid \hspace{-0.05cm} X \hspace{-0.05cm}= 0) =(1- \lambda) \cdot q \hspace{0.05cm}.$$
 
:$${\rm Pr}(Y \hspace{-0.05cm} = 1\hspace{-0.05cm}\mid \hspace{-0.05cm} X \hspace{-0.05cm}= 0) =(1- \lambda) \cdot q \hspace{0.05cm}.$$
 
*Damit erhält man $q = ε/(1 – λ)$  &nbsp; &rArr; &nbsp; <u>Lösungsvorschlag 4</u>.  
 
*Damit erhält man $q = ε/(1 – λ)$  &nbsp; &rArr; &nbsp; <u>Lösungsvorschlag 4</u>.  
*Die Grafik verdeutlicht anhand von Farben und Strichart (durchgezogen/gepunktet) den Zusammenhang zwischen den Modellen.
+
*Die Grafik verdeutlicht anhand von Farben und Strichart&nbsp; (durchgezogen/gepunktet)&nbsp; den Zusammenhang zwischen den Modellen.
 +
 
  
  
'''(6)'''&nbsp;  Mit den Ergebnissen der Teilaufgaben '''(3)''', '''(4)''' und '''(5)''' erhält man allgemein für den ''Binary Symmetric Error & Erasure Channel'':
+
'''(6)'''&nbsp;  Mit den Ergebnissen der Teilaufgaben&nbsp; '''(3)''',&nbsp; '''(4)'''&nbsp; und&nbsp; '''(5)'''&nbsp; erhält man allgemein für den&nbsp; "Binary Symmetric Error & Erasure Channel":
 
:$$C_{\rm BSEC} = (1- \lambda) \cdot \left [ 1 - H_{\rm bin}(\frac{\varepsilon}{1- \lambda}) \right ]\hspace{0.05cm},$$
 
:$$C_{\rm BSEC} = (1- \lambda) \cdot \left [ 1 - H_{\rm bin}(\frac{\varepsilon}{1- \lambda}) \right ]\hspace{0.05cm},$$
:bzw. die Zahlenwerte für $ε = 0.08$ und$λ = 0.2$:
+
:bzw. die Zahlenwerte für&nbsp; $ε = 0.08$&nbsp; und&nbsp; $λ = 0.2$:
:$$C_{\rm BSEC} = 0.8 \cdot \left [ 1 - H_{\rm bin}(0.1) \right ] = 0.8 \cdot \left [ 1 - 0.469 \right ] \hspace{0.15cm} \underline {=0.425\,{\rm bit}}\hspace{0.05cm}.$$
+
:$$C_{\rm BSEC} = 0.8 \cdot \big [ 1 - H_{\rm bin}(0.1) \big ] = 0.8 \cdot \left [ 1 - 0.469 \right ] \hspace{0.15cm} \underline {=0.425\,{\rm bit}}\hspace{0.05cm}.$$
  
  
'''(7)'''&nbsp;  Der ''Binary Symmetric Channel'' (BSC) ist ein Sonderfall des BSEC mit $λ = 0$:
+
'''(7)'''&nbsp;  Der "Binary Symmetric Channel"&nbsp; (BSC) ist ein Sonderfall des BSEC mit&nbsp; $λ = 0$:
 
:$$ C_{\rm BSC} = 1 - H_{\rm bin}(\varepsilon) = 1 - H_{\rm bin}(0.08) = 1 - 0.402 \hspace{0.15cm} \underline {=0.598\,{\rm bit}}\hspace{0.05cm}.$$
 
:$$ C_{\rm BSC} = 1 - H_{\rm bin}(\varepsilon) = 1 - H_{\rm bin}(0.08) = 1 - 0.402 \hspace{0.15cm} \underline {=0.598\,{\rm bit}}\hspace{0.05cm}.$$
  
  
'''8.''' Der ''Binary Erasure Channel'' (BEC) ist ein Sonderfall des BSEC mit $ε = 0$:
+
 
:$$C_{\rm BEC} = (1- \lambda) \cdot \left [ 1 - H_{\rm bin}(0) \right ] = 1- \lambda\hspace{0.05cm}.$$
+
'''(8)''' Der&nbsp; "Binary Erasure Channel"&nbsp; (BEC) ist ein Sonderfall des BSEC mit&nbsp; $ε = 0$:
:Mit $λ = 0.2$ ergibt sich hierfür $C_{\rm BEC} = 0.8 \ \rm bit.$
+
:$$C_{\rm BEC} = (1- \lambda) \cdot \big [ 1 - H_{\rm bin}(0) \big ] = 1- \lambda\hspace{0.05cm}.$$
 +
*Mit&nbsp; $λ = 0.2$&nbsp; ergibt sich hierfür&nbsp; $C_{\rm BEC} \hspace{0.15cm} \underline {= 0.8 \ \rm bit}.$
  
 
{{ML-Fuß}}
 
{{ML-Fuß}}

Aktuelle Version vom 22. September 2021, 15:12 Uhr

Vorgegebenes Teilkanalmodell (oben)
und BSEC–Modell (unten)

Die obere Grafik zeigt zwei streng symmetrische Teilkanäle  $\rm A$  und  $\rm B$. 

Ein  streng symmetrischer Kanal  (englisch:  "Strongly Symmetric Channel")  ist dabei

  • gleichmäßig  dispersiv  ("uniformly dispersive")   ⇒   jedes Eingangssymbol  $u$  hat die gleiche Menge an Übergangswahrscheinlichkeiten:
$$\left \{ P_{\hspace{0.05cm}Y\hspace{-0.01cm}|\hspace{0.02cm}U}(y\hspace{0.03cm} |\hspace{0.03cm} u) \hspace{-0.05cm}: \hspace{0.25cm}u \in U \right \} \hspace{0.05cm},$$
  • zudem gleichmäßig  fokussierend  ("uniformly focusing")   ⇒   jedes Ausgangssymbol  $y$  hat die gleiche Übergangswahrscheinlichkeitsmenge:
$$ \left \{ P_{\hspace{0.05cm}Y\hspace{-0.01cm}|\hspace{0.02cm}U}(y\hspace{0.03cm} |\hspace{0.03cm} u) \hspace{-0.05cm}: \hspace{0.25cm}y \in Y \right \} \hspace{0.05cm}.$$

Die Zufallsgröße  $U = \{0,\ 1\}$  tritt dabei direkt an den Eingängen der Teilkanäle  $\rm A$  und  $\rm B$  auf.

Die Kanalkapazität eines streng symmetrischen Kanals lässt sich sehr viel einfacher berechnen als im unsymmetrischen Fall.  Hierauf wird jedoch in dieser Aufgabe nicht näher eingegangen.

Für die Kapazität des Gesamtkanals gilt:

$$ C = p_{\rm A} \cdot C_{\rm A} + p_{\rm B} \cdot C_{\rm B}\hspace{0.05cm}$$

Hierbei bezeichnet  $p_{\rm A}$  die Wahrscheinlichkeit, dass der Teilkanal  $\rm A$  ausgewählt wird und  $C_{\rm A}$  gibt dessen Kapazität an.  Entsprechendes gilt für den Teilkanal  $\rm B$.

Anschließend soll auch die Kanalkapazität des  Binary Symmetric Error & Erasure Channel  $\rm (BSEC)$  nach der unteren Skizze (grau hinterlegt) ermittelt werden, indem der Zusammenhang hergeleitet wird zwischen

  • den Parametern  $p_{\rm A}$,  $p_{\rm B}$  und der Verfälschungswahrscheinlichkeit  $q$  des oben dargestelltern Teilkanalmodells, und
  • den Parametern  $λ$  und  $\varepsilon$  des BSEC–Modells.





Hinweise:

  • Entsprechend der  Aufgabe 3.10Z  gilt für die Kanalkapazität des BSC–Modells mit der Verfälschungswahrscheinlichkeit  $\varepsilon$:
$$ C_{\rm BSC} = 1 - H_{\rm bin}(\varepsilon)\hspace{0.05cm}.$$


Fragebogen

1

Welche Kapazität  $C_{\rm A}$  besitzt der Teilkanal  $\rm A$?

$C_{\rm A} = 1 - H_{\rm bin}(q),$
$C_{\rm A} = p_{\rm A} · \big[1 - H_{\rm bin}(q)\big],$
$C_{\rm A} = 0.$

2

Welche Kapazität  $C_{\rm B}$  besitzt der Teilkanal  $\rm B$?

$C_{\rm B} = 1 - H_{\rm bin}(q),$
$C_{\rm B} = p_{\rm B} · \big[1 - H_{\rm bin}(q)\big],$
$C_{\rm B} = 0.$

3

Welche Kapazität  $C$  besitzt der Gesamtkanal?

$C = 1 - H_{\rm bin}(q),$
$C = p_{\rm A} · \big[1 - H_{\rm bin}(q)\big],$
$C = 0.$

4

Wie gelangt man vom betrachteten Teilkanalmodell zum BSEC–Modell? Mit

$p_{\rm A} = λ,$
$p_{\rm A} = 1 - λ,$
$p_{\rm A} = ε$,
$p_{\rm A} = ε/(1 - λ)?$

5

Wie gelangt man vom betrachteten Teilkanalmodell zum BSEC–Modell? Mit

$q = λ,$
$q = 1 - λ,$
$q = ε,$
$q = ε/(1 - λ)?$

6

Berechnen Sie die BSEC–Kanalkapazität  ("Binary Symmetric Error & Erasure Channel")  für  $ε = 0.08$  und  $λ = 0.2.$

$C_{\rm BSEC} \ = \ $

$\ \rm bit$

7

Wie groß ist die Kanalkapazität des BSC–Kanals ("Binary Symmetric Channel") für  $ε = 0.08$?

$C_{\rm BSC}\ = \ $

$\ \rm bit$

8

Wie groß ist die Kanalkapazität des BEC–Kanals  ("Binary Erasure Channel")  für  $λ = 0.2$?

$C_{\rm BEC}\ = \ $

$\ \rm bit$


Musterlösung

(1)  Der Teilkanal  $\rm A$  ist ein BSC  ("Binary Symmetric Channel")  mit der Verfälschungswahrscheinlichkeit  $q$   ⇒   Lösungsvorschlag 1.


(2)  Der Teilkanal  $\rm B$  ist ein  "Auslöschungskanal".  Sowohl die Sinkenentropie als auch die Irrelevanz dieses Teilkanals sind Null   ⇒   Lösungsvorschlag 3.


BSEC–Modell (oben) und
vorgegebenes Teilkanalmodell (unten)

(3)  Die Kapazität $C$ des Gesamtkanals kann mit der angegebenen Gleichung berechnet werden:

$$ C = p_{\rm A} \cdot C_{\rm A} + p_{\rm B} \cdot C_{\rm B} = p_{\rm A} \cdot \big[1 - H_{\rm bin}(q)\big]\hspace{0.05cm}.$$

Hier stimmt somit der Lösungsvorschlag 2.


(4)  Beim bisher betrachteten Modell ergeben sich folgende Übergangswahrscheinlichkeiten:

$${\rm Pr}(Y \hspace{-0.05cm} = {\rm E}\hspace{-0.05cm}\mid \hspace{-0.05cm} X \hspace{-0.05cm}= 0) ={\rm Pr}(Y \hspace{-0.05cm} = {\rm E}\hspace{-0.05cm}\mid \hspace{-0.05cm} X \hspace{-0.05cm}= 1) = p_{\rm B} \hspace{0.05cm}.$$
  • Beim BSEC–Modell sind die entsprechenden bedingten Wahrscheinlichkeiten gleich $λ$  
    ⇒   siehe Grafik auf der Angabenseite.
  • Richtig ist also der Lösungsvorschlag 2:
$$p_{\rm B} = \lambda = 1 - p_{\rm A} \hspace{0.3cm}\Rightarrow \hspace{0.3cm} p_{\rm A} = 1- \lambda\hspace{0.05cm}.$$


(5)  Beim BSEC–Modell ("Binary Symmetric Error & Erasure Channel") gilt beispielsweise:

$$ {\rm Pr}(Y \hspace{-0.05cm} = 1\hspace{-0.05cm}\mid \hspace{-0.05cm} X \hspace{-0.05cm}= 0) =\varepsilon \hspace{0.05cm}.$$
  • Dagegen ergibt sich bei unserem Hilfsmodell gemäß der unteren Grafik:
$${\rm Pr}(Y \hspace{-0.05cm} = 1\hspace{-0.05cm}\mid \hspace{-0.05cm} X \hspace{-0.05cm}= 0) =(1- \lambda) \cdot q \hspace{0.05cm}.$$
  • Damit erhält man $q = ε/(1 – λ)$   ⇒   Lösungsvorschlag 4.
  • Die Grafik verdeutlicht anhand von Farben und Strichart  (durchgezogen/gepunktet)  den Zusammenhang zwischen den Modellen.


(6)  Mit den Ergebnissen der Teilaufgaben  (3)(4)  und  (5)  erhält man allgemein für den  "Binary Symmetric Error & Erasure Channel":

$$C_{\rm BSEC} = (1- \lambda) \cdot \left [ 1 - H_{\rm bin}(\frac{\varepsilon}{1- \lambda}) \right ]\hspace{0.05cm},$$
bzw. die Zahlenwerte für  $ε = 0.08$  und  $λ = 0.2$:
$$C_{\rm BSEC} = 0.8 \cdot \big [ 1 - H_{\rm bin}(0.1) \big ] = 0.8 \cdot \left [ 1 - 0.469 \right ] \hspace{0.15cm} \underline {=0.425\,{\rm bit}}\hspace{0.05cm}.$$


(7)  Der "Binary Symmetric Channel"  (BSC) ist ein Sonderfall des BSEC mit  $λ = 0$:

$$ C_{\rm BSC} = 1 - H_{\rm bin}(\varepsilon) = 1 - H_{\rm bin}(0.08) = 1 - 0.402 \hspace{0.15cm} \underline {=0.598\,{\rm bit}}\hspace{0.05cm}.$$


(8) Der  "Binary Erasure Channel"  (BEC) ist ein Sonderfall des BSEC mit  $ε = 0$:

$$C_{\rm BEC} = (1- \lambda) \cdot \big [ 1 - H_{\rm bin}(0) \big ] = 1- \lambda\hspace{0.05cm}.$$
  • Mit  $λ = 0.2$  ergibt sich hierfür  $C_{\rm BEC} \hspace{0.15cm} \underline {= 0.8 \ \rm bit}.$