Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang

1. Informationstheorie
2. Wertkontinuierliche Informationstheorie
3. AWGN–Kanalkapazität bei wertdiskretem Eingang

• Vorherige Seite
• Nächste Seite

• Vorherige Seite
• Nächste Seite

AWGN–Modell für zeitdiskrete bandbegrenzte Signale

Am Ende des  letzten Kapitels  wurde das AWGN–Modell entsprechend der linken Grafik verwendet, gekennzeichnet durch die beiden Zufallsgrößen  $X$  und  $Y$  am Eingang und Ausgang sowie die stochastische Störung  $N$  als das Ergebnis eines mittelwertfreien Gaußschen Zufallsprozesses   ⇒   „Weißes Rauschen” mit der Varianz  $σ_N^2$.  Die Störleistung  $P_N$  ist ebenfalls gleich  $σ_N^2$.

Zwei weitgehend äquivalente Modelle für den AWGN–Kanal

Die maximale Transinformation  $I(X; Y)$  zwischen Eingang und Ausgang   ⇒   Kanalkapazität  $C$  ergibt sich dann, wenn eine Gaußsche Eingangs–WDF $f_X(x)$  vorliegt.  Mit der Sendeleistung  $P_X = σ_X^2$   ⇒   Varianz der Zufallsgröße  $X$  lautet die Kanalkapazitätsgleichung:

$$C = 1/2 \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + {P_X}/{P_N}) \hspace{0.05cm}.$$

Nun beschreiben wir das AWGN–Kanalmodell gemäß dem rechts skizzierten Fall, dass am Kanaleingang die Folge  $〈X_ν〉$  anliegt, wobei der Abstand zwischen aufeinander folgenden Werten  $T_{\rm A}$  beträgt.  Diese Folge ist das zeitdiskrete Äquivalent des zeitkontinuierlichen Signals  $X(t)$  nach Bandbegrenzung und Abtastung.

Der Zusammenhang zwischen beiden Modellen kann anhand einer Grafik hergestellt werden, die anschließend genauer beschrieben wird.

  Die  $\text{wesentlichen Erkenntnisse}$  vorneweg:

• Beim rechten Modell gilt zu den Abtastzeitpunkten  $ν·T_{\rm A}$  der gleiche Zusammenhang  $Y_ν = X_ν + N_ν$  wie beim linken Modell.
• Die Störkomponente  $N_ν$  ist nun durch  $($auf  $±B)$  bandbegrenztes Weißes Rauschen mit der zweiseitigen Leistungsdichte  ${\it Φ}_N(f) = N_0/2$  zu modellieren, wobei  $B = 1/(2T_{\rm A})$  gelten muss   ⇒  siehe  Abtasttheorem.

$\text{ Interpretation:}$

Beim modifizierten Modell gehen wir von einer unendlichen Folge  $〈X_ν〉$  von Gaußschen Zufallsgrößen aus, die einem  Diracpuls  $p_δ(t)$  eingeprägt werden.  Das resultierende zeitdiskrete Signal lautet somit:

$$X_{\delta}(t) = T_{\rm A} \cdot \hspace{-0.1cm} \sum_{\nu = - \infty }^{+\infty} X_{\nu} \cdot \delta(t- \nu \cdot T_{\rm A} )\hspace{0.05cm}.$$

Der Abstand aller (gewichteten) Diracfunktionen ist einheitlich  $T_{\rm A}$.

AWGN–Modell unter Berücksichtigung von Zeitdiskretisierung und Bandbegrenzung

Durch das Interpolationsfilter mit der Impulsantwort  $h(t)$  sowie dem Frequenzgang  $H(f)$, wobei

$$h(t) = 1/T_{\rm A} \cdot {\rm si}(\pi \cdot t/T_{\rm A}) \quad \circ\!\!\!-\!\!\!-\!\!\!-\!\!\bullet \quad H(f) = \left\{ \begin{array}{c} 1 \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.3cm} |f| \le B, \\ {\rm{f\ddot{u}r}} \hspace{0.3cm} |f| > B, \\ \end{array} \hspace{0.5cm} B = \frac{1}{T_{\rm A}}$$

gelten muss, entsteht das zeitkontinuierliche Signal  $X(t)$  mit folgenden Eigenschaften:

• Die Abtastwerte  $X(ν·T_{\rm A})$  sind für alle ganzzahligen  $ν$  identisch mit den Eingangswerten  $X_ν$, was mit den äquidistanten Nullstellen der  Spaltfunktion   ⇒   $\text{si}(x) = \sin(x)/x$  begründet werden kann.
• Gemäß dem Abtasttheorem ist  $X(t)$  auf den Spektralbereich  $±B$  ideal bandbegrenzt, wie die obige Rechnung gezeigt hat   ⇒   rechteckförmiger Frequenzgang  $H(f)$  der einseitigen Bandbreite  $B$.

$\text{Störleisungsbetrachtung:}$  Nach der Addition der Störung  $N(t)$  mit der (zweiseitigen) Leistungsdichte   ${\it Φ}_N(t) = N_0/2$  folgt das Matched–Filter  $\rm (MF)$  mit si–förmiger Impulsantwort.  Für die  Störleistung am MF–Ausgang  gilt dann:

$$P_N = {\rm E}\big[N_\nu^2 \big] = \frac{N_0}{2T_{\rm A} } = N_0 \cdot B\hspace{0.05cm}.$$

$\text{Beweis:}$  Mit  $B = 1/(2T_{\rm A} )$  erhält man für die Impulsantwort  $h_{\rm E}(t)$  und die Spektralfunktion  $H_{\rm E}(f)$:

$$h_{\rm E}(t) = 2B \cdot {\rm si}(2\pi \cdot B \cdot t) \quad \circ\!\!\!-\!\!\!-\!\!\!-\!\!\bullet \quad H_{\rm E}(f) = \left\{ \begin{array}{c} 1 \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} \text{für} \hspace{0.3cm} \vert f \vert \le B, \\ \text{für} \hspace{0.3cm} \vert f \vert > B. \\ \end{array} $$

Daraus folgt entsprechend den Erkenntnissen der  Stochastischen Systemtheorie:

$$P_N = \int_{-\infty}^{+\infty} \hspace{-0.3cm} {\it \Phi}_N (f) \cdot \vert H_{\rm E}(f)\vert^2 \hspace{0.15cm}{\rm d}f = \int_{-B}^{+B} \hspace{-0.3cm} {\it \Phi}_N (f) \hspace{0.15cm}{\rm d}f = \frac{N_0}{2} \cdot 2B = N_0 \cdot B \hspace{0.05cm}.$$

Weiter gilt:

• Tastet man das Matched–Filter–Ausgangssignal in äquidistanten Abständen  $T_{\rm A}$  ab, so ergibt sich für die Zeitpunkte  $ν ·T_{\rm A}$  die gleiche Konstellation wie bisher, nämlich:   $Y_ν = X_ν + N_ν$.

• Der Störanteil  $N_ν$  im zeitdiskreten Ausgangssignal   $Y_ν$  ist somit „bandbegrenzt” und „weiß”.  Die Kanalkapazitätsgleichung muss somit nur geringfügig angepasst werden.

• Mit der  $\text{Energie pro Symbol}$   $E_{\rm S} = P_X \cdot T_{\rm A}$   ⇒   Sende–Energie innerhalb einer „Symboldauer”  $T_{\rm A}$  gilt dann:

$$C = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac {P_X}{N_0 \cdot B}) = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac {2 \cdot P_X \cdot T_{\rm A}}{N_0}) = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac {2 \cdot E_{\rm S}}{N_0}) \hspace{0.05cm}.$$

Die Kanalkapazität  $C$  als Funktion von  $E_{\rm S}/N_0$

$\text{Beispiel 1:}$  Die Grafik zeigt den Verlauf der AWGN–Kanalkapazität in Abhängigkeit des Quotienten  $E_{\rm S}/N_0$, wobei die linke Koordinatenachse und die roten Beschriftungen gültig sind:

$$C = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot E_{\rm S} }{N_0}) \hspace{0.5cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Kanalzugriff\hspace{0.15cm} (englisch\hspace{-0.15cm}: \hspace{0.05cm}bit/channel\hspace{0.15cm}use)} \hspace{0.05cm}.$$

Die (Pseudo–)Einheit wird manchmal auch mit „bit/Quellensymbol” oder kurz „bit/Symbol” bezeichnet.

Kanalkapazitäten  $C$  und  $C^{\hspace{0.05cm}*}$  über  $E_{\rm S}/N_0$

Die rechte (blaue) Achsenbeschriftung berücksichtigt die Beziehung  $B = 1/(2T_{\rm A})$  und liefert somit eine obere Schranke für die Bitrate  $R$  eines Digitalsystems, die bei diesem AWGN–Kanal noch möglich ist.

$$C^{\hspace{0.05cm}*} = \frac{C}{T_{\rm A} } = B \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot E_{\rm S} }{N_0}) \hspace{1.0cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Sekunde} \hspace{0.05cm}.$$

$\text{Beispiel 2:}$  Oft gibt man den Quotienten aus Symbolenergie  $(E_{\rm S})$  und AWGN–Rauschleistungsdichte  $(N_0)$  logarithmisch an.

AWGN–Kanalkapazitäten  $C$  und  $C^{\hspace{0.05cm}*}$  als Funktion von  $10 \cdot \lg \ E_{\rm S}/N_0$

• Diese Grafik zeigt die Kanalkapazitäten  $C$  bzw.  $C^{\hspace{0.05cm}*}$  als Funktion von  $10 · \lg (E_{\rm S}/N_0)$  im Bereich von  $-20 \ \rm dB$  bis  $+30 \ \rm dB$.
• Ab etwa  $10 \ \rm dB$  ergibt sich hier ein (nahezu) linearer Verlauf.

Systemmodell zur Interpretation der AWGN–Kanalkapazität

Um das  Kanalcodierungstheorem  im Zusammenhang mit dem AWGN–Kanal besprechen zu können, benötigen wir noch eine „Codiervorrichtung”, die hier allerdings informationstheoretisch allein durch die Coderate $R$ gekennzeichnet wird.

Modell zur Interpretation der AWGN–Kanalkapazität

Die Grafik beschreibt das von Shannon betrachtete Nachrichtensystem mit den Blöcken Quelle, Coder, (AWGN–)Kanal, Decoder und Empfänger. Im Hintergrund erkennt man ein Originalbild aus einem Aufsatz über die Shannon–Theorie. Rot eingezeichnet wurden von uns einige Bezeichnungen und Erläuterungen für den folgenden Text:

• Das Quellensymbol $U$ entstammt einem Alphabet mit $M_U = |U| = 2^k$ Symbolen und kann durch $k$ gleichwahrscheinliche statistisch unabhängige Binärsymbole repräsentiert werden.
• Das Alphabet des Codesymbols $X$ hat den Symbolumfang $M_X = |X| = 2^n$, wobei sich $n$ aus der Coderate $R = k/n$ ergibt.
• Für die Coderate $R = 1$ gilt somit $n = k$.
• Der Fall $n > k$ führt zu einer Coderate $R < 1$ und aus $n < k$ folgt für die Coderate $R > 1$.

Das $\rm Kanalcodierungstheorem$ besagt, dass es (mindestens) einen Code der Rate $R$ gibt, der zur Symbolfehlerwahrscheinlichkeit $p_{\rm S} = \text{Pr}(V ≠ U) \equiv 0$ führt, falls folgende Bedingungen erfüllt sind:

• Die Coderate $R$ ist nicht größer als die Kanalkapazität $C$.
• Ein solcher geeigneter Code ist unendlich lang:   $n → ∞$, das heißt, dass die Kanaleingangsgröße $X$ wertkontinuierlich ist.
• Gleiches gilt für $U$ sowie für die Zufallsgrößen $Y$  und  $V$ nach dem AWGN–Kanal.
• Wegen $n → ∞$ ist auch tatsächlich eine Gaußverteilung  $f_X(x)$  am Kanaleingang möglich, die der bisherigen Berechnung der AWGN–Kanalkapazität stets zugrunde gelegt wurde:

$$C = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot E_{\rm S} }{N_0}) \hspace{0.5cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Kanalzugriff\hspace{0.15cm} (englisch\hspace{-0.15cm}: \hspace{0.05cm}bit/channel \hspace{0.15cm}use)} \hspace{0.05cm}.$$

• Für einen Systemvergleich ist die Energie pro Symbol $(E_{\rm S} )$ allerdings ungeeignet. Ein Vergleich sollte vielmehr auf der Energie $E_{\rm B}$ pro Informationsbit   ⇒   kurz:  Energie pro Bit   basieren. Mit  $E_{\rm B} = E_{\rm S}/R$  gilt somit auch:

$$C = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot R \cdot E_{\rm B} }{N_0}) \hspace{0.2cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Kanalzugriff\hspace{0.1cm} (englisch\hspace{-0.15cm}: \hspace{0.05cm}bit/channel \hspace{0.15cm}use)} \hspace{0.05cm}.$$

Diese beiden Gleichungen werden auf der nächsten Seite diskutiert.

Die Kanalkapazität $C$ als Funktion von $E_{\rm B}/N_0$

$\text{Beispiel 3:}$  Die Grafik zu diesem Beispiel zeigt die AWGN–Kanalkapazität $C$ als Funktion

• von $10 · \lg (E_{\rm S}/N_0)$   ⇒   roter Kurvenverlauf:

$$C = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot E_{\rm S} }{N_0}) \hspace{0.5cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Kanalzugriff\hspace{0.15cm} (oder\hspace{-0.15cm}: \hspace{0.05cm}bit/Symbol)} \hspace{0.05cm}.$$

            $\text{Rote Zahlen:}$   Kapazität $C$ in „bit/Symbol” für $10 · \lg (E_{\rm S}/N_0) = -20 \ \rm dB, -15 \ \rm dB$, ... , $+30\ \rm dB$.

• von $10 · \lg (E_{\rm B}/N_0)$   ⇒   grüner Kurvenverlauf:

$$C = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot R \cdot E_{\rm B} }{N_0}) \hspace{0.2cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Kanalzugriff\hspace{0.1cm} (oder \hspace{-0.15cm}: \hspace{0.05cm}bit/Symbol)} \hspace{0.05cm}.$$

            $\text{Grüne Zahlen:}$   Erforderliches $10 · \lg (E_{\rm B}/N_0)$ in „dB” für $C = 0, 1$, ... , $5$ in „bit/Symbol”.

Die AWGN–Kanalkapazität in zwei unterschiedlichen Darstellungen

Die ausführliche $C(E_{\rm B}/N_0)$–Berechnung finden Sie in der Aufgabe 4.8 und der zugehörigen Musterlösung.

Im Folgenden interpretieren wir das (grüne)  $C(E_{\rm B}/N_0)$–Ergebnis im Vergleich zur (roten)  $C(E_{\rm S}/N_0)$–Kurve:

• Wegen  $E_{\rm S} = R · E_{\rm B}$  liegt der Schnittpunkt beider Kurven bei  $C (= R) = 1$ (bit/Symbol). Erforderlich sind  $10 · \lg (E_{\rm S}/N_0) = 1.76\ \rm dB$  bzw.  $10 · \lg (E_{\rm B}/N_0) = 1.76\ \rm dB$ gleichermaßen.
• Im Bereich  $C > 1$  liegt die grüne Kurve stets über der roten. Beispielsweise ergibt sich für  $10 · \lg (E_{\rm B}/N_0) = 20\ \rm dB$  die Kanalkapazität  $C ≈ 5$, für  $10 · \lg (E_{\rm S}/N_0) = 20\ \rm dB$  nur  $C = 3.83$.
• Ein Vergleich in horizontaler Richtung zeigt, dass die Kanalkapazität  $C = 3$ bit/Symbol schon mit  $10 · \lg (E_{\rm B}/N_0) \approx 10\ \rm dB$  erreichbar ist, man aber  $10 · \lg (E_{\rm S}/N_0) \approx 15\ \rm dB$ benötigt.
• Im Bereich  $C < 1$  liegt die rote Kurve stets über der grünen. Für jedes  $E_{\rm S}/N_0 > 0$  gilt  $C > 0$. Bei logarithmischer Abszisse wie in der vorliegenden Darstellung reicht somit die rote Kurve bis ins „Minus–Unendliche”.
• Dagegen endet die grüne Kurve bei  $E_{\rm B}/N_0 = \ln (2) = 0.693$   ⇒   $10 · \lg (E_{\rm B}/N_0)= -1.59 \rm dB$   ⇒   absolute Grenze für die (fehlerfreie) Übertragung über den AWGN–Kanal.

AWGN–Kanalkapazität für binäre Eingangssignale

Auf den bisherigen Seiten dieses Kapitels wurde stets gemäß der Shannon–Theorie von einem gaußverteilten, also wertkontinuierlichen AWGN–Eingang $X$ ausgegangen. Nun betrachten wir den binären Fall und werden somit erst jetzt der Kapitel–Überschrift „AWGN–Kanalkapazität bei wertdiskretem Eingang” gerecht.

Zur Berechnung der AWGN–Kanalkapazität für BPSK

Die Grafik zeigt das zugrundeliegende Blockschaltbild für  Binary Phase Shift Keying (BPSK) mit binärem Eingang $U$ und binärem Ausgang $V$. Durch eine bestmögliche Codierung soll erreicht werden, dass die Fehlerwahrscheinlichkeit  $\text{Pr}(V ≠ U)$  verschwindend klein wird.

• Der Coderausgang ist gekennzeichnet durch die binäre Zufallsgröße $X \hspace{0.03cm}' = \{0, 1\}$   ⇒   $M_{X'} = 2$, während der Ausgang $Y$ des AWGN–Kanals weiterhin wertkontinuierlich ist:   $M_Y → ∞$.
• Durch das Mapping $X = 1 - 2X\hspace{0.03cm} '$ kommt man von der unipolaren Darstellung zu der für BPSK besser geeigneten bipolaren (antipodalen) Beschreibung:   $X\hspace{0.03cm} ' = 0 → \ X = +1; \hspace{0.5cm} X\hspace{0.03cm} ' = 1 → X = –1$.

Bedingte WDF für
$-1$ (rot) und $+1$ (blau)

• Der AWGN–Kanal wird durch zwei bedingte Wahrscheinlichkeitsdichtefunktionen charakterisiert:

$$f_{Y\hspace{0.05cm}|\hspace{0.03cm}{X}}(y\hspace{0.05cm}|\hspace{0.03cm}{X}=+1) =\frac{1}{\sqrt{2\pi\sigma^2}} \cdot {\rm exp}\left [-\frac{(y - 1)^2} { 2 \sigma^2})\right ] \hspace{0.05cm}\hspace{0.05cm},\hspace{0.5cm}\text{Kurzform:} \ \ f_{Y\hspace{0.05cm}|\hspace{0.03cm}{X}}(y|\hspace{0.03cm}+1)\hspace{0.05cm},$$

$$f_{Y\hspace{0.05cm}|\hspace{0.03cm}{X}}(y\hspace{0.05cm}|\hspace{0.03cm}{X}=-1) =\frac{1}{\sqrt{2\pi\sigma^2}} \cdot {\rm exp}\left [-\frac{(y + 1)^2} { 2 \sigma^2})\right ] \hspace{0.05cm}\hspace{0.05cm},\hspace{0.5cm}\text{Kurzform:} \ \ f_{Y\hspace{0.05cm}|\hspace{0.03cm}{X}}(y|\hspace{0.03cm}-1)\hspace{0.05cm}.$$

• Da hier das Nutzsignal  $X$  auf  $±1$  normiert ist   ⇒   Leistung $1$ anstelle von  $P_X$, muss die Varianz des AWGN–Rauschens $N$ in gleicher Weise normiert werden:   $σ^2 = P_N/P_X$.
• Der Empfänger trifft aus der reellwertigen Zufallsgröße  $Y$  (am AWGN–Kanalausgang) eine  Maximum–Likelihood–Entscheidung. Der Empfängerausgang  $V$  ist binär ($0$  oder  $1$).

Ausgehend von diesem Modell berechnen wir nun die Kanalkapazität des AWGN–Kanals.

Diese lautet bei einer binären Eingangsgröße $X$ allgemein unter Berücksichtigung von  $\text{Pr}(X = -1) = 1 - \text{Pr}(X = +1)$:

$$C_{\rm BPSK} = \max_{ {\rm Pr}({X} =+1)} \hspace{-0.15cm} I(X;Y) \hspace{0.05cm}.$$

Aufgrund des symmetrischen Kanals ist offensichtlich, dass die Eingangswahrscheinlichkeiten

$${\rm Pr}(X =+1) = {\rm Pr}(X =-1) = 0.5 $$

zum Optimum führen werden. Gemäß der Seite  Transinformationsberechnung bei additiver Störung  gibt es mehrere Berechnungsmöglichkeiten:

$$ \begin{align*}C_{\rm BPSK} & = h(X) + h(Y) - h(XY)\hspace{0.05cm},\\ C_{\rm BPSK} & = h(Y) - h(Y|X)\hspace{0.05cm},\\ C_{\rm BPSK} & = h(X) - h(X|Y)\hspace{0.05cm}. \end{align*}$$

Alle Ergebnisse sind noch um die Pseudo–Einheit „bit/Kanalzugriff” zu ergänzen. Wir wählen hier die mittlere Gleichung:

• Die hierfür benötigte bedingte differentielle Entropie ist gleich

$$h(Y\hspace{0.03cm}|\hspace{0.03cm}X) = h(N) = 1/2 \cdot {\rm log}_2 \hspace{0.1cm}(2\pi{\rm e}\cdot \sigma^2) \hspace{0.05cm}. $$

• Die differentielle Entropie  $h(Y)$  ist vollständig durch die WDF  $f_Y(y)$  gegeben. Mit den vorne definierten und skizzierten bedingten Wahrscheinlichkeitsdichtefunktionen erhält man:

$$f_Y(y) = {1}/{2} \cdot \big [ f_{Y\hspace{0.03cm}|\hspace{0.03cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}{X}=-1) + f_{Y\hspace{0.03cm}|\hspace{0.03cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}{X}=+1) \big ]\hspace{0.3cm} \Rightarrow \hspace{0.3cm} h(Y) \hspace{-0.01cm}=\hspace{0.05cm} -\hspace{-0.7cm} \int\limits_{y \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_Y)} \hspace{-0.65cm} f_Y(y) \cdot {\rm log}_2 \hspace{0.1cm} [f_Y(y)] \hspace{0.1cm}{\rm d}y \hspace{0.05cm}.$$

Es ist offensichtlich, dass  $h(Y)$  nur durch numerische Integration ermittelt werden kann, insbesondere, wenn man berücksichtigt, dass sich  $f_Y(y)$  im Überlappungsbereich aus der Summe der beiden bedingten Gauß–Funktionen ergibt.

In der folgenden Grafik sind über der Abszisse  $10 · \lg (E_{\rm B}/N_0)$  drei Kurven dargestellt:

• die blau gezeichnete Kanalkapazität  $C_{\rm Gauß}$, gültig für eine Gaußsche Eingangsgröße $X$   ⇒   $M_X → ∞$,
• die grün gezeichnete Kanalkapazität  $C_{\rm BPSK}$  für die Zufallsgröße $X = (+1, –1)$, sowie
• die mit „BPSK ohne Codierung” bezeichnete rote Horizontale.

Die Kanalkapazitätsgrenzen $C_{\rm BPSK}$ und $C_{\rm Gauß}$ im Vergleich

Diese Kurvenverläufe sind wie folgt zu interpretieren:

• Die grüne Kurve  $C_{\rm BPSK}$  gibt die maximal zulässige Coderate  $R$  von Binary Phase Shift Keying (BPSK) an, bei der für das gegebene  $E_{\rm B}/N_0$  durch bestmögliche Codierung die Bitfehlerwahrscheinlichkeit  $p_{\rm B} \equiv 0$  möglich ist.
• Für alle BPSK–Systeme mit den Koordinaten  $(10 · \lg \ E_{\rm B}/N_0, \ R)$  im „grünen Bereich” ist  $p_{\rm B} \equiv 0$  prinzipiell erreichbar. Aufgabe der Nachrichtentechniker ist es, hierfür geeignete Codes zu finden.
• Die BPSK–Kurve liegt stets unter der absoluten Shannon–Grenzkurve  $C_{\rm Gauß}$  für  $M_X → ∞$. Im unteren Bereich gilt  $C_{\rm BPSK} ≈ C_{\rm Gauß}$. Zum Beispiel muss ein BPSK–System mit  $R = 1/2$  nur ein um $0.1\ \rm dB$ größeres  $E_{\rm B}/N_0$  bereitstellen, als es die (absolute) Kanalkapazität  $C_{\rm Gauß}$  fordert.
• Ist  $E_{\rm B}/N_0$  endlich, so gilt stets  $C_{\rm BPSK} < 1$   ⇒   siehe Aufgabe 4.9Z. Eine BPSK mit  $R = 1$  (und somit ohne Codierung) wird also stets eine Bitfehlerwahrscheinlichkeit  $p_{\rm B} > 0$  zur Folge haben.
• Die Fehlerwahrscheinlichkeiten eines solchen BPSK–Systems ohne Codierung (mit  $R = 1$) sind auf der roten Horizontalen angegeben. Um  $p_{\rm B} ≤ 10^{–5}$  zu erreichen, benötigt man mindestens  $10 · \lg (E_{\rm B}/N_0) = 9.6\ \rm dB$.
• Diese Wahrscheinlichkeiten ergeben sich gemäß dem Kapitel  Fehlerwahrscheinlichkeit des optimalen BPSK-Systems im Buch „Digitalsignalübertragung” zu

$$p_{\rm B} = {\rm Q} \left ( \sqrt{S \hspace{-0.06cm}N\hspace{-0.06cm}R}\right ) \hspace{0.45cm} {\rm mit } \hspace{0.45cm} S\hspace{-0.06cm}N\hspace{-0.06cm}R = 2\cdot E_{\rm B}/{N_0} \hspace{0.05cm}. $$

Hinweise:

• In obiger Grafik ist als zweite, zusätzliche Abszissenachse $10 · \lg (SNR)$ eingezeichnet.
• Die Funktion ${\rm Q}(x)$ bezeichnet man als die komplementäre Gaußsche Fehlerfunktion.

Vergleich zwischen Theorie und Praxis

Anhand zweier Grafiken soll gezeigt werden, in wie weit sich etablierte Kanalcodes der BPSK–Kanalkapazität (grüne Kurve) annähern. Als Ordinate aufgetragen ist die Rate  $R = k/n$  dieser Codes bzw. die Kapazität  $C$  (wenn noch die Pseudo–Einheit „bit/Kanalzugriff” hinzugefügt wird). Vorausgesetzt ist:

• der AWGN–Kanal, gekennzeichnet durch  $10 · \lg (E_{\rm B}/N_0)$ in dB, und
• für die durch Kreuze markierten realisierten Codes eine  Bitfehlerrate (BER) von $10^{–5}$.

Zu beachten ist, dass die Kanalkapazitätskurven stets für  $n → ∞$  und  $\rm BER \equiv 0$  gelten.

• Würde man diese strenge Forderung „feherfrei” auch an die betrachteten Kanalcodes endlicher Codelänge  $n$  anlegen, so wäre hierfür stets  $10 · \lg \ (E_{\rm B}/N_0) \to \infty$ erforderlich.
• Dies ist aber ein eher akademisches Problem, also wenig praxisrelevant. Für  $\text{BER} = 10^{–10}$  ergäbe sich eine qualitativ ähnliche Grafik.

$\text{Beispiel 4:}$  In der Grafik sind die Kenndaten von frühen Systemen mit Kanalcodierung und klassischer Decodierung angegeben.

• Es folgen einige Erläuterungen zu den Daten, die der Vorlesung [Liv10] entnommen wurden.
• Die Links bei diesen Erläuterungen beziehen sich oft auf das $\rm LNTwww$–Buch Kanalcodierung.

Raten und erforderliches  $E_{\rm B}/{N_0}$  verschiedener Kanalcodes

• Die Punkte $\rm A$, $\rm B$ und $\rm C$ markieren Hamming–Codes der Raten $R = 4/7 ≈ 0.57$, $R ≈ 0.73$ bzw. $R ≈ 0.84$. Für $\text{BER} = 10^{–5}$ benötigen diese sehr frühen Codes (aus dem Jahr 1950) alle $10 · \lg (E_{\rm B}/N_0) > 8\ \rm dB$.
• Die Markierung $\rm D$ kennzeichnet den binären Golay–Code mit der Rate $R = 1/2$ und der Punkt $\rm E$ einen Reed–Muller–Code. Dieser sehr niederratige Code kam bereits 1971 bei der Raumsonde Mariner 9 zum Einsatz.
• Die Reed–Solomon–Codes (RS–Codes, ca. 1960) sind eine Klasse zyklischer Blockcodes. $\rm F$ markiert einen RS–Code der Rate $223/255 > 0.9$ und einem erforderlichen $E_{\rm B}/N_0 < 6 \ \rm dB$.
• Die Punkte $\rm G$ und $\rm H$ bezeichnen zwei Faltungscodes (englisch: Convolutional Codes, CC) mittlerer Rate. Der Code $\rm G$ wurde schon 1972 bei der Pioneer 10–Mission eingesetzt.
• Die Kanalcodierung der Voyager–Mission Ende der 1970er Jahre ist mit  $\rm I$ markiert. Es handelt sich um die Verkettung eines (2, 1, 7)–Faltungscodes mit einem RS–Code.

Anzumerken ist, dass bei den Faltungscodes der dritte Kennungsparameter eine andere Bedeutung hat als bei den Blockcodes. So weist die Kennung (2, 1, 32) beispielsweise auf das Memory $m = 32$ hin.

$\text{Beispiel 5:}$  Die im $\text{Beispiel 4}$ genannten frühen Kanalcodes liegen noch relativ weit von der Kanalkapazitätskurve entfernt. Dies war wahrscheinlich auch ein Grund, warum dem Autor dieses Lerntutorials die auch große praktische Bedeutung der Informationstheorie verschlossen blieb, als er diese Anfang der 1970er Jahre im Studium kennenlernte.

Die Sichtweise hat sich deutlich verändert, als in den 1990er Jahren sehr lange Kanalcodes zusammen mit iterativer Decodierung aufkamen. Die neuen Markierungspunkte liegen näher an der Kapazitätsgrenzkurve.

Raten und erforderliches  $E_{\rm B}/{N_0}$  für iterative Codierverfahren

Hier noch einige Erläuterungen zu dieser Grafik:

• Rote Kreuze markieren die so genannten Turbo–Codes nach CCSDS (Consultative Committee for Space Data Systems) mit jeweils $k = 6920$ Informationsbits und unterschiedlichen Codelängen $n = k/R$. Diese von Claude Berrou um 1990 erfundenen Codes können iterativ decodiert werden. Die (roten) Markierungen liegen jeweils weniger als $1 \ \rm dB$ von der Shannon–Grenze entfernt.
• Ähnlich verhalten sich die LDPC–Codes (Low Density Parity–check Codes) mit konstanter Codelänge $n = 64800$   ⇒   weiße Rechtecke). Sie werden seit 2006 bei DVB–S2 (Digital Video Broadcast over Satellite) eingesetzt und eignen sich aufgrund der spärlichen Einsen–Belegung der Prüfmatrix sehr gut für die iterative Decodierung mittels Faktor–Graphen und Exit Charts.
• Schwarze Punkte markieren die von CCSDS spezifizierten LDPC–Codes mit konstanter Anzahl an Informationsbits $(k = 16384)$ und variabler Wortlänge $n = k/R$. Diese Codeklasse erfordert ein ähnliches $E_{\rm B}/N_0$ wie die roten Kreuze und die weißen Rechtecke.

• Um das Jahr 2000 hatten viele Forscher den Ehrgeiz, sich der Shannon–Grenze bis auf Bruchteile von einem $\rm dB$ anzunähern. Das gelbe Kreuz markiert ein solches Ergebnis $(0.0045 \ \rm dB)$ von [CFRU01] mit einem irregulären LDPC–Code der Rate $ R =1/2$ und der Länge $n = 10^7$.

$\text{Fazit:}$  An dieser Stelle soll nochmals die Brillianz und der Weitblick von Claude E. Shannon hervorgehoben werden:

• Er hat 1948 eine bis dahin nicht bekannte Theorie entwickelt, mit der die Möglichkeiten, aber auch die Grenzen der Digitalsignalübertragung aufgezeigt werden.
• Zu dieser Zeit waren die ersten Überlegungen zur digitalen Nachrichtenübertragung gerade mal zehn Jahre alt   ⇒   Pulscodemodulation (Alec Reeves, 1938) und selbst der Taschenrechner kam erst mehr als zwanzig Jahre später.
• Shannon's Arbeiten zeigen uns, dass man auch ohne gigantische Computer Großes leisten kann.

Kanalkapazität des komplexen AWGN–Kanals

Höherstufige Modulationsverfahren können jeweils durch eine Inphase– und eine Quadraturkomponente dargestellt werden. Hierzu gehören zum Beispiel

• die M–QAM   ⇒   Quadraturamplitudenmodulation; $M ≥ 4$ quadratisch angeordnete Signalraumpunkte,
• die M–PSK   ⇒   $M ≥ 4$ Signalraumpunkte in kreisförmiger Anordnung

Die beiden Komponenten lassen sich im äquivalenten Tiefpassbereich auch als Realteil  bzw. Imaginärteil  eines komplexen Rauschterms $N$ beschreiben.

• Alle oben genannten Verfahren sind zweidimensional.
• Der (komplexe) AWGN–Kanal stellt somit  $K = 2$  voneinander unabhängige Gaußkanäle zur Verfügung.
• Entsprechend der Seite  Parallele Gaußsche Kanäle ergibt sich deshalb für die Kapazität eines solchen Kanals:

2D–WDF des Komplexen Gaußschen Rauschens

$$C_{\text{ Gauß, komplex} }= C_{\rm Gesamt} ( K=2) = {\rm log}_2 \hspace{0.1cm} ( 1 + \frac{P_X/2}{\sigma^2}) \hspace{0.05cm}.$$

• $P_X$ bezeichnet die gesamte Nutzleistung von Inphase– und Quadraturkomponente.
• Dagegen bezieht sich die Varianz $σ^2$ der Störung nur auf eine Dimension:   $σ^2 = σ_{\rm I}^2 = σ_{\rm Q}^2$.

Die Skizze zeigt die 2D–WDF $f_N(n)$ des Gaußschen Rauschprozesses $N$ über den beiden Achsen

• $N_{\rm I}$ (Inphase–Anteil, Realteil) und
• $N_{\rm Q}$ (Quadraturanteil, Imaginärteil).

Dunklere Bereiche der rotationssymmetrischen WDF $f_N(n)$ um den Nullpunkt weisen auf mehr Störanteile hin. Für die Varianz des komplexen Gaußschen Rauschens $N$ gilt aufgrund der Rotationsinvarianz $(σ_{\rm I} = σ_{\rm Q})$ folgender Zusammenhang:

$$\sigma_N^2 = \sigma_{\rm I}^2 + \sigma_{\rm Q}^2 = 2\cdot \sigma^2 \hspace{0.05cm}.$$

Damit lässt sich die Kanalkapazität auch wie folgt ausdrücken:

$$C_{\text{ Gauß, komplex} }= {\rm log}_2 \hspace{0.1cm} ( 1 + \frac{P_X}{\sigma_N^2}) = {\rm log}_2 \hspace{0.1cm} ( 1 + SNR) \hspace{0.05cm}.$$

Diese Gleichung wird auf der nächsten Seite numerisch ausgewertet. Bereits aus dieser Gleichung ist aber zu ersehen, dass für das Signal–zu–Störleistungsverhältnis gelten wird:   $SNR = {P_X}/{\sigma_N^2} \hspace{0.05cm}.$

Maximale Coderate für QAM–Strukturen

Kanalkapazität von BPSK und M–QAM

Die Grafik zeigt die Kapazität des komplexen AWGN–Kanals als rote Kurve:

$$C_{\text{ Gauß, komplex} }= {\rm log}_2 \hspace{0.1cm} ( 1 + SNR) \hspace{0.05cm}.$$

• Die Einheit dieser Kanalkapazität ist „bit/Kanalzugriff” oder „bit/Quellensymbol”.
• Als Abszisse ist das Signal–zu–Störleistungsverhältnis $10 · \lg (SNR)$ mit ${SNR} = P_X/σ_N^2$ aufgetragen.
• Die Grafik wurde [Göb10] entnommen. Wir danken Bernhard Göbel, unserem ehemaligen Kollegen am LÜT, für sein Einverständnis, diese Abbildung verwenden zu dürfen, sowie für seine große Unterstützung unseres Lerntutorials während seiner gesamten aktiven Zeit.

Die rote Kurve basiert entsprechend der Shannon–Theorie wieder auf einer Gaußverteilung $f_X(x)$ am Eingang. Zusätzlich eingezeichnet sind zehn weitere Kapazitätskurven für wertdiskreten Eingang:

• die Kurve für  Binary Phase Shift Keying 
  (BPSK, mit „1” markiert   ⇒  $K = 1$),
• die  M–stufige Quadratur–Amplitudenmodulation 
  (mit $M = 2^K, K = 2$, ... , $10$).

Man erkennt aus dieser Darstellung:

• Die BPSK–Kurve und alle $M$–QAM–Kurven liegen rechts von der roten Shannon–Grenzkurve. Bei kleinem $SNR$ sind allerdings alle Kurven von der roten Kurve fast nicht mehr zu unterscheiden.
• Der Endwert aller Kurven für wertdiskrete Eingangssignale ist $K = \log_2 (M)$. Für $SNR \to ∞$ erhält man beispielsweise $C_{\rm BPSK} = 1 \ \rm bit/Symbol$  sowie  $C_{\rm 4-QAM} = C_{\rm QPSK} = 2\ \rm bit/Symbol$.
• Die blauen Markierungen zeigen, dass eine $\rm 2^{10}–QAM$ mit  $10 · \lg (SNR) ≈ 27 \ \rm dB$  eine Coderate von  $R ≈ 8.2$  ermöglicht. Der Abstand zur Shannon–Kurve beträgt hier  $1.53\ \rm dB$.
• Der Shaping Gain beträgt $10 · \lg (π{\rm e}/6) = 1.53 \ \rm dB$. Diese Verbesserung lässt sich erzielen, wenn man die Lage der $2^{10} = 32^2$ quadratisch angeordneten Signalraumpunkte so ändert, dass sich eine gaußähnliche Eingangs–WDF ergibt   ⇒  Signal Shaping.

$\text{Fazit:}$  In Aufgabe 4.10 werden die AWGN–Kapazitätskurven von BPSK und QPSK diskutiert:

• Ausgehend $10 · \lg (E_{\rm B}/N_0)$ mit $E_{\rm B}$: Energie pro Informationsbit kommt man zur QPSK–Kurve durch Verdopplung der BPSK–Kurve:

$$C_{\rm QPSK}\big [10 \cdot {\rm lg} \hspace{0.1cm}(E_{\rm B}/{N_0})\big ] = 2 \cdot C_{\rm BPSK}\big [10 \cdot {\rm lg} \hspace{0.1cm}(E_{\rm B}/{N_0}) \big ] .$$

• Vergleicht man aber BPSK und QPSK bei gleicher Energie $E_{\rm S}$ pro Informationssymbol , so gilt:

$$C_{\rm QPSK}[10 \cdot {\rm lg} \hspace{0.1cm}(E_{\rm S}/{N_0})] = 2 \cdot C_{\rm BPSK}[10 \cdot {\rm lg} \hspace{0.1cm}(E_{\rm S}/{N_0}) - 3\,{\rm dB}] .$$

Hierbei ist berücksichtigt, dass bei QPSK die Energie in einer Dimension nur $E_{\rm S}/2$ beträgt.

Aufgaben zum Kapitel

Aufgabe 4.8: Numerische Auswertung der AWGN-Kanalkapazität

Aufgabe 4.8Z: Was sagt die AWGN-Kanalkapazitätskurve aus?

Aufgabe 4.9: Höherstufige Modulation

Aufgabe 4.9Z: Ist bei BPSK die Kanalkapazität $C ≡ 1$ möglich?

Aufgabe 4.10:   QPSK–Kanalkapazität