Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang

1. Informationstheorie
2. Wertkontinuierliche Informationstheorie
3. AWGN–Kanalkapazität bei wertdiskretem Eingang

• Vorherige Seite
• Nächste Seite

• Vorherige Seite
• Nächste Seite

AWGN–Modell für zeitdiskrete bandbegrenzte Signale

Am Ende von Kapitel 4.2 wurde das AWGN–Modell entsprechend der linken Grafik verwendet, gekennzeichnet durch die beiden Zufallsgrößen $X$ und $Y$ am Eingang und Ausgang sowie die stochastische Störung $N$ als das Ergebnis eines mittelwertfreien Gaußschen Zufallsprozesses ⇒ „Weißes Rauschen” mit der Varianz $σ_N^2$. Die Störleistung $P_N$ ist ebenfalls gleich $σ_N^2$.

Die maximale Transinformation $I(X; Y)$ zwischen Eingang und Ausgang ⇒ Kanalkapazität $C$ ergibt sich dann, wenn eine Gaußsche Eingangs–WDF $f_X(x)$ vorliegt. Mit der Sendeleistung $P_X = σ_X^2$ (Varianz der Zufallsgröße $X$) lautet die Kanalkapazitätsgleichung:

$$C = 1/2 \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + {P_X}/{P_N}) \hspace{0.05cm}.$$

Nun beschreiben wir das AWGN–Kanalmodell gemäß dem rechts skizzierten Fall, dass am Kanaleingang die Folge $〈X_ν〉$ anliegt, wobei der Abstand zwischen aufeinander folgenden Werten $T_A$ beträgt. Diese Folge ist das zeitdiskrete Äquivalent des zeitkontinuierlichen Signals X(t) nach Bandbegrenzung und Abtastung. Der Zusammenhang zwischen beiden Modellen kann anhand der folgenden Grafik hergestellt werden, die auf der nächsten Seite noch genauer beschrieben wird.

[[Datei: P_ID2932__Inf_T_4_3_S1b.png| AWGN–Modell unter Berücksichtigung von Zeitdiskretisierung und Bandbegrenzung]]

Die wesentlichen Erkenntnisse vorneweg:

• Beim rechten Modell gilt zu den Abtastzeitpunkten $ν·T_A$ genau der gleiche Zusammenhang $Y_ν = X_ν + N_ν$ wie beim bisherigen (linken) Modell.
• Die Störkomponente $N_ν$ ist nun durch (auf $±B$) bandbegrenztes Weißes Rauschen mit zweiseitiger Leistungsdichte $Φ_N(f) = N_0/2$ zu modellieren, wobei $B = 1/(2T_A)$ gelten muss ⇒ „Abtasttheorem”.

Beim Modell gemäß der oberen Grafik auf der letzten Seite gehen wir von einer unendlichen Folge $〈X_ν〉$ von Gaußschen Zufallsgrößen aus, die einem Diracpuls $p_δ(t)$ eingeprägt werden. Das resultierende zeitdiskrete Signal lautet somit:

$$X_{\delta}(t) = T_{\rm A} \cdot \hspace{-0.1cm} \sum_{\nu = - \infty }^{+\infty} X_{\nu} \cdot \delta(t- \nu \cdot T_{\rm A} )\hspace{0.05cm}.$$

Der Abstand aller (gewichteten) Diracfunktionen ist einheitlich $T_A$. Durch das Interpolationsfilter mit der Impulsantwort $h(t)$ sowie dem Frequenzgang $H(f)$, wobei

$$h(t) = 1/T_{\rm A} \cdot {\rm si}(\pi \cdot t/T_{\rm A}) \quad \circ\!\!\!-\!\!\!-\!\!\!-\!\!\bullet \quad H(f) = \left\{ \begin{array}{c} 1 \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.3cm} |f| \le B, \\ {\rm{f\ddot{u}r}} \hspace{0.3cm} |f| > B, \\ \end{array} \hspace{0.5cm} B = \frac{1}{T_{\rm A}}$$

gelten muss, entsteht das zeitkontinuierliche Signal $X(t)$ mit folgenden Eigenschaften:

• Die Abtastwerte $X(ν·T_A)$ sind für alle ganzzahligen $ν$ identisch mit den Eingangswerten $X_ν$, was mit den äquidistanten Nullstellen der Spaltfunktion ⇒ $\text{si}(x) = \sin(x)/x$ begründet werden kann.
• Gemäß dem Abtasttheorem ist $X(t)$ auf den Spektralbereich $±B$ ideal bandbegrenzt, wie die obige Rechnung gezeigt hat ⇒ rechteckförmiger Frequenzgang $H(f)$ der einseitigen Bandbreite $B$.

Nach der Addition der Störung $N(t)$ mit der (zweiseitigen) Leistungsdichte $Φ_N(t) = N_0/2$ folgt das Matched–Filter mit si–förmiger Impulsantwort. Für die Störleistung am MF–Ausgang erhält man:

$$P_N = {\rm E}[N_\nu^2] = \frac{N_0}{2T_{\rm A}} = N_0 \cdot B\hspace{0.05cm}.$$

Beweis: Mit $B = 1/(2T_A)$ erhält man für die Impulsantwort $h_E(t)$ und die Spektralfunktion $H_E(f)$:

$$h_{\rm E}(t) = 2B \cdot {\rm si}(2\pi \cdot B \cdot t) \quad \circ\!\!\!-\!\!\!-\!\!\!-\!\!\bullet \quad H_{\rm E}(f) = \left\{ \begin{array}{c} 1 \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.3cm} |f| \le B, \\ {\rm{f\ddot{u}r}} \hspace{0.3cm} |f| > B. \\ \end{array} $$

Daraus folgt entsprechend den Erkenntnissen der Stochastischen Systemtheorie:

$$P_N = \int_{-\infty}^{+\infty} \hspace{-0.3cm} {\it \Phi}_N (f) \cdot |H_{\rm E}(f)|^2 \hspace{0.15cm}{\rm d}f = \int_{-B}^{+B} \hspace{-0.3cm} {\it \Phi}_N (f) \hspace{0.15cm}{\rm d}f = \frac{N_0}{2} \cdot 2B = N_0 \cdot B \hspace{0.05cm}.$$

• Tastet man das MF–Ausgangssignal in äquidistanten Abständen $T_A$ ab, so ergibt sich für die Zeitpunkte $ν·T_A$ die gleiche Konstellation wie bisher: $Y_ν = X_ν + N_ν$.
• Der Störanteil $N_ν$ im zeitdiskreten Ausgangssignal $Y_ν$ ist somit „bandbegrenzt” und „weiß”. Die Kanalkapazitätsgleichung muss somit nur geringfügig angepasst werden;

$$C = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac {P_X}{N_0 \cdot B}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac {2 \cdot P_X \cdot T_{\rm A}}{N_0}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac {2 \cdot E_{\rm S}}{N_0}) \hspace{0.05cm}.$$

$E_S$ ist die Sende–Energie innerhalb einer Symboldauer $T_A$ ⇒ Energie pro Symbol.

Die Kanalkapazität $C$ als Funktion von $E_S/N_0$

Die obere Grafik zeigt den Verlauf der AWGN–Kanalkapazität in Abhängigkeit des Quotienten $E_S/N_0$, wobei die linke Koordinatenachse und die roten Beschriftungen gültig sind:

$$C = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot E_{\rm S}}{N_0}) \hspace{0.5cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Kanalzugriff\hspace{0.15cm} (englisch\hspace{-0.15cm}: \hspace{0.05cm}bit/channel\hspace{0.05cm}use)} \hspace{0.05cm}.$$

Die Einheit wird manchmal auch mit „bit/Quellensymbol” oder kurz „bit/Symbol” bezeichnet.

Die rechte (blaue) Achsenbeschriftung berücksichtigt die Beziehung $B = 1/(2T_A)$ und liefert somit eine obere Schranke für die Bitrate eines Digitalsystems, die bei diesem AWGN–Kanal noch möglich ist.

$$C^{\hspace{0.05cm}*} = \frac{C}{T_{\rm A}} = B \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot E_{\rm S}}{N_0}) \hspace{1.0cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Sekunde} \hspace{0.05cm}.$$

Meist gibt man den Quotienten aus Symbolenergie $(E_S)$ und AWGN–Rauschleistungsdichte $(N_0)$ in logarithmischer Form an. Die untere Grafik zeigt die Kanalkapazitäten $C$ bzw. $C*$ als Funktion von 10 · lg $(E_S/N_0)$ im Bereich von –20 dB bis +30 dB. Ab etwa 10 dB ergibt sich ein (nahezu) linearer Verlauf.

Systemmodell zur Interpretation der AWGN–Kanalkapazität

Um das Kanalcodierungstheorem im Zusammenhang mit dem AWGN–Kanal besprechen zu können, benötigen wir noch eine Codiervorrichtung, die informationstheoretisch vollständig durch die Coderate $R$ gekennzeichnet wird.

Die Grafik beschreibt das von Shannon betrachtete Nachrichtensystem mit den Blöcken Quelle, Coder, (AWGN–)Kanal, Decoder und Empfänger. Im Hintergrund erkennt man ein Originalbild aus einem Shannon–Aufsatz zu diesem Thema. Rot eingezeichnet sind einige Bezeichnungen und Erläuterungen für den folgenden Text:

• Das Quellensymbol $U$ entstammt einem Alphabet mit $M_U = |U| = 2^k$ Symbolen und kann durch $k$ gleichwahrscheinliche statistisch unabhängige Binärsymbole repräsentiert werden.
• Das Alphabet des Codesymbols $X$ hat den Symbolumfang $M_X = |X| = 2^n$, wobei sich $n$ aus der Coderate $R = k/n$ ergibt. Für $R = 1$ gilt somit $n = k$.
• Der Fall $n > k$ führt zu einer Coderate $R < 1$ und aus $n < k$ folgt für die Coderate $R > 1$.

Das Kanalcodierungstheorem besagt, dass es (mindestens) einen Code der Rate $R$ gibt, der zur Symbolfehlerwahrscheinlichkeit $p_S = \text{Pr}(V ≠ U) = 0$ führt, falls folgende Bedingungen erfüllt sind:

• Die Coderate $R$ ist nicht größer als die Kanalkapazität $C$.
• Ein solcher geeigneter Code ist unendlich lang: $n → ∞$, das heißt, dass die Zufallsgröße $X$ am Kanaleingang wertkontinuierlich ist. Gleiches gilt für $U$ sowie für die Zufallsgrößen $Y$ und $V$ nach dem AWGN–Kanal.
• Wegen $n → ∞$ ist auch tatsächlich eine Gaußverteilung $f_X(x)$ am Kanaleingang möglich, die der bisherigen Berechnung der AWGN–Kanalkapazität stets zugrunde gelegt wurde:

$$C = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot E_{\rm S}}{N_0}) \hspace{0.5cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Kanalzugriff\hspace{0.15cm} (englisch\hspace{-0.15cm}: \hspace{0.05cm}bit/channel \hspace{0.05cm}use)} \hspace{0.05cm}.$$

• Für einen Systemvergleich ist die Energie pro Symbol $(E_S)$ ungeeignet. Ein Vergleich sollte vielmehr auf der Energie $E_B$ pro Informationsbit basieren. Mit $E_B = E_S/R$ gilt somit auch:

$$C = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot R \cdot E_{\rm B}}{N_0}) \hspace{0.2cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Kanalzugriff\hspace{0.1cm} (englisch\hspace{-0.15cm}: \hspace{0.05cm}bit/channel \hspace{0.05cm}use)} \hspace{0.05cm}.$$

Diese beiden Gleichungen werden auf der nächsten Seite diskutiert.

Die Kanalkapazität $C$ als Funktion von $E_B/N_0$

Die folgende Grafik zeigt die AWGN–Kanalkapazität $C$ als Funktion von

• 10 · lg $(E_S/N_0)$ ⇒ roter Kurvenverlauf:

$$C = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot E_{\rm S}}{N_0}) \hspace{0.5cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Kanalzugriff\hspace{0.15cm} (oder\hspace{-0.15cm}: \hspace{0.05cm}bit/Symbol)} \hspace{0.05cm}.$$

Rote Zahlen: Kapazität $C$ in „bit/Symbol” für 10 · lg $(E_S/N_0)$ = –20 dB, –15 dB, ... , +30dB.

• 10 · lg $(E_B/N_0)$ ⇒ grüner Kurvenverlauf:

$$C = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot R \cdot E_{\rm B}}{N_0}) \hspace{0.2cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Kanalzugriff\hspace{0.1cm} (oder \hspace{-0.15cm}: \hspace{0.05cm}bit/Symbol)} \hspace{0.05cm}.$$

Grüne Zahlen: Erforderliches 10 · lg $(E_B/N_0)$ in „dB” für $C$ = 0, 1, ... , 5 in „bit/Symbol”.

Die $C(E_B/N_0)$–Berechnung finden Sie in der Aufgabe A4.8 und der zugehörigen Musterlösung. Im Folgenden interpretieren wir das Ergebnis im Vergleich zur C(E_S/N_0)–Kurve:

• Wegen $E_S = R · E_B$ liegt der Schnittpunkt beider Kurven bei $C$ (= $R$) = 1 [bit/Symbol]. Erforderlich sind dazu 10 · lg $(E_S/N_0)$ = 1.76 dB bzw. 10 · lg $(E_B/N_0)$ = 1.76 dB.
• Im Bereich $C$ > 1 liegt die grüne Kurve stets über der roten. Beispielsweise ergibt sich für 10 · lg $(E_B/N_0)$ = 20 dB die Kanalkapazität $C$ ≈ 5, für 10 · lg $(E_S/N_0)$ = 20 dB nur $C$ = 3.83.
• Ein Vergleich in horizontaler Richtung zeigt, dass die Kanalkapazität $C$ = 3 bit/Symbol schon mit 10 · lg $(E_B/N_0)$ ≈ 10 dB erreichbar ist, man aber 10 · lg $(E_S/N_0)$ ≈ 15 dB benötigt.
• Im Bereich $C$ < 1 liegt die rote Kurve stets über der grünen. Für $E_S/N_0$ > 0 gilt auch $C$ > 0. Bei logarithmischer Abszisse reicht somit die rote Kurve bis ins „Minus–Unendliche”.
• Dagegen endet die grüne Kurve bei $E_B/N_0$ = ln (2) = 0.693 ⇒ 10 · lg $(E_B/N_0)$ = –1.59 dB ⇒ absolute Grenze für die (fehlerfreie) Übertragung über den AWGN–Kanal.

AWGN–Kanalkapazität für binäre Eingangssignale

Auf den bisherigen Seiten des Kapitels 4.3 wurde stets entsprechend der Shannon–Theorie von einem gaußverteilten und damit wertkontinuierlichem AWGN–Eingang $X$ ausgegangen. Nun betrachten wir den binären Fall und werden somit der Überschrift „AWGN–Kanalkapazität bei wertdiskretem Eingang” dieses Kapitels gerecht.

Die Grafik zeigt das zugrundeliegende Blockschaltbild für Binary Phase Shift Keying (BPSK) mit binärem Eingang $U$ und ebenfalls binärem Ausgang $V$. Durch eine bestmögliche Codierung soll erreicht werden, dass die Fehlerwahrscheinlichkeit $\text{Pr}(V ≠ U)$ verschwindend klein wird.

• Der Coderausgang ist gekennzeichnet durch die binäre Zufallsgröße $X ' = \{0, 1\} ⇒ M_{X'} = 2$, während der Ausgang $Y$ des AWGN–Kanals weiterhin wertkontinuierlich ist: $M_Y → ∞$.
• Durch das Mapping $X = 1 – 2X '$ kommt man von der unipolaren Darstellung zu der für BPSK besser geeigneten bipolaren (antipodalen) Beschreibung: $X ' = 0 → X = +1; X ' = 1 → X = –1$.

• Der AWGN–Kanal ist hier durch die beiden bedingten Wahrscheinlichkeitsdichtefunktionen charakterisiert:

$$\begin{align*}f_{Y|\hspace{0.03cm}{X}}(y|\hspace{0.03cm}{X}=+1) \hspace{-0.15cm} & = \hspace{-0.15cm} \frac{1}{\sqrt{2\pi\sigma^2}} \cdot {\rm exp}\left [-\frac{(y - 1)^2} { 2 \sigma^2})\right ] \hspace{0.05cm}\hspace{0.05cm},\\ f_{Y|\hspace{0.03cm}{X}}(y|\hspace{0.03cm}{X}=-1) \hspace{-0.15cm} & = \hspace{-0.15cm} \frac{1}{\sqrt{2\pi\sigma^2}} \cdot {\rm exp}\left [-\frac{(y + 1)^2} { 2 \sigma^2})\right ] \hspace{0.05cm} \hspace{0.05cm}. \end{align*}$$

In Kurzform: $f_{Y | X} (y | +1)$ bzw. $f_{Y | X} (y | –1)$.

• Da hier das Nutzsignal $X$ auf ±1 normiert ist ⇒ Leistung 1 anstelle von $P_X$, muss die Varianz des AWGN–Rauschens $N$ in gleicher Weise normiert werden: $σ^2 = P_N/P_X$.
• Der Empfänger trifft aus der reellwertigen Zufallsgröße $Y$ (am AWGN–Kanalausgang) eine Maximum–Likelihood–Entscheidung. Der Empfängerausgang $V$ ist binär (0 oder 1).

Ausgehend von diesem Modell wird auf der nächsten Seite die Kanalkapazität berechnet.

Die Kanalkapazität des AWGN–Kanals unter der Nebenbedingung einer binären Eingangsgröße $X$ lautet allgemein unter Berücksichtigung von $\text{Pr}(X = –1) = 1 – \text{Pr}(X = +1)$:

$$C_{\rm BPSK} = \max_{ {\rm Pr}({X} =+1)} \hspace{-0.15cm} I(X;Y) \hspace{0.05cm}.$$

Aufgrund des symmetrischen Kanals ist offensichtlich, dass die Eingangswahrscheinlichkeiten

$${\rm Pr}([[:Vorlage:X]] =+1) = {\rm Pr}({{X} =-1)} = 0.5 $$

zum Optimum führen werden. Gemäß Kapitel 4.2 gibt es mehrere Berechnungsmöglichkeiten:

$$ \begin{align*}C_{\rm BPSK} \hspace{-0.15cm} & = \hspace{-0.15cm} h(X) + h(Y) - h(XY)\hspace{0.05cm},\\ C_{\rm BPSK} \hspace{-0.15cm} & = \hspace{-0.15cm} h(Y) - h(Y|X)\hspace{0.05cm},\\ C_{\rm BPSK} \hspace{-0.15cm} & = \hspace{-0.15cm} h(X) - h(X|Y)\hspace{0.05cm}. \end{align*}$$

Alle Ergebnisse sind noch um die Pseudo–Einheit „bit” zu ergänzen. Wir wählen hier die mittlere Gleichung:

• Die hierfür benötigte bedingte differentielle Entropie ist gleich

$$h(Y|X) = h(N) = 1/2 \cdot {\rm log}_2 \hspace{0.1cm}(2\pi{\rm e}\cdot \sigma^2) \hspace{0.05cm}. $$

• Die differentielle Entropie $h(Y)$ ist vollständig durch die WDF $f_Y(y)$ gegeben. Mit den vorne definierten und skizzierten bedingten Wahrscheinlichkeitsdichtefunktionen erhält man:

$$f_Y(y) = \frac{1}{2} \cdot \left [ f_{Y|{X}}(y\hspace{0.05cm}|{X}=-1) + f_{Y|{X}}(y\hspace{0.05cm}|{X}=+1) \right ]$$

$$\Rightarrow \hspace{0.3cm} h(Y) \hspace{-0.01cm}=\hspace{0.05cm} -\hspace{-0.7cm} \int\limits_{y \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_Y)} \hspace{-0.65cm} f_Y(y) \cdot {\rm log}_2 \hspace{0.1cm} [f_Y(y)] \hspace{0.1cm}{\rm d}y \hspace{0.05cm}.$$

Es ist offensichtlich, dass $h(Y)$ nur durch numerische Integration ermittelt werden kann, insbesondere, wenn man berücksichtigt, dass sich im Überlappungsbereich $f_Y(y)$ aus der Summe der beiden bedingten Gauß–Funktionen ergibt.

Das skizzierte Ergebnis wird auf der nächsten Seite diskutiert.

In der folgenden Grafik sind über der Abszisse 10 · lg $(E_B/N_0)$ drei Kurven dargestellt:

• die Kanalkapazität $C_{\rm Gauß}$, gültig für eine Gaußsche Eingangsgröße $X ⇒ M_X → ∞$,
• die Kanalkapazität $C_{\rm BPSK}$ für die Zufallsgröße $X = (+1, –1)$, sowie
• die mit „BPSK ohne Codierung” bezeichnete Horizontale.

Diese Kurvenverläufe sind wie folgt zu interpretieren:

• Die grüne Kurve $C_{\rm BPSK}$ gibt die maximal zulässige Coderate $R$ einer BPSK an, bei der für das gegebene $E_B/N_0$ durch bestmögliche Codierung die Bitfehlerwahrscheinlichkeit $p_B$ = 0 möglich ist.
• Für alle BPSK–Systeme mit den Koordinaten (10 · lg $E_B/N_0$, $R$) im „grünen Bereich” ist $p_B$ = 0 prinzipiell erreichbar. Aufgabe der Nachrichtentechniker ist es, hierfür geeignete Codes zu finden.
• Die BPSK–Kurve liegt stets unter der absoluten Shannon–Grenzkurve $C_{\rm Gauß}$ für $M_X → ∞$. Im unteren Bereich gilt $C_{\rm BPSK} ≈ C_{\rm Gauß}$. Zum Beispiel muss ein BPSK–System mit $R$ = 1/2 nur ein um 0.1 dB größeres $E_B/N_0$ bereitstellen, als es die (absolute) Kanalkapazität $C_{\rm Gauß}$ fordert.
• Ist $E_B/N_0$ endlich, so gilt stets $C_{\rm BPSK}$ < 1 ⇒ siehe Aufgabe Z4.9. Eine BPSK mit $R$ = 1 (und somit ohne Codierung) wird stets eine Bitfehlerwahrscheinlichkeit $p_B$ > 0 zur Folge haben.
• Die Fehlerwahrscheinlichkeiten eines solchen BPSK–Systems ohne Codierung ( $R$ = 1 ) sind auf der roten Horizontalen angegeben. Um $p_B ≤ 10^{–5}$ zu erreichen, benötigt man mindestens 10 · lg $(E_B/N_0)$ = 9.6 dB.

Die Wahrscheinlichkeiten ergeben sich gemäß Kapitel 1.5 im Buch Digitalsignalübertragung zu

$$p_{\rm B} = {\rm Q} \left ( \sqrt{S \hspace{-0.06cm}N\hspace{-0.06cm}R}\right ) \hspace{0.45cm} {\rm mit } \hspace{0.45cm} S\hspace{-0.06cm}N\hspace{-0.06cm}R = 2\cdot E_{\rm B}/{N_0} \hspace{0.05cm}. $$

Hinweis: In obiger Grafik ist 10 · lg (SNR) als zweite, zusätzliche Abszissenachse eingezeichnet. Die Funktion Q(x) bezeichnet man als die komplementäre Gaußsche Fehlerfunktion.

Vergleich zwischen Theorie und Praxis

Anhand zweier Grafiken soll gezeigt werden, in wie weit sich etablierte Kanalcodes der BPSK–Kanalkapazität (grüne Kurve) annähern. Als Ordinate aufgetragen ist die Rate $R = k/n$ dieser Codes bzw. die Kapazität $C$ (wenn noch die Pseudo–Einheit „bit/Kanalzugriff” hinzugefügt wird). Vorausgesetzt ist:

• der AWGN–Kanal, gekennzeichnet durch 10 · lg $(E_B/N_0)$ in dB, und
• für die durch Kreuze markierten realisierten Codes eine Bitfehlerrate (BER) von $10^{–5}$.

Zu beachten ist, dass die Kanalkapazitätskurven stets für $n → ∞$ und BER = 0 gelten. Würde man diese strenge Forderung „feherfrei” auch an die betrachteten Kanalcodes endlicher Codelänge $n$ anlegen, so wäre hierfür stets 10 · $E_B/N_0 → ∞$ erforderlich. Dies ist aber ein eher akademisches Problem, das für die Praxis weniger Bedeutung hat. Für $\text{BER} = 10^{–10}$ ergäbe sich eine qualitativ ähnliche Grafik.

Es folgen einige Erläuterungen zu den Daten, die der Vorlesung entnommen wurden. Die folgenden Links beziehen sich oft auf das Buch Kanalcodierung.

• Die Punkte A, B und C markieren Hamming–Codes der Raten $R$ = 4/7 ≈ 0.57, $R$ ≈ 0.73 bzw. $R$ ≈ 0.84. Für $\text{BER} = 10^{–5}$ benötigen diese sehr frühen Codes (aus dem Jahr 1950) alle 10 · lg $(E_B/N_0)$ > 8 dB.
• Die Markierung D kennzeichnet den binären Golay–Code mit der Rate 1/2 und der Punkt E einen Reed–Muller–Code. Dieser sehr niederratige Code kam bereits 1971 bei der Raumsonde Mariner 9 zum Einsatz.
• Die Reed–Solomon–Codes (RS–Codes, ca. 1960) sind eine Klasse zyklischer Blockcodes. F markiert einen RS–Code der Rate 223/255 > 0.9 und einem erforderlichen $E_B/N_0$ < 6 dB.
• Die Punkte G und H bezeichnen zwei Faltungscodes (englisch: Convolutional Codes, CC) mittlerer Rate. Der Code G wurde schon 1972 bei der Pioneer10–Mission eingesetzt.
• Die Kanalcodierung der Voyager–Mission Ende der 1970er Jahre ist mit I markiert. Es handelt sich um die Verkettung eines (2, 1, 7)–Faltungscodes mit einem RS–Code.

Anzumerken ist, dass bei den Faltungscodes der dritte Kennungsparameter eine andere Bedeutung hat als bei den Blockcodes. (2, 1, 32) weist beispielsweise auf das Memory $m$ = 32 hin. Auf der nächsten Seite folgen noch die Kenndaten von Systemen mit iterativer Decodierung.

Die frühen Kanalcodes der letzten Seite liegen noch relativ weit von der Kanalkapazitätskurve entfernt. Dies war wahrscheinlich auch ein Grund, warum dem Autor die auch große praktische Bedeutung der Informationstheorie verschlossen blieb, als er diese Anfang der 1970er Jahre im Studium kennenlernte.

Diese Sichtweise hat sich deutlich verändert, als in den 1990er Jahren sehr lange Kanalcodes zusammen mit iterativer Decodierung aufkamen. Die neuen Markierungspunkte liegen näher an der Kapazitätskurve.

Hier noch einige Erläuterungen zu dieser Grafik:

• Rote Kreuze markieren sog. Turbo–Codes nach CCSDS (Consultative Committee for Space Data Systems) mit jeweils $k$ = 6920 Informationsbits und unterschiedlichen Codelängen $n = k/R$. Diese von Claude Berrou um 1990 erfundenen Codes können iterativ decodiert werden. Die (roten) Markierungen liegen jeweils weniger als 1 dB von der Shannon–Grenze entfernt.
• Ähnlich verhalten sich die LDPC–Codes (Low Density Parity–check Codes) mit konstanter Codelänge $n$ = 64800 ⇒ weiße Rechtecke). Sie werden seit 2006 bei DVB–S2 (Digital Video Broadcast over Satellite) eingesetzt und eignen sich aufgrund der spärlichen Einsen–Belegung der Prüfmatrix sehr gut für die iterative Decodierung mittels Faktor–Graphen und Exit Charts.
• Schwarze Punkte markieren die von CCSDS spezifizierten LDPC–Codes mit konstanter Anzahl an Informationsbits ( $k$ = 16384 ) und variabler Codewortlänge $n = k/R$. Diese Codeklasse erfordert ein ähnliches $E_B/N_0$ wie die roten Kreuze und die weißen Rechtecke.

Um die Jahrhundertwende hatten viele Forscher den Ehrgeiz, sich der Shannon–Grenze bis auf Bruchteile von einem dB anzunähern. Das gelbe Kreuz markiert ein derartiges Ergebnis (0.0045 dB) von Chung et al. aus dem Jahr 2001. Verwendet wurde ein irregulärer LDPC–Code mit Rate $1/2$ und Codelänge $10^7$. An dieser Stelle soll nochmals die Brillianz und der Weitblick von Claude E. Shannon hervorgehoben werden. Er hat 1948 eine bis dahin nicht bekannte Theorie entwickelt, mit der die Möglichkeiten, aber auch die Grenzen der Digitalsignalübertragung aufgezeigt werden. Zu dieser Zeit waren die ersten Überlegungen zur digitalen Nachrichtenübertragung gerade mal zehn Jahre alt ⇒ Pulscodemodulation (Alec Reeves, 1938) und selbst der Taschenrechner kam erst mehr als 20 Jahre später. Shannon's Arbeiten zeigen uns, dass man auch ohne gigantische Computer Großes leisten kann.

Kanalkapazität des komplexen AWGN–Kanals

Höherstufige Modulationsverfahren wie

• M–QAM ⇒ Quadraturamplitudenmodulation; $M$ ≥ 4 quadratische Signalraumpunkte
• M–PSK ⇒ $M$ ≥ 4 Signalraumpunkte in kreisförmiger Anordnung

können jeweils durch eine Inphase– und eine Quadraturkomponente dargestellt werden. Die beiden Komponenten lassen sich im äquivalenten Tiefpassbereich auch als Realteil bzw. Imaginärteil eines komplexen Rauschterms $N$ beschreiben. Alle oben genannten Verfahren sind zweidimensional. Der (komplexe) AWGN–Kanal stellt somit $K$ = 2 voneinander unabhängige Gaußkanäle zur Verfügung. Entsprechend Kapitel 4.2 ergibt sich deshalb für die Kapazität dieses Kanals:

$$C_{\rm Gauss, \hspace{0.1cm}komplex}= C_{\rm Gesamt} ( K=2) = {\rm log}_2 \hspace{0.1cm} ( 1 + \frac{P_X/2}{\sigma^2}) \hspace{0.05cm}.$$

• Die gesamte Nutzleistung von Inphase– und Quadraturkomponente wird mit $P_X$ bezeichnet.
• Dagegen bezieht sich die Varianz $σ^2$ der Störung nur auf eine Dimension: $σ^2 = σ_I^2 = σ_Q^2$.

Die rechte Abbildung zeigt die 2D–WDF $f_N(n)$ des Gaußschen Rauschprozesses $N$ über den beiden Achsen

• $N_I$ (Inphase–Anteil, Realteil) und
• $N_Q$ (Quadraturanteil, Imaginärteil).

Dunklere Bereiche der rotationssymmetrischen WDF $f_N(n)$ um den Nullpunkt weisen auf mehr Störanteile hin. Für die Varianz des komplexen Gaußschen Rauschens $N$ gilt aufgrund der Rotationsinvarianz $(σ_R = σ_I)$ folgender Zusammenhang:

$$\sigma_N^2 = \sigma_{\rm I}^2 + \sigma_{\rm Q}^2 = 2\cdot \sigma^2 \hspace{0.05cm}.$$

Damit lässt sich die Kanalkapazität auch wie folgt ausdrücken:

$$C_{\rm Gauss, \hspace{0.1cm}komplex}= {\rm log}_2 \hspace{0.1cm} ( 1 + \frac{P_X}{\sigma_N^2}) = {\rm log}_2 \hspace{0.1cm} ( 1 + SNR) \hspace{0.05cm}.$$

Diese Gleichung wird auf der nächsten Seite numerisch ausgewertet. Bereits aus dieser Gleichung ist zu ersehen, dass für das Signal–zu–Störleistungsverhältnis gilt:

$$SNR = {P_X}/{\sigma_N^2} \hspace{0.05cm}.$$

Maximale Coderate für QAM–Strukturen

In der Grafik ist die Kanalkapazität des komplexen AWGN–Kanals als rote Kurve dargestellt:

$$C_{\rm Gauss, \hspace{0.1cm}komplex}= {\rm log}_2 \hspace{0.1cm} ( 1 + SNR) \hspace{0.05cm}.$$

Die Einheit dieser Kanalkapazität ist wieder „bit/Kanalzugriff” oder „bit/Quellensymbol”. Als Abszisse ist der Signal–zu–Störleistungsverhältnis 10 · log (SNR) mit $\text{SNR} = P_X/σ_N^2$ aufgetragen. Die rote Kurve basiert entsprechend der Shannon–Theorie wieder auf einer Gaußverteilung $f_X(x)$ am Eingang. Zusätzlich eingezeichnet sind zehn weitere Kapazitätskurven für wertdiskreten Eingang:

• die BPSK (mit „1” markiert),
• die M–QAM, ( $M$ = 22, ..., 210 ).

Diese Grafik wurde der Dissertation entnommen. Wir danken unserem ehemaligen Kollegen am LNT, Dr.-Ing. Bernhard Göbel, für sein Einverständnis, diese Abbildung verwenden zu dürfen, sowie für seine Unterstützung unseres Lerntutorials.

Man erkennt aus dieser Darstellung:

• Die BPSK–Kurve sowie alle $M$–QAM–Kurven liegen rechts von der Shannon–Grenzkurve. Bei kleinem SNR sind alle Kurven von der roten Kurve fast nicht mehr zu unterscheiden.
• Der Endwert aller Kurven für wertdiskrete Eingangssignale ist $\log_2 (M)$. Für SNR → $∞$ erhält man beispielsweise $C_{\rm BPSK}$ = 1 bit/Symbol sowie $C_{\rm 4-QAM}$ = $C_{\rm QPSK}$ = 2 bit/Symbol.
• Die blauen Markierungen zeigen, dass eine $2^{10}$–QAM mit 10 · lg (SNR) ≈ 27 dB eine Coderate von $R$ ≈ 8,2 ermöglicht. Der Abstand zur Shannon–Kurve beträgt hier 1.53 dB.
• Man spricht hier von einem Shaping Gain von 10 · lg $(πe$/6) = 1.53 dB. Diese Verbesserung lässt sich erzielen, wenn man die Lage der $32^2$ quadratisch angeordneten Signalraumpunkte so ändern würde, dass sich eine gaußähnliche Eingangs–WDF ergibt ⇒ Signal Shaping.

In der Aufgabe A4.10 werden die AWGN–Kapazitätskurven von BPSK und QPSK diskutiert:

• Ausgehend von der Abszisse 10 · lg $(E_B/N_0)$ mit der Energie $E_B$ pro Informationsbit kommt man zur QPSK–Kurve durch Verdopplung der BPSK–Kurve:

$$C_{\rm QPSK}(10 \cdot {\rm lg} \hspace{0.1cm}(E_{\rm B}/{N_0})) = 2 \cdot C_{\rm BPSK}(10 \cdot {\rm lg} \hspace{0.1cm}(E_{\rm B}/{N_0}) ) .$$

• Vergleicht man aber BPSK und QPSK bei gleicher Energie pro Informationssymbol $(E_S)$, so gilt:

$$C_{\rm QPSK}(10 \cdot {\rm lg} \hspace{0.1cm}E_{\rm S}/{N_0}) = 2 \cdot C_{\rm BPSK}(10 \cdot {\rm lg} \hspace{0.1cm}E_{\rm S}/{N_0} - 3\,{\rm dB}) .$$

Hierbei ist berücksichtigt, dass bei QPSK die Energie in einer Dimension nur $E_S$/2 beträgt.