Aufgabe 4.3: WDF–Vergleich bezüglich differentieller Entropie
Nebenstehende Tabelle zeigt das Vergleichsergebnis hinsichtlich der differentiellen Entropie h(X) für
- die Gleichverteilung ⇒ fX(x) = f1(x):
$$f_1(x) = \left\{ \begin{array}{c} 1/(2A) \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} |x| \le A \\ {\rm sonst} \\ \end{array} ,$$
- die Dreieckverteilung ⇒ fX(x) = f2(x):
$$f_2(x) = \left\{ \begin{array}{c} 1/A \cdot [1 - |x|/A] \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} |x| \le A \\ {\rm sonst} \\ \end{array} ,$$
- die Laplaceverteilung ⇒ fX(x) = f3(x):
$$f_3(x) = \lambda/2 \cdot {\rm exp}[-\lambda \cdot |x|]\hspace{0.05cm}.$$
Die Werte für die Gaußverteilung ⇒ fX(x) = f4(x) $$f_4(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \cdot {\rm exp} [ - \hspace{0.05cm}{x ^2}/{(2 \sigma^2})]$$ sind hier noch nicht eingetragen. Diese sollen in den Teilaufgaben (a) bis (c) ermittelt werden.
Alle hier betrachteten Wahrscheinlichkeitsdichtefunktionen sind
- symmetrisch um x = 0 ⇒ fX(–x) = fX(x)
- und damit mittelwertfrei ⇒ m1 = 0.
In allen hier betrachteten Fällen kann die differentielle Entropie wie folgt dargestellt werden:
- Unter der Nebenbedingung |X| ≤ A ⇒ Spitzenwertbegrenzung:
$$h(X) = {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.1cm}\rm A} \cdot A)
\hspace{0.05cm},$$
- Unter der Nebenbedingung E[|X|2] ≤ σ2 ⇒ Leistungsbegrenzung:
$$h(X) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.1cm}\rm L} \cdot \sigma^2)
\hspace{0.05cm}.$$
Je größer die jeweilige Kenngröße ΓA bzw. ΓL ist, desto günstiger ist bei der vereinbarten Nebenbedingung die vorliegende WDF hinsichtlich der differentiellen Entropie.
$$$$Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 4.1.
Fragebogen
Musterlösung
a) Wir gehen von der mittelwertfreien Gauß–WDF aus: $$f_X(x) = f_4(x) =A \cdot {\rm exp} [ - \hspace{0.05cm}\frac{x ^2}{2 \sigma^2}] \hspace{0.5cm}{\rm mit}\hspace{0.5cm} A = \frac{1}{\sqrt{2\pi \sigma^2}}\hspace{0.05cm}.$$ Logarithmiert man diese Funktion, so erhält man als Ergebnis den Lösungsvorschlag 1: $${\rm ln}\hspace{0.1cm} \left [f_X(x) \right ] = {\rm ln}\hspace{0.1cm}(A) + {\rm ln}\hspace{0.1cm}\left [{\rm exp} ( - \hspace{0.05cm}\frac{x ^2}{2 \sigma^2}) \right ] = {\rm ln}\hspace{0.1cm}(A) - \frac{x ^2}{2 \sigma^2}\hspace{0.05cm}.$$ b) Mit diesem Ergebnis erhält man für die differentielle Entropie in „nat”: $$h_{\rm nat}(X) \hspace{-0.15cm} = \hspace{-0.15cm} -\hspace{-0.1cm} \int_{-\infty}^{+\infty} \hspace{-0.15cm} f_X(x) \cdot {\rm ln} \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x$$ $$=\ \hspace{-0.15cm} - {\rm ln}\hspace{0.1cm}(A) \cdot \int_{-\infty}^{+\infty} \hspace{-0.15cm} f_X(x) \hspace{0.1cm}{\rm d}x + \frac{1}{2 \sigma^2} \cdot \int_{-\infty}^{+\infty} \hspace{-0.15cm} x^2 \cdot f_X(x) \hspace{0.1cm}{\rm d}x = - {\rm ln}\hspace{0.1cm}(A) + \frac{1}{2} \hspace{0.05cm}.$$ Hierbei ist berücksichtigt, dass das erste Integral gleich 1 ist (WDF–Fläche) und das zweite Integral gleich die Varianz σ2 angibt (wenn wie hier der Gleichanteil m1 = 0 ist).Ersetzt man die Abkürzungsvariable A, so erhält man: $$h_{\rm nat}(X) \hspace{-0.15cm} = \hspace{-0.15cm} - {\rm ln}\hspace{0.05cm}\left (\frac{1}{\sqrt{2\pi \sigma^2}} \right ) + \frac{1}{2} = \frac{1}{2} \cdot {\rm ln}\hspace{0.05cm}\left ({2\pi \sigma^2} \right ) + \frac{1}{2} \cdot {\rm ln}\hspace{0.05cm}\left ( {\rm e} \right ) = \frac{1}{2} \cdot {\rm ln}\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right ) \hspace{0.05cm}.$$ Soll die differentielle Entropie h(X) nicht in „nat” angegeben werden, sondern in „bit”, so ist für den Logarithmus die Basis 2 zu wählen: $$h_{\rm bit}(X) = \frac{1}{2} \cdot {\rm log}_2\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right ) \hspace{0.05cm}.$$ Das heißt: Hier sind beide Lösungsvorschläge richtig.
c) Nach der impliziten Definition h(X) = 1/2 · log2 (ΓL · σ2) ergibt sich somit für die Kenngröße: $${\it \Gamma}_{\rm L} = 2\pi {\rm e} \hspace{0.15cm}\underline{\approx 17.08} \hspace{0.05cm}.$$ d) Wir betrachten nun eine Gaußsche Wahrscheinlichkeitsdichtefunktion mit Mittelwert m1: $$f_X(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \cdot {\rm exp}\left [ - \hspace{0.05cm}\frac{(x -m_1)^2}{2 \sigma^2} \right ] \hspace{0.05cm}.$$ Das zweite Moment m2 = E[|X|2] kann man auch als die Leistung P bezeichnen, während für die Varianz gilt: σ2 = E[|X – m1|2]= μ2 (ist gleichzeitig das zweite Zentralmoment). Nach dem Satz von Steiner gilt P = m2 = m12 + σ2. Unter der Voraussetzung m1 = σ = 1 ist somit P/σ2 = 2.
Durch den Gleichanteil wird zwar die Leistung verdoppelt. An der differentiellen Entropie ändert sich dadurch aber nichts. Es gilt somit weiterhin: $$h(X) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right )= {1}/{2} \cdot {\rm log}_2\hspace{0.05cm} (17.08)\hspace{0.15cm}\underline{\approx 2.047\,{\rm bit}} \hspace{0.05cm}.$$ 5. 6. 7.
- Unter der Nebenbedingung E[|X|2] ≤ σ2 ⇒ Leistungsbegrenzung:
$$h(X) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.1cm}\rm L} \cdot \sigma^2)
\hspace{0.05cm}.$$
Je größer die jeweilige Kenngröße ΓA bzw. ΓL ist, desto günstiger ist bei der vereinbarten Nebenbedingung die vorliegende WDF hinsichtlich der differentiellen Entropie.
$$$$Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 4.1.
