Aufgaben:Aufgabe 4.3: WDF–Vergleich bezüglich differentieller Entropie: Unterschied zwischen den Versionen

Aus LNTwww
Wechseln zu:Navigation, Suche
Zeile 93: Zeile 93:
 
\hspace{0.5cm}{\rm mit}\hspace{0.5cm}
 
\hspace{0.5cm}{\rm mit}\hspace{0.5cm}
 
A = \frac{1}{\sqrt{2\pi  \sigma^2}}\hspace{0.05cm}.$$
 
A = \frac{1}{\sqrt{2\pi  \sigma^2}}\hspace{0.05cm}.$$
Logarithmiert man diese Funktion, so erhält man als Ergebnis den <u>Lösungsvorschlag 1</u>:
+
*Logarithmiert man diese Funktion, so erhält man als Ergebnis den <u>Lösungsvorschlag 1</u>:
 
:$${\rm ln}\hspace{0.1cm} \big [f_X(x) \big ] = {\rm ln}\hspace{0.1cm}(A) +
 
:$${\rm ln}\hspace{0.1cm} \big [f_X(x) \big ] = {\rm ln}\hspace{0.1cm}(A) +
 
{\rm ln}\hspace{0.1cm}\left [{\rm exp} (  
 
{\rm ln}\hspace{0.1cm}\left [{\rm exp} (  
 
- \hspace{0.05cm}\frac{x ^2}{2 \sigma^2}) \right ]  
 
- \hspace{0.05cm}\frac{x ^2}{2 \sigma^2}) \right ]  
 
= {\rm ln}\hspace{0.1cm}(A) - \frac{x ^2}{2 \sigma^2}\hspace{0.05cm}.$$
 
= {\rm ln}\hspace{0.1cm}(A) - \frac{x ^2}{2 \sigma^2}\hspace{0.05cm}.$$
 +
  
  
 
'''(2)'''&nbsp; <u>Beide Lösungsvorschläge</u> sind richtig.
 
'''(2)'''&nbsp; <u>Beide Lösungsvorschläge</u> sind richtig.
*Mit dem Ergebnis aus '''(1)''' erhält man für die differentielle Entropie in &bdquo;nat&rdquo;:
+
*Mit dem Ergebnis aus&nbsp; '''(1)'''&nbsp; erhält man für die differentielle Entropie in &bdquo;nat&rdquo;:
 
:$$h_{\rm nat}(X)=  -\hspace{-0.1cm}  \int_{-\infty}^{+\infty} \hspace{-0.15cm}  f_X(x) \cdot {\rm ln} \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x =
 
:$$h_{\rm nat}(X)=  -\hspace{-0.1cm}  \int_{-\infty}^{+\infty} \hspace{-0.15cm}  f_X(x) \cdot {\rm ln} \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x =
 
- {\rm ln}\hspace{0.1cm}(A) \cdot  
 
- {\rm ln}\hspace{0.1cm}(A) \cdot  
Zeile 107: Zeile 108:
 
+ \frac{1}{2 \sigma^2} \cdot \int_{-\infty}^{+\infty} \hspace{-0.15cm}  x^2 \cdot f_X(x) \hspace{0.1cm}{\rm d}x = - {\rm ln}\hspace{0.1cm}(A)  + {1}/{2}
 
+ \frac{1}{2 \sigma^2} \cdot \int_{-\infty}^{+\infty} \hspace{-0.15cm}  x^2 \cdot f_X(x) \hspace{0.1cm}{\rm d}x = - {\rm ln}\hspace{0.1cm}(A)  + {1}/{2}
 
\hspace{0.05cm}.$$
 
\hspace{0.05cm}.$$
*Hierbei ist berücksichtigt, dass das erste Integral gleich $1$ ist (WDF&ndash;Fläche) und das zweite Integral gleich die Varianz $\sigma^2$ angibt (wenn wie hier der Gleichanteil $m_1 = = 0$ ist).  
+
*Hierbei ist berücksichtigt, dass das erste Integral gleich&nbsp; $1$&nbsp; ist&nbsp; (WDF&ndash;Fläche).
*Ersetzt man die Abkürzungsvariable $A$, so erhält man:
+
*Das zweite Integral gibt zugleich die Varianz&nbsp; $\sigma^2$ an&nbsp; (wenn wie hier der Gleichanteil&nbsp; $m_1 = 0$&nbsp; ist).  
 +
*Ersetzt man die Abkürzungsvariable&nbsp; $A$, so erhält man:
 
:$$h_{\rm nat}(X) \hspace{-0.15cm}  =  \hspace{-0.15cm}  - {\rm ln}\hspace{0.05cm}\left (\frac{1}{\sqrt{2\pi  \sigma^2}} \right )  + {1}/{2} = {1}/{2}\cdot {\rm ln}\hspace{0.05cm}\left ({2\pi  \sigma^2} \right ) + {1}/{2} \cdot {\rm ln}\hspace{0.05cm}\left ( {\rm e} \right ) = {1}/{2} \cdot {\rm ln}\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right )
 
:$$h_{\rm nat}(X) \hspace{-0.15cm}  =  \hspace{-0.15cm}  - {\rm ln}\hspace{0.05cm}\left (\frac{1}{\sqrt{2\pi  \sigma^2}} \right )  + {1}/{2} = {1}/{2}\cdot {\rm ln}\hspace{0.05cm}\left ({2\pi  \sigma^2} \right ) + {1}/{2} \cdot {\rm ln}\hspace{0.05cm}\left ( {\rm e} \right ) = {1}/{2} \cdot {\rm ln}\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right )
 
\hspace{0.05cm}.$$
 
\hspace{0.05cm}.$$
*Soll die  differentielle Entropie $h(X)$ nicht in &bdquo;nat&rdquo; angegeben werden, sondern in &bdquo;bit&rdquo;, so ist für den Logarithmus die Basis 2 zu wählen:
+
*Soll die  differentielle Entropie&nbsp; $h(X)$&nbsp; nicht in &bdquo;nat&rdquo; angegeben werden, sondern in &bdquo;bit&rdquo;,&nbsp; so ist für den Logarithmus die Basis&nbsp; $2$&nbsp; zu wählen:
 
:$$h_{\rm bit}(X) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right )
 
:$$h_{\rm bit}(X) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right )
 
\hspace{0.05cm}.$$
 
\hspace{0.05cm}.$$
  
  
'''(3)'''&nbsp; Nach der impliziten Definition $h(X) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.05cm}\rm L} \cdot \sigma^2)$ ergibt sich somit für die Kenngröße:
+
 
 +
'''(3)'''&nbsp; Nach der impliziten Definition&nbsp; $h(X) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.01cm}\rm L} \cdot \sigma^2)$&nbsp; ergibt sich somit für die Kenngröße:
 
:$${\it \Gamma}_{\rm L} = 2\pi {\rm e} \hspace{0.15cm}\underline{\approx 17.08}
 
:$${\it \Gamma}_{\rm L} = 2\pi {\rm e} \hspace{0.15cm}\underline{\approx 17.08}
 
\hspace{0.05cm}.$$
 
\hspace{0.05cm}.$$
  
  
'''(4)'''&nbsp; Wir betrachten nun eine Gaußsche Wahrscheinlichkeitsdichtefunktion mit Mittelwert $m_1$:
+
 
 +
'''(4)'''&nbsp; Wir betrachten nun eine Gaußsche Wahrscheinlichkeitsdichtefunktion mit Mittelwert&nbsp; $m_1$:
 
:$$f_X(x) = \frac{1}{\sqrt{2\pi  \sigma^2}} \cdot {\rm exp}\left [  
 
:$$f_X(x) = \frac{1}{\sqrt{2\pi  \sigma^2}} \cdot {\rm exp}\left [  
 
- \hspace{0.05cm}\frac{(x -m_1)^2}{2 \sigma^2} \right ]
 
- \hspace{0.05cm}\frac{(x -m_1)^2}{2 \sigma^2} \right ]
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$
* Das zweite Moment $m_2 = {\rm E}\big [X ^2 \big ]$ kann man auch als die Leistung $P$ bezeichnen, während für die Varianz gilt  (ist gleichzeitig das zweite Zentralmoment): &
+
* Das zweite Moment&nbsp; $m_2 = {\rm E}\big [X ^2 \big ]$&nbsp; kann man auch als die Leistung&nbsp; $P$&nbsp; bezeichnen, während für die Varianz gilt  (ist gleichzeitig das zweite Zentralmoment):  
 
:$$\sigma^2 = {\rm E}\big [|X – m_1|^2 \big ] = \mu_2.$$   
 
:$$\sigma^2 = {\rm E}\big [|X – m_1|^2 \big ] = \mu_2.$$   
* Nach dem Satz von Steiner gilt $P =  m_2 = m_1^2 + \sigma^2$. Unter der Voraussetzung &nbsp;$m_1 = \sigma = 1$ ist somit $\underline{P/\sigma^2 = 2}$.
+
* Nach dem Satz von Steiner gilt&nbsp; $P =  m_2 = m_1^2 + \sigma^2$.&nbsp; Unter der Voraussetzung &nbsp;$m_1 = \sigma = 1$&nbsp; ist somit&nbsp; $\underline{P/\sigma^2 = 2}$.
  
*Durch den Gleichanteil wird zwar die Leistung verdoppelt. An der differentiellen Entropie ändert sich dadurch aber nichts. Es gilt somit weiterhin:
+
*Durch den Gleichanteil wird zwar die Leistung verdoppelt.&nbsp; An der differentiellen Entropie ändert sich dadurch aber nichts.&nbsp; Es gilt somit weiterhin:
 
:$$h(X) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right )= {1}/{2} \cdot {\rm log}_2\hspace{0.05cm} (17.08)\hspace{0.15cm}\underline{\approx 2.047\,{\rm bit}}
 
:$$h(X) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right )= {1}/{2} \cdot {\rm log}_2\hspace{0.05cm} (17.08)\hspace{0.15cm}\underline{\approx 2.047\,{\rm bit}}
 
\hspace{0.05cm}.$$
 
\hspace{0.05cm}.$$
  
  
[[Datei:P_ID2876__Inf_A_4_3e_neu.png|right|frame|Vervollständigte Ergebnistabelle für $h(X)$]]
+
[[Datei:P_ID2876__Inf_A_4_3e_neu.png|right|frame|Vervollständigte Ergebnistabelle für&nbsp; $h(X)$]]
'''(5)'''&nbsp; In der vervollständigten Tabelle sind auch die numerischen Werte der Kenngrößen ${\it \Gamma}_{\rm L}$ und ${\it \Gamma}_{\rm A}$ eingetragen.
+
'''(5)'''&nbsp; In der vervollständigten Tabelle sind auch die numerischen Werte der Kenngrößen&nbsp; ${\it \Gamma}_{\rm L}$&nbsp; und&nbsp; ${\it \Gamma}_{\rm A}$&nbsp; eingetragen.
  
Eine Wahrscheinlichkeitsdichtefunktion $f_X(x)$ ist bei  Leistungsbegrenzung immer dann besonders günstig, wenn der Wert $\Gamma_{\rm L}$ (rechte Spalte) möglichst groß ist. Dann ist die differentielle Entropie $h(X)$ ebenfalls groß.
+
Eine Wahrscheinlichkeitsdichtefunktion&nbsp; $f_X(x)$&nbsp; ist bei  Leistungsbegrenzung immer dann besonders günstig, wenn der Wert&nbsp; ${\it \Gamma}_{\rm L}$&nbsp; (rechte Spalte)&nbsp; möglichst groß ist.&nbsp; Dann ist die differentielle Entropie&nbsp; $h(X)$&nbsp; ebenfalls groß.
  
 
Die numerischen Ergebnisse lassen sich wie folgt interpretieren:
 
Die numerischen Ergebnisse lassen sich wie folgt interpretieren:
* Wie imTheorieteil bewiesen wird, führt die Gaußverteilung $f_4(x)$ hier zum größtmöglichen ${\it \Gamma}_{\rm L} &asymp; 17.08$ &nbsp; &#8658; &nbsp; der <u>Lösungsvorschlag 1</u> ist richtig (der Wert in der letzten Spalte rot markiert).
+
* Wie imTheorieteil bewiesen wird, führt die Gaußverteilung&nbsp; $f_4(x)$&nbsp; hier zum größtmöglichen&nbsp; ${\it \Gamma}_{\rm L} &asymp; 17.08$ &nbsp; &#8658; &nbsp; der <u>Lösungsvorschlag 1</u> ist richtig (der Wert in der letzten Spalte ist rot markiert).
* Für die Gleichverteilung $f_1(x)$ ist die Kenngröße ${\it \Gamma}_{\rm L} = 12$ die kleinste in der gesamten Tabelle &nbsp; &#8658; &nbsp;  der Lösungsvorschlag 2 ist falsch.
+
* Für die Gleichverteilung&nbsp; $f_1(x)$&nbsp; ist die Kenngröße ${\it \Gamma}_{\rm L} = 12$&nbsp; die kleinste in der gesamten Tabelle &nbsp; &#8658; &nbsp;  der Lösungsvorschlag 2 ist falsch.
* Die Dreieckverteilung $f_2(x)$ ist mit ${\it \Gamma}_{\rm L} = 16.31$  günstiger als die Gleichverteilung &nbsp; &#8658; &nbsp;  der Lösungsvorschlag 3 ist falsch.
+
* Die Dreieckverteilung&nbsp; $f_2(x)$&nbsp; ist mit&nbsp; ${\it \Gamma}_{\rm L} = 16.31$&nbsp; günstiger als die Gleichverteilung &nbsp; &#8658; &nbsp;  der Lösungsvorschlag 3 ist falsch.
*Die Dreieckverteilung $f_2(x)$ ist auch besser als die Laplaceverteilung $f_2(x) \ \ ({\it \Gamma}_{\rm L} = 14.78)$ &nbsp; &#8658; &nbsp; der <u>Lösungsvorschlag 4</u> ist richtig.  
+
*Die Dreieckverteilung&nbsp; $f_2(x)$&nbsp; ist auch besser als die Laplaceverteilung&nbsp; $f_2(x) \ \ ({\it \Gamma}_{\rm L} = 14.78)$ &nbsp; &#8658; &nbsp; der <u>Lösungsvorschlag 4</u> ist richtig.  
 +
 
  
  
  
'''(6)'''&nbsp; Eine WDF $f_X(x)$ ist unter der Nebenbedingung der Spitzenwertbegrenzung &nbsp; &#8658; &nbsp;  $|X| ≤ A$ günstig hinsichtlich der differentiellen Entropie $h(X)$, wenn der Bewertungsfaktor  ${\it \Gamma}_{\rm A}$ (mittlere Spalte) möglichst groß ist:
+
'''(6)'''&nbsp; Eine WDF&nbsp; $f_X(x)$&nbsp; ist unter der Nebenbedingung der Spitzenwertbegrenzung &nbsp; &#8658; &nbsp;  $|X| ≤ A$ günstig hinsichtlich der differentiellen Entropie&nbsp; $h(X)$, wenn der Bewertungsfaktor&nbsp; ${\it \Gamma}_{\rm A}$&nbsp; (mittlere Spalte)&nbsp; möglichst groß ist:
* Wie im Theorieteil gezeigt wird, führt die Gleichverteilung $f_1(x)$ hier zum größtmöglichen ${\it \Gamma}_{\rm A}= 2$  &nbsp;  &#8658; &nbsp; der <u>Lösungsvorschlag 2</u> ist richtig (der Wert in der mittleren Spalte ist rot markiert).
+
* Wie im Theorieteil gezeigt wird, führt die Gleichverteilung&nbsp; $f_1(x)$&nbsp; hier zum größtmöglichen&nbsp; ${\it \Gamma}_{\rm A}= 2$  &nbsp;  &#8658; &nbsp; der <u>Lösungsvorschlag 2</u> ist richtig (der Wert in der mittleren Spalte ist rot markiert).
* Die ebenfalls spitzenwertbegrenzte Dreieckverteilung $f_2(x)$ ist durch ein etwas kleineres  ${\it \Gamma}_{\rm A}= = 1.649$ gekennzeichnet &nbsp; &#8658; &nbsp; der Lösungsvorschlag 3 ist falsch.  
+
* Die ebenfalls spitzenwertbegrenzte Dreieckverteilung&nbsp; $f_2(x)$&nbsp; ist durch ein etwas kleineres&nbsp; ${\it \Gamma}_{\rm A}= 1.649$&nbsp; gekennzeichnet &nbsp; &#8658; &nbsp; der Lösungsvorschlag 3 ist falsch.  
* Die Gaußverteilung $f_2(x)$ ist unendlich weit ausgedehnt. Eine Spitzenwertbegrenzung auf $|X| ≤ A$ führt hier zu Diracfunktionen in der WDF &nbsp; &#8658; &nbsp; $h(X) \to - \infty$, siehe Musterlösung zur Aufgabe 4.2Z, Teilaufgabe '''(4)'''.
+
* Die Gaußverteilung&nbsp; $f_4(x)$&nbsp; ist unendlich weit ausgedehnt.&nbsp; Eine Spitzenwertbegrenzung auf&nbsp; $|X| ≤ A$ führt hier zu Diracfunktionen in der WDF &nbsp; &#8658; &nbsp; $h(X) \to - \infty$, siehe Musterlösung zur Aufgabe 4.2Z, Teilaufgabe '''(4)'''.
* Gleiches würde auch für die Laplaceverteilung $f_3(x)$ gelten.
+
* Gleiches würde auch für die Laplaceverteilung&nbsp; $f_3(x)$&nbsp; gelten.
  
 
{{ML-Fuß}}
 
{{ML-Fuß}}

Version vom 10. Februar 2020, 18:10 Uhr

$h(X)$  für vier Dichtefunktionen

Nebenstehende Tabelle zeigt das Vergleichsergebnis hinsichtlich der differentiellen Entropie  $h(X)$  für

$$f_1(x) = \left\{ \begin{array}{c} 1/(2A) \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} |x| \le A \\ {\rm sonst} \\ \end{array} ,$$
$$f_2(x) = \left\{ \begin{array}{c} 1/A \cdot \big [1 - |x|/A \big ] \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} |x| \le A \\ {\rm sonst} \\ \end{array} ,$$
$$f_3(x) = \lambda/2 \cdot {\rm e}^{-\lambda \hspace{0.05cm} \cdot \hspace{0.05cm}|x|}\hspace{0.05cm}.$$

Die Werte für die  Gaußverteilung   ⇒   $f_X(x) = f_4(x)$  mit

$$f_4(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \cdot {\rm e}^{ - \hspace{0.05cm}{x ^2}/{(2 \sigma^2})}$$

sind hier noch nicht eingetragen.  Diese sollen in den Teilaufgaben  (1)  bis  (3)  ermittelt werden.

Alle hier betrachteten Wahrscheinlichkeitsdichtefunktionen sind

  • symmetrisch um  $x = 0$    ⇒   $f_X(-x) = f_X(x)$
  • und damit mittelwertfrei   ⇒  $m_1 = 0$.


In allen hier betrachteten Fällen kann die differentielle Entropie wie folgt dargestellt werden:

$$h(X) = {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.01cm}\rm A} \cdot A) \hspace{0.05cm},$$
  • Unter der Nebenbedingung  ${\rm E}\big [|X – m_1|^2 \big ] ≤ σ^2$   ⇒   Leistungsbegrenzung:
$$h(X) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.01cm}\rm L} \cdot \sigma^2) \hspace{0.05cm}.$$

Je größer die jeweilige Kenngröße  ${\it \Gamma}_{\hspace{-0.01cm}\rm A}$  bzw.  ${\it \Gamma}_{\hspace{-0.01cm}\rm L}$  ist, desto günstiger ist bei der vereinbarten Nebenbedingung die vorliegende WDF hinsichtlich der differentiellen Entropie.





Hinweise:

  • Die Aufgabe gehört zum Kapitel  Differentielle Entropie.
  • Nützliche Hinweise zur Lösung dieser Aufgabe finden Sie insbesondere auf den Seiten
Differentielle Entropie einiger spitzenwertbegrenzter Zufallsgrößen  sowie
Differentielle Entropie einiger leistungsbegrenzter Zufallsgrößen.



Fragebogen

1

Welche Gleichung gilt für den Logarithmus der Gauß–WDF?

Es gilt:   $\ln \big[f_X(x) \big] = \ln (A) - x^2/(2 \sigma^2)$   mit   $A = f_X(x=0)$.
Es gilt:   $\ln \big [f_X(x) \big] = A - \ln (x^2/(2 \sigma^2)$   mit   $A = f_X(x=0)$.

2

Welche Gleichung gilt für die differentielle Entropie der Gauß–WDF?

Es gilt:   $h(X)= 1/2 \cdot \ln (2\pi\hspace{0.05cm}{\rm e}\hspace{0.05cm}\sigma^2)$  mit der Pseudoeinheit „nat”.
Es gilt:   $h(X)= 1/2 \cdot \log_2 (2\pi\hspace{0.05cm}{\rm e}\hspace{0.05cm}\sigma^2)$  mit der Pseudoeinheit „bit”.

3

Ergänzen Sie den fehlenden Eintrag für die Gauß–WDF in obiger Tabelle.

${\it \Gamma}_{\rm L} \ = \ $

4

Welche Werte erhält man für die Gauß–WDF mit dem Gleichanteil  $m_1 = \sigma = 1$?

$P/\sigma^2 \ = \ $

$h(X) \ = \ $

$\ \rm bit$

5

Welche der Aussagen stimmen für die differentielle Entropie  $h(X)$  unter der Nebenbedingung „Leistungsbegrenzung” auf  ${\rm E}\big[|X – m_1|^2\big] ≤ σ^2$?

Die Gaußverteilung   ⇒   $f_4(x)$  führt zum maximalen  $h(X)$.
Die Gleichverteilung   ⇒   $f_1(x)$  führt zum maximalen  $h(X)$.
Die Dreieck–WDF   ⇒   $f_2(x)$  ist sehr ungünstig, da spitzenwertbegrenzt.
Die Dreieck–WDF   ⇒   $f_2(x)$  ist günstiger als die Laplaceverteilung   ⇒   $f_3(x)$.

6

Welche der Aussagen stimmen bei „Spitzenwertbegrenzung” auf den Bereich  $|X| ≤ A$.  Die maximale differentielle Entropie  $h(X)$  ergibt sich für

eine Gauß–WDF   ⇒   $f_4(x)$  mit anschließender Begrenzung   ⇒  $|X| ≤ A$,
die Gleichverteilung   ⇒   $f_1(x)$,
die Dreieckverteilung   ⇒   $f_2(x)$.


Musterlösung

(1)  Wir gehen von der mittelwertfreien Gauß–WDF aus:

$$f_X(x) = f_4(x) =A \cdot {\rm exp} [ - \hspace{0.05cm}\frac{x ^2}{2 \sigma^2}] \hspace{0.5cm}{\rm mit}\hspace{0.5cm} A = \frac{1}{\sqrt{2\pi \sigma^2}}\hspace{0.05cm}.$$
  • Logarithmiert man diese Funktion, so erhält man als Ergebnis den Lösungsvorschlag 1:
$${\rm ln}\hspace{0.1cm} \big [f_X(x) \big ] = {\rm ln}\hspace{0.1cm}(A) + {\rm ln}\hspace{0.1cm}\left [{\rm exp} ( - \hspace{0.05cm}\frac{x ^2}{2 \sigma^2}) \right ] = {\rm ln}\hspace{0.1cm}(A) - \frac{x ^2}{2 \sigma^2}\hspace{0.05cm}.$$


(2)  Beide Lösungsvorschläge sind richtig.

  • Mit dem Ergebnis aus  (1)  erhält man für die differentielle Entropie in „nat”:
$$h_{\rm nat}(X)= -\hspace{-0.1cm} \int_{-\infty}^{+\infty} \hspace{-0.15cm} f_X(x) \cdot {\rm ln} \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x = - {\rm ln}\hspace{0.1cm}(A) \cdot \int_{-\infty}^{+\infty} \hspace{-0.15cm} f_X(x) \hspace{0.1cm}{\rm d}x + \frac{1}{2 \sigma^2} \cdot \int_{-\infty}^{+\infty} \hspace{-0.15cm} x^2 \cdot f_X(x) \hspace{0.1cm}{\rm d}x = - {\rm ln}\hspace{0.1cm}(A) + {1}/{2} \hspace{0.05cm}.$$
  • Hierbei ist berücksichtigt, dass das erste Integral gleich  $1$  ist  (WDF–Fläche).
  • Das zweite Integral gibt zugleich die Varianz  $\sigma^2$ an  (wenn wie hier der Gleichanteil  $m_1 = 0$  ist).
  • Ersetzt man die Abkürzungsvariable  $A$, so erhält man:
$$h_{\rm nat}(X) \hspace{-0.15cm} = \hspace{-0.15cm} - {\rm ln}\hspace{0.05cm}\left (\frac{1}{\sqrt{2\pi \sigma^2}} \right ) + {1}/{2} = {1}/{2}\cdot {\rm ln}\hspace{0.05cm}\left ({2\pi \sigma^2} \right ) + {1}/{2} \cdot {\rm ln}\hspace{0.05cm}\left ( {\rm e} \right ) = {1}/{2} \cdot {\rm ln}\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right ) \hspace{0.05cm}.$$
  • Soll die differentielle Entropie  $h(X)$  nicht in „nat” angegeben werden, sondern in „bit”,  so ist für den Logarithmus die Basis  $2$  zu wählen:
$$h_{\rm bit}(X) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right ) \hspace{0.05cm}.$$


(3)  Nach der impliziten Definition  $h(X) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.01cm}\rm L} \cdot \sigma^2)$  ergibt sich somit für die Kenngröße:

$${\it \Gamma}_{\rm L} = 2\pi {\rm e} \hspace{0.15cm}\underline{\approx 17.08} \hspace{0.05cm}.$$


(4)  Wir betrachten nun eine Gaußsche Wahrscheinlichkeitsdichtefunktion mit Mittelwert  $m_1$:

$$f_X(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \cdot {\rm exp}\left [ - \hspace{0.05cm}\frac{(x -m_1)^2}{2 \sigma^2} \right ] \hspace{0.05cm}.$$
  • Das zweite Moment  $m_2 = {\rm E}\big [X ^2 \big ]$  kann man auch als die Leistung  $P$  bezeichnen, während für die Varianz gilt (ist gleichzeitig das zweite Zentralmoment):
$$\sigma^2 = {\rm E}\big [|X – m_1|^2 \big ] = \mu_2.$$
  • Nach dem Satz von Steiner gilt  $P = m_2 = m_1^2 + \sigma^2$.  Unter der Voraussetzung  $m_1 = \sigma = 1$  ist somit  $\underline{P/\sigma^2 = 2}$.
  • Durch den Gleichanteil wird zwar die Leistung verdoppelt.  An der differentiellen Entropie ändert sich dadurch aber nichts.  Es gilt somit weiterhin:
$$h(X) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right )= {1}/{2} \cdot {\rm log}_2\hspace{0.05cm} (17.08)\hspace{0.15cm}\underline{\approx 2.047\,{\rm bit}} \hspace{0.05cm}.$$


Vervollständigte Ergebnistabelle für  $h(X)$

(5)  In der vervollständigten Tabelle sind auch die numerischen Werte der Kenngrößen  ${\it \Gamma}_{\rm L}$  und  ${\it \Gamma}_{\rm A}$  eingetragen.

Eine Wahrscheinlichkeitsdichtefunktion  $f_X(x)$  ist bei Leistungsbegrenzung immer dann besonders günstig, wenn der Wert  ${\it \Gamma}_{\rm L}$  (rechte Spalte)  möglichst groß ist.  Dann ist die differentielle Entropie  $h(X)$  ebenfalls groß.

Die numerischen Ergebnisse lassen sich wie folgt interpretieren:

  • Wie imTheorieteil bewiesen wird, führt die Gaußverteilung  $f_4(x)$  hier zum größtmöglichen  ${\it \Gamma}_{\rm L} ≈ 17.08$   ⇒   der Lösungsvorschlag 1 ist richtig (der Wert in der letzten Spalte ist rot markiert).
  • Für die Gleichverteilung  $f_1(x)$  ist die Kenngröße ${\it \Gamma}_{\rm L} = 12$  die kleinste in der gesamten Tabelle   ⇒   der Lösungsvorschlag 2 ist falsch.
  • Die Dreieckverteilung  $f_2(x)$  ist mit  ${\it \Gamma}_{\rm L} = 16.31$  günstiger als die Gleichverteilung   ⇒   der Lösungsvorschlag 3 ist falsch.
  • Die Dreieckverteilung  $f_2(x)$  ist auch besser als die Laplaceverteilung  $f_2(x) \ \ ({\it \Gamma}_{\rm L} = 14.78)$   ⇒   der Lösungsvorschlag 4 ist richtig.



(6)  Eine WDF  $f_X(x)$  ist unter der Nebenbedingung der Spitzenwertbegrenzung   ⇒   $|X| ≤ A$ günstig hinsichtlich der differentiellen Entropie  $h(X)$, wenn der Bewertungsfaktor  ${\it \Gamma}_{\rm A}$  (mittlere Spalte)  möglichst groß ist:

  • Wie im Theorieteil gezeigt wird, führt die Gleichverteilung  $f_1(x)$  hier zum größtmöglichen  ${\it \Gamma}_{\rm A}= 2$   ⇒   der Lösungsvorschlag 2 ist richtig (der Wert in der mittleren Spalte ist rot markiert).
  • Die ebenfalls spitzenwertbegrenzte Dreieckverteilung  $f_2(x)$  ist durch ein etwas kleineres  ${\it \Gamma}_{\rm A}= 1.649$  gekennzeichnet   ⇒   der Lösungsvorschlag 3 ist falsch.
  • Die Gaußverteilung  $f_4(x)$  ist unendlich weit ausgedehnt.  Eine Spitzenwertbegrenzung auf  $|X| ≤ A$ führt hier zu Diracfunktionen in der WDF   ⇒   $h(X) \to - \infty$, siehe Musterlösung zur Aufgabe 4.2Z, Teilaufgabe (4).
  • Gleiches würde auch für die Laplaceverteilung  $f_3(x)$  gelten.