Informationstheorie/Differentielle Entropie - Versionsgeschichte

Guenter am 18. August 2021 um 15:59 Uhr

2021-08-18T15:59:53Z

Guenter am 18. August 2021 um 15:38 Uhr

2021-08-18T15:38:47Z

Guenter am 18. August 2021 um 12:41 Uhr

2021-08-18T12:41:04Z

Guenter am 18. August 2021 um 12:04 Uhr

2021-08-18T12:04:19Z

Guenter am 18. August 2021 um 11:49 Uhr

2021-08-18T11:49:08Z

Guenter am 18. August 2021 um 11:09 Uhr

2021-08-18T11:09:23Z

Änderungen zeigen

Guenter am 17. August 2021 um 15:39 Uhr

2021-08-17T15:39:40Z

Guenter am 10. Februar 2020 um 14:48 Uhr

2020-02-10T14:48:07Z

Guenter am 10. Februar 2020 um 14:45 Uhr

2020-02-10T14:45:03Z

Guenter am 10. Februar 2020 um 14:42 Uhr

2020-02-10T14:42:07Z

@@ Zeile 349: / Zeile 349: @@
 {{BlaueBox|TEXT=
 $\text{Theorem:}$&nbsp;
-Unter der Nebenbedingung der&nbsp; '''Leistungsbegrenzung'''&nbsp; (englisch:&nbsp; "Power Constraint")&nbsp; führt die '''Gaußverteilung'''
+Unter der Nebenbedingung der&nbsp; '''Leistungsbegrenzung'''&nbsp; (englisch:&nbsp; "Power Constraint")&nbsp; führt die '''Gaußverteilung''',
-:$$f_X(x) = \frac{1}{\sqrt{2\pi  \sigma^2} } \cdot {\rm exp} \left [
+:$$f_X(x) = \frac{1}{\sqrt{2\pi  \sigma^2} } \cdot {\rm e}^{
-- \hspace{0.05cm}\frac{(x - m_1)^2}{2 \sigma^2}\right ]$$
+- \hspace{0.05cm}{(x - m_1)^2}/(2 \sigma^2)},$$
 unabhängig vom Mittelwert&nbsp; $m_1$&nbsp; zur maximalen differentiellen Entropie:
 :$$h(X) = 1/2 \cdot {\rm log} \hspace{0.1cm} (2\pi{\rm e} \cdot \sigma^2)\hspace{0.3cm}\Rightarrow\hspace{0.3cm}{\it \Gamma}_{\rm L} < 2π{\rm e} ≈ 17.08\hspace{0.05cm}.$$

@@ Zeile 308: / Zeile 308: @@
 :$$h(X) =  {\rm log}\,\, ({\it \Gamma}_{\rm A} \cdot A).$$
-Das Argument&nbsp; ${\it \Gamma}_A · A$&nbsp; ist unabhängig davon, welchen Logarithmus man verwendet.&nbsp; Anzufügen ist
+*Anzufügen ist bei Verwendung von&nbsp; $\ln$&nbsp; die Pseudo–Einheit „nat” und bei Verwendung von&nbsp; $\log_2$&nbsp; die Pseudo–Einheit „bit”.
-*bei Verwendung von&nbsp; $\ln$&nbsp; die Pseudo–Einheit „nat”,
+*Die Konstante&nbsp; ${\it \Gamma}_{\rm A}$&nbsp; hängt allein von der WDF-Form ab und gilt nur für&nbsp; &raquo;Spitzenwertbegrenzung&laquo; &nbsp; &rArr; &nbsp; &raquo;$\rm A$mplitudenbegrenzung&laquo;.
-*bei Verwendung von&nbsp; $\log_2$&nbsp; die Pseudo–Einheit „bit”.
+*Eine Gleichverteilung im Bereich&nbsp; $|X| ≤ 1$&nbsp; liefert&nbsp; $h(X) = 1$&nbsp; bit, eine zweite im Bereich&nbsp; $|Y| ≤ 4$&nbsp; dagegen zu&nbsp; $h(Y) = 3$&nbsp; bit.
 <br clear=all>
 {{BlaueBox|TEXT=
 $\text{Theorem:}$&nbsp;
-Unter der Nebenbedingung&nbsp; '''Spitzenwertbegrenzung'''&nbsp; (englisch:&nbsp; ''Peak Constraint'') &nbsp; ⇒ &nbsp; also WDF&nbsp; $f_X(x) = 0$ &nbsp;für&nbsp; $ \vert x \vert > A$  &nbsp; – &nbsp;  führt die&nbsp; '''Gleichverteilung'''&nbsp; zur maximalen differentiellen Entropie:
+Unter der Nebenbedingung&nbsp; '''Spitzenwertbegrenzung'''&nbsp; (englisch:&nbsp; "Peak Constraint") &nbsp; ⇒ &nbsp; also WDF&nbsp; $f_X(x) = 0$ &nbsp;für&nbsp; $ \vert x \vert > A$  &nbsp; – &nbsp;  führt die&nbsp; '''Gleichverteilung'''&nbsp; zur maximalen differentiellen Entropie:
 :$$h_{\rm max}(X) = {\rm log} \hspace{0.1cm} (2A)\hspace{0.05cm}.$$
 Hier ist die geeignete Kenngröße&nbsp; ${\it \Gamma}_{\rm A} = 2$&nbsp; maximal.

@@ Zeile 331: / Zeile 331: @@
 ==Differentielle Entropie einiger leistungsbegrenzter Zufallsgrößen ==
 <br>
-Die differentiellen Entropien&nbsp; $h(X)$&nbsp; für drei beispielhafte Dichtefunktionen&nbsp; $f_X(x)$&nbsp; ohne Begrenzung, die durch entsprechende Parameterwahl alle die gleiche Varianz&nbsp; $σ^2 = {\rm E}\big[|X -m_x|^2 \big]$&nbsp;  und damit gleiche   Streuung&nbsp; $σ$&nbsp; aufweisen, sind der folgenden Tabelle zu entnehmen.&nbsp; Berücksichtigt sind:
+[[Datei:P_ID2873__Inf_T_4_1_S5a_neu.png|right|frame|Differentielle Entropie leistungsbegrenzter Zufallsgrößen]]
 *die&nbsp; [[Stochastische_Signaltheorie/Gaußverteilte_Zufallsgrößen|Gaußverteilung]]'',
 *die&nbsp; [[Stochastische_Signaltheorie/Exponentialverteilte_Zufallsgrößen#Zweiseitige_Exponentialverteilung_.E2.80.93_Laplaceverteilung|Laplaceverteilung]]&nbsp;  ⇒  &nbsp; eine zweiseitige Exponentialverteilung,
@@ Zeile 339: / Zeile 340: @@
-Die differentielle Entropie lässt sich hier stets darstellen als
+Bei&nbsp; &raquo;Leistungsbegrenzung&laquo;&nbsp; lässt sich die differentielle Entropie stets wie folgt darstellen:
 :$$h(X) = 1/2 \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\rm L} \cdot \sigma^2).$$
 Das Ergebnis unterscheidet sich nur durch die Pseudo–Einheit
@@ Zeile 347: / Zeile 348: @@
 {{BlaueBox|TEXT=
 $\text{Theorem:}$&nbsp;
-Unter der Nebenbedingung der&nbsp; '''Leistungsbegrenzung'''&nbsp; (englisch:&nbsp; ''Power Constraint'')&nbsp; führt die '''Gaußverteilung'''
+Unter der Nebenbedingung der&nbsp; '''Leistungsbegrenzung'''&nbsp; (englisch:&nbsp; "Power Constraint")&nbsp; führt die '''Gaußverteilung'''
 :$$f_X(x) = \frac{1}{\sqrt{2\pi  \sigma^2} } \cdot {\rm exp} \left [
 - \hspace{0.05cm}\frac{(x - m_1)^2}{2 \sigma^2}\right ]$$
@@ Zeile 355: / Zeile 356: @@
-Diese Aussage bedeutet gleichzeitig, dass für jede andere WDF als die Gaußverteilung die Kenngröße&nbsp; ${\it \Gamma}_{\rm L} < 2π{\rm e} ≈ 17.08$&nbsp; sein wird.&nbsp; Beispielsweise ergibt sich der Kennwert
+Diese Aussage bedeutet gleichzeitig, dass für jede andere WDF als die Gaußverteilung die Kenngröße&nbsp; ${\it \Gamma}_{\rm L} < 2π{\rm e} ≈ 17.08$&nbsp; sein wird.&nbsp;
 *für die Dreieckverteilung  zu&nbsp; ${\it \Gamma}_{\rm L} = 6{\rm e} ≈ 16.31$,
 *für die Laplaceverteilung zu&nbsp; ${\it \Gamma}_{\rm L} = 2{\rm e}^2 ≈ 14.78$, und
-*für die Gleichverteilung zu&nbsp; $Γ_{\rm L} = 12$ .
+*für die Gleichverteilung zu&nbsp; ${\it \Gamma}_{\rm L} = 12$ .
 ==Beweis: Maximale differentielle Entropie bei Spitzenwertbegrenzung==
 <br>
-Unter der Nebenbedingung der Spitzenwertbegrenzung &nbsp; ⇒  &nbsp; $|X| ≤ A$&nbsp; gilt für die differentielle Entropie:
+Unter der Nebenbedingung der&nbsp; &raquo;Spitzenwertbegrenzung&laquo; &nbsp; ⇒  &nbsp; $|X| ≤ A$&nbsp; gilt für die differentielle Entropie:
 :$$h(X) = \hspace{0.1cm}  \hspace{0.05cm} \int_{-A}^{+A} \hspace{0.05cm}  f_X(x) \cdot {\rm log} \hspace{0.1cm} \frac{1}{ f_X(x) } \hspace{0.1cm}{\rm d}x \hspace{0.05cm}.$$
-Von allen möglichen Wahrscheinlichkeitsdichtefunktionen&nbsp; $f_X(x)$, die die Bedingung
+Von allen möglichen Wahrscheinlichkeitsdichtefunktionen&nbsp; $f_X(x)$,&nbsp; die die Bedingung
 :$$\int_{-A}^{+A} \hspace{0.05cm}  f_X(x)  \hspace{0.1cm}{\rm d}x = 1$$
-erfüllen, ist nun diejenige Funktion&nbsp; $g_X(x)$&nbsp; gesucht, die zur maximalen differentiellen Entropie&nbsp; $h(X)$&nbsp; führt.
+erfüllen,&nbsp; ist nun diejenige Funktion&nbsp; $g_X(x)$&nbsp; gesucht,&nbsp; die zur maximalen differentiellen Entropie&nbsp; $h(X)$&nbsp; führt.
 Zur Herleitung benutzen wir das Verfahren der&nbsp; [https://de.wikipedia.org/wiki/Lagrange-Multiplikator Lagrange–Multiplikatoren]:
@@ Zeile 375: / Zeile 378: @@
 \int_{-A}^{+A} \hspace{0.05cm}  f_X(x)  \hspace{0.1cm}{\rm d}x
 \hspace{0.05cm}.$$
-*Wir setzen allgemein&nbsp; $f_X(x) = g_X(x) + ε · ε_X(x)$, wobei&nbsp; $ε_X(x)$&nbsp; eine beliebige Funktion darstellt, mit der Einschränkung, dass die WDF–Fläche gleich&nbsp; $1$ sein muss.&nbsp; Damit erhalten wir:
+*Wir setzen allgemein&nbsp; $f_X(x) = g_X(x) + ε · ε_X(x)$, wobei&nbsp; $ε_X(x)$&nbsp; eine beliebige Funktion darstellt,&nbsp; mit der Einschränkung,&nbsp; dass die WDF–Fläche gleich&nbsp; $1$ sein muss.&nbsp; Damit erhalten wir:
 :$$\begin{align*}L = \hspace{0.1cm}  \hspace{0.05cm} \int_{-A}^{+A} \hspace{0.05cm}\big [ g_X(x) + \varepsilon \cdot \varepsilon_X(x)\big ] \cdot {\rm log} \hspace{0.1cm} \frac{1}{ g_X(x) + \varepsilon \cdot \varepsilon_X(x) } \hspace{0.1cm}{\rm d}x + \lambda \cdot
 \int_{-A}^{+A} \hspace{0.05cm} \big [ g_X(x) + \varepsilon \cdot \varepsilon_X(x) \big ]  \hspace{0.1cm}{\rm d}x
@@ Zeile 392: / Zeile 395: @@
 $\text{Resümee bei Spitzenwertbegrenzung:}$&nbsp;
-Die maximale differentielle Entropie ergibt sich unter der Nebenbedingung&nbsp; $ \vert X \vert ≤ A$&nbsp; für die&nbsp; '''Gleichverteilung'''&nbsp; (englisch: ''Uniform PDF''):
+Die maximale differentielle Entropie ergibt sich unter der Nebenbedingung&nbsp; $ \vert X \vert ≤ A$&nbsp; für die&nbsp; '''Gleichverteilung'''&nbsp; (englisch: "Uniform PDF"):
 :$$h_{\rm max}(X) = {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\rm A} \cdot A) = {\rm log} \hspace{0.1cm} (2A) \hspace{0.5cm} \Rightarrow\hspace{0.5cm} {\it \Gamma}_{\rm A} = 2
 \hspace{0.05cm}.$$
@@ Zeile 401: / Zeile 404: @@
 <br>
 Vorneweg zur Begriffserklärung:
-*Eigentlich wird nicht die Leistung  &nbsp;  ⇒  &nbsp;   das&nbsp; [[Stochastische_Signaltheorie/Erwartungswerte_und_Momente#Momentenberechnung_als_Scharmittelwert|zweite Moment]]&nbsp; $m_2$ begrenzt, sondern das&nbsp; [[Stochastische_Signaltheorie/Erwartungswerte_und_Momente#Einige_h.C3.A4ufig_benutzte_Zentralmomente|zweite Zentralmoment]]&nbsp;  ⇒  &nbsp; Varianz $μ_2 = σ^2$.
+*Eigentlich wird nicht die Leistung  &nbsp;  ⇒  &nbsp;   das&nbsp; [[Stochastische_Signaltheorie/Erwartungswerte_und_Momente#Momentenberechnung_als_Scharmittelwert|zweite Moment]]&nbsp; $m_2$ begrenzt, sondern das&nbsp; [[Stochastische_Signaltheorie/Erwartungswerte_und_Momente#Einige_h.C3.A4ufig_benutzte_Zentralmomente|zweite Zentralmoment]]&nbsp;  ⇒  &nbsp; Varianz&nbsp; $μ_2 = σ^2$.
 *Gesucht wird also nun die maximale differentielle Entropie unter der Nebenbedingung&nbsp; ${\rm E}\big[|X – m_1|^2 \big] ≤ σ^2$.
 *Das&nbsp; $≤$&ndash;Zeichen dürfen wir hierbei durch das Gleichheitszeichen ersetzen.
@@ Zeile 427: / Zeile 430: @@
   f_X(x) \cdot {\rm ln} \hspace{0.1cm} {g_X(x)} \hspace{0.1cm}{\rm d}x \hspace{0.05cm}.$$
-Zur Vereinfachung ist hier der natürliche Logarithmus &nbsp; &rArr; &nbsp; $\ln$ verwendet. Damit erhalten wir für das zweite Integral:
+Zur Vereinfachung ist hier der natürliche Logarithmus &nbsp; &rArr; &nbsp; $\ln$ &nbsp; verwendet.&nbsp; Damit erhalten wir für das zweite Integral:
 :$$I_2 = - \frac{1}{2} \cdot {\rm ln} \hspace{0.1cm} (2\pi\sigma^2)  \cdot \hspace{-0.1cm}\int_{-\infty}^{+\infty} \hspace{-0.4cm}  f_X(x) \hspace{0.1cm}{\rm d}x
@@ Zeile 449: / Zeile 452: @@
 $\text{Resümee bei Leistungsbegrenzung:}$&nbsp;
-Die maximale differentielle Entropie ergibt sich unter der Bedingung&nbsp; ${\rm E}\big[ \vert X – m_1 \vert ^2 \big] ≤ σ^2$&nbsp;  unabhängig von&nbsp; $m_1$&nbsp; für die&nbsp; '''Gaußverteilung'''&nbsp; (englisch:&nbsp; Gaussian PDF):
+Die maximale differentielle Entropie ergibt sich unter der Bedingung&nbsp; ${\rm E}\big[ \vert X – m_1 \vert ^2 \big] ≤ σ^2$&nbsp;  unabhängig von&nbsp; $m_1$&nbsp; für die&nbsp; '''Gaußverteilung'''&nbsp; (englisch:&nbsp; "Gaussian PDF"):
 :$$h_{\rm max}(X) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.01cm} \rm L} \cdot \sigma^2) =
   {1}/{2} \cdot {\rm log} \hspace{0.1cm} (2\pi{\rm e} \cdot \sigma^2) \hspace{0.5cm} \Rightarrow\hspace{0.5cm} {\it \Gamma}_{\rm L} = 2\pi{\rm e}

@@ Zeile 304: / Zeile 304: @@
 Die Tabelle zeigt die Ergebnisse hinsichtlich der differentiellen Entropie für drei beispielhafte Wahrscheinlichkeitsdichtefunktionen&nbsp; $f_X(x)$.&nbsp; Diese sind alle spitzenwertbegrenzt, das heißt, es gilt jeweils&nbsp; $|X| ≤ A$.
-*Bei&nbsp; ''Spitzenwertbegrenzung''&nbsp; kann man die differentielle Entropie stets wie folgt darstellen:
+*Bei&nbsp; &raquo;Spitzenwertbegrenzung&laquo;&nbsp; kann man die differentielle Entropie stets wie folgt darstellen:
 :$$h(X) =  {\rm log}\,\, ({\it \Gamma}_{\rm A} \cdot A).$$
@@ Zeile 323: / Zeile 323: @@
 *Für die symmetrische Dreieckverteilung ergibt sich nach obiger Tabelle&nbsp; ${\it \Gamma}_{\rm A} = \sqrt{\rm e} ≈ 1.649$.
 *Beim einseitigen Dreieck&nbsp; $($zwischen&nbsp; $0$&nbsp; und&nbsp; $A)$&nbsp; ist demgegenüber&nbsp; ${\it \Gamma}_{\rm A}$&nbsp; nur halb so groß.
-*Auch für jedes andere Dreieck&nbsp; $($Breite&nbsp; $A$,&nbsp; Spitze beliebig zwischen&nbsp; $0$&nbsp; und&nbsp; $A)$&nbsp; gilt&nbsp; ${\it \Gamma}_{\rm A} ≈ 0.824$.
+*Auch für jedes andere Dreieck&nbsp; $($absolute Breite&nbsp; $A$,&nbsp; Spitze beliebig zwischen&nbsp; $0$&nbsp; und&nbsp; $A)$&nbsp; gilt&nbsp; ${\it \Gamma}_{\rm A} ≈ 0.824$.

@@ Zeile 225: / Zeile 225: @@
 {{GraueBox|TEXT=
 $\text{Beispiel 4:}$&nbsp;
-Die obere Grafik zeigt die Wahrscheinlichkeitsdichte einer zwischen&nbsp; $x_{\rm min}$&nbsp; und&nbsp; $x_{\rm max}$&nbsp; gleichverteilten Zufallsgröße&nbsp; $X$.&nbsp; Für deren differentielle Entropie erhält man in „nat”:
+Die obere Grafik zeigt die Wahrscheinlichkeitsdichtefunktion&nbsp; $\rm (WDF)$&nbsp; einer zwischen&nbsp; $x_{\rm min}$&nbsp; und&nbsp; $x_{\rm max}$&nbsp; gleichverteilten Zufallsgröße&nbsp; $X$.&nbsp; Für deren differentielle Entropie erhält man in „nat”:
 :$$\begin{align*}h(X)  & =    -  \hspace{-0.18cm}\int\limits_{x_{\rm min} }^{x_{\rm max} } \hspace{-0.28cm}  \frac{1}{x_{\rm max}\hspace{-0.05cm} - \hspace{-0.05cm}x_{\rm min} } \cdot {\rm ln} \hspace{0.1cm}\big [ \frac{1}{x_{\rm max}\hspace{-0.05cm} - \hspace{-0.05cm}x_{\rm min} }\big ] \hspace{0.1cm}{\rm d}x \\ & =
@@ Zeile 255: / Zeile 255: @@
 Aus der folgenden Zusammenstellung erkennt man, dass oft nur das (große) &nbsp;$H$&nbsp; durch ein (kleines) &nbsp;$h$&nbsp; sowie die Wahrscheinlichkeitsfunktion&nbsp; (englische Abkürzung:&nbsp; $\rm PMF)$&nbsp; durch die entsprechende Wahrscheinlichkeitsdichtefunktion&nbsp; $\rm (PDF$&nbsp;  bzw.&nbsp; $\rm WDF)$&nbsp; zu ersetzen ist.
-* '''Bedingte differentielle Entropie'''&nbsp; (englisch:&nbsp; ''Conditional Differential Entropy''):
+* '''Bedingte differentielle Entropie'''&nbsp; (englisch:&nbsp; "Conditional Differential Entropy"):
 :$$H(X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y) = {\rm E} \hspace{-0.1cm}\left [ {\rm log} \hspace{0.1cm}\frac{1}{P_{\hspace{0.03cm}X \mid \hspace{0.03cm} Y} (X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y)}\right ]=\hspace{-0.04cm} \sum_{(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}P_{XY}\hspace{-0.08cm})}
@@ Zeile 265: / Zeile 265: @@
   \hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y\hspace{0.05cm}.$$
-* '''Differentielle Verbundentropie'''&nbsp; (englisch:&nbsp; ''Joint Differential Entropy''):
+* '''Differentielle Verbundentropie'''&nbsp; (englisch:&nbsp; "Joint Differential Entropy"):
 :$$H(XY) = {\rm E} \left [ {\rm log} \hspace{0.1cm} \frac{1}{P_{XY}(X, Y)}\right ] =\hspace{-0.04cm} \sum_{(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}P_{XY}\hspace{-0.08cm})}

@@ Zeile 8: / Zeile 8: @@
 == # ÜBERBLICK ZUM VIERTEN HAUPTKAPITEL # ==
 <br>
-Im letzten Kapitel dieses Buches werden die bisher für den wertdiskreten Fall definierten informationstheoretischen Größen derart adaptiert, dass sie auch für wertkontinuierliche Zufallsgrößen angewandt werden können.
+Im letzten Kapitel dieses Buches werden die bisher für den wertdiskreten Fall definierten informationstheoretischen Größen derart adaptiert, dass sie auch auf wertkontinuierliche Zufallsgrößen angewandt werden können.
-*Aus der Entropie&nbsp; $H(X)$&nbsp; für die wertdiskrete Zufallsgröße&nbsp; $X$&nbsp; wird so zum Beispiel im wertkontinuierlichen Fall die differentielle Entropie&nbsp; $h(X)$.
+*Aus der Entropie&nbsp; $H(X)$&nbsp; für die wertdiskrete Zufallsgröße&nbsp; $X$&nbsp; wird so zum Beispiel im wertkontinuierlichen Fall die&nbsp; &raquo;differentielle Entropie&laquo;&nbsp; $h(X)$.
-*Während&nbsp; $H(X)$&nbsp; die &bdquo;Unsicherheit&rdquo; hinsichtlich der diskreten Zufallsgröße&nbsp; $X$&nbsp; angibt, kann man im kontinuierlichen Fall&nbsp; $h(X)$&nbsp; nicht in gleicher Weise interpretieren.
+*Während&nbsp; $H(X)$&nbsp; die&nbsp; &raquo;Unsicherheit&laquo;&nbsp; hinsichtlich der diskreten Zufallsgröße&nbsp; $X$&nbsp; angibt, kann man im kontinuierlichen Fall&nbsp; $h(X)$&nbsp; nicht in gleicher Weise interpretieren.
-Viele der im dritten Kapitel &bdquo;Information zwischen zwei wertdiskreten Zufallsgrößen &nbsp; &rArr; &nbsp; siehe&nbsp; [[Informationstheorie|Inhaltsverzeichnis]]&nbsp; für die herkömmliche Entropie hergeleiteten Zusammenhänge gelten auch für die differentielle Entropie.&nbsp; So kann auch für wertkontinuierliche Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; die differentielle Verbundentropie&nbsp; $h(XY)$&nbsp; angegeben werden und ebenso die beiden bedingten differentiellen Entropien&nbsp; $h(Y|X)$&nbsp; und&nbsp; $h(X|Y)$.
+Viele der im dritten Kapitel&nbsp; &raquo;Information zwischen zwei wertdiskreten Zufallsgrößen&laquo; &nbsp; &rArr; &nbsp; siehe&nbsp; [[Informationstheorie|Inhaltsverzeichnis]]&nbsp; für die herkömmliche Entropie hergeleiteten Zusammenhänge gelten auch für die differentielle Entropie.&nbsp; So kann auch für wertkontinuierliche Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; die differentielle Verbundentropie&nbsp; $h(XY)$&nbsp; angegeben werden und ebenso die beiden bedingten differentiellen Entropien&nbsp; $h(Y|X)$&nbsp; und&nbsp; $h(X|Y)$.
 Im Einzelnen werden in diesem Hauptkapitel behandelt:
-*die Besonderheiten wertkontinuierlicher Zufallsgrößen,
+*die&nbsp; &raquo;Besonderheiten wertkontinuierlicher Zufallsgrößen&laquo;,
-*die Definition und Berechnung der differentiellen Entropie sowie deren Eigenschaften,
+*die Definition und Berechnung der&nbsp; &raquo;differentiellen Entropie&laquo;&nbsp; sowie deren Eigenschaften,
-*die Transinformation zwischen zwei wertkontinuierlichen Zufallsgrößen,
+*die &nbsp;&raquo;Transinformation&laquo;&nbsp; zwischen zwei wertkontinuierlichen Zufallsgrößen,
-*die Kapazität des AWGN–Kanals und mehrerer solcher paralleler Gaußkanäle,
+*die &nbsp;&raquo;Kapazität des AWGN–Kanals&laquo;&nbsp; und mehrerer solcher paralleler Gaußkanäle,
-*das Kanalcodierungstheorem, eines der &bdquo;Highlights&rdquo; der Shannonschen Informationstheorie,
+*das &nbsp;&raquo;Kanalcodierungstheorem&laquo;, eines der &bdquo;Highlights&rdquo; der Shannonschen Informationstheorie,
-*die AWGN–Kanalkapazität für wertdiskrete Eingangssinale (BPSK, QPSK).
+*die &nbsp;&raquo;AWGN–Kanalkapazität für wertdiskrete Eingangssinale&laquo;&nbsp; (BPSK, QPSK).