Differentielle Entropie
Inhaltsverzeichnis
- 1 Eigenschaften wertkontinuierlicher Zufallsgrößen
- 2 Entropie wertkontinuierlicher Zufallsgrößen nach Quantisierung
- 3 Definition und Eigenschaften der differentiellen Entropie
- 4 Differentielle Entropie einiger spitzenwertbegrenzter Zufallsgrößen
- 5 Differentielle Entropie einiger leistungsbegrenzter Zufallsgrößen
- 6 WDF–Herleitung für maximale differentielle Entropie
- 7 Aufgaben zu Kapitel 4.1
Eigenschaften wertkontinuierlicher Zufallsgrößen
Bisher wurden stets wertdiskrete Zufallsgrößen der Form $X = \{x_1, x_2, ... , x_μ, ... , x_M\}$ betrachtet, die aus informationstheoretischer Sicht vollständig durch ihre Wahrscheinlichkeitsfunktion (englisch: Probability Mass Function, PMF) $P_X(X)$ charakterisiert werden:
Eine wertkontinuierliche Zufallsgröße kann dagegen – zumindest in endlichen Intervallen – jeden beliebigen Wert annehmen. Aufgrund des nicht abzählbaren Wertevorrats ist in diesem Fall die Beschreibung durch eine Wahrscheinlichkeitsfunktion nicht möglich oder zumindest nicht sinnvoll: Es ergäbe sich nämlich $M$ → $∞$ sowie $p_1$ → 0, $p_2$ → 0, usw.
Nomenklaturhinweise zu WDF und VTF
Man verwendet zur Beschreibung wertkontinuierlicher Zufallsgrößen gemäß den Definitionen im Buch „Stochastische Signaltheorie” gleichermaßen (beachten Sie die Einträge in der Grafik):
- Wahrscheinlichkeitsdichtefunktion (WDF, englisch: Probability Density Function, PDF):
In Worten: Der WDF–Wert bei $x_0$ gibt die Wahrscheinlichkeit $p_{Δx}$ an, dass die Zufallsgröße $X$ in einem (unendlich kleinen) Intervall der Breite $Δx$ um $x_0$ liegt, dividiert durch $Δx$.
- Mittelwert (Moment erster Ordnung, englisch: Mean Value bzw. Expectation Value):
- Varianz (Zentralmoment zweiter Ordnung, englisch: Variance):
- Verteilungsfunktion (VTF, englisch: Cumulative Distribution Function, CDF):
Beachten Sie, dass sowohl die WDF–Fläche als auch der VTF–Endwert stets gleich 1 sind.
Wir betrachten nun mit der Gleichverteilung einen wichtigen Sonderfall. Die Grafik zeigt den Verlauf zweier gleichverteilter Größen, die alle Werte zwischen 1 und 5 (Mittelwert $m_1$ = 3) mit gleicher Wahrscheinlichkeit annehmen können. Links ist das Ergebnis eines Zufallsprozesses dargestellt, rechts ein deterministisches Signal („Sägezahn”) mit gleicher Amplitudenverteilung.
Die Wahrscheinlichkeitsdichtefunktion der Gleichverteilung hat den unten skizzierten Verlauf:
Es ergeben sich hier für den Mittelwert $m_1$ = ${\rm E}[X]$ und die Varianz $σ_2$ = ${\rm E)[(X – m_1)^2]$ folgende Gleichungen:
Unten dargestellt ist die Verteilungsfunktion (VTF):
Diese ist für $x ≤ x_{\rm min}$ identisch 0, steigt danach linear an und erreicht bei $x$ = $x_{\rm max}$ den VTF–Endwert 1. Die Wahrscheinlichkeit, dass die Zufallgröße $X$ einen Wert zwischen 3 und 4 annimmt, kann sowohl aus der WDF als auch aus der VTF ermittelt werden:
Weiterhin ist zu beachten:
- Das Ergebnis $X$ = 0 ist bei dieser Zufallsgröße ausgeschlossen ⇒ Pr($X$ = 0) = 0.
- Das Ergebnis $X$ = 4 ist dagegen durchaus möglich. Trotzdem gilt auch hier $Pr(X = 4) = 0$.
