Aufgaben:Aufgabe 3.5Z: Nochmals Kullback-Leibler-Distanz: Unterschied zwischen den Versionen
Safwen (Diskussion | Beiträge) |
Safwen (Diskussion | Beiträge) |
||
Zeile 3: | Zeile 3: | ||
}} | }} | ||
− | [[Datei:|right|]] | + | [[Datei:P_ID2762__Inf_Z_3_4.png|right|]] |
+ | Die Wahrscheinlichkeitsfunktion lautet: | ||
+ | |||
+ | $$P_Y(X) = [\hspace{0.03cm}0.25\hspace{0.03cm}, \hspace{0.03cm} 0.25\hspace{0.03cm},\hspace{0.03cm} 0.25 \hspace{0.03cm}, \hspace{0.03cm} 0.25\hspace{0.03cm}]\hspace{0.05cm}$$ | ||
+ | Die Zufallsgröße $X$ ist also gekennzeichnet | ||
+ | |||
+ | :* durch den Symbolumfang $M=4$, | ||
+ | :* mit gleichen Wahrscheinlichkeiten. | ||
+ | |||
+ | Die Zufallsgröße $Y$ ist stets eine Näherung für $X$. Sie wurde per Simulation aus einer Gleichverteilung gewonnen, wobei jeweils nur $N$ Zufallswerte ausgewertet wurden. Das heißt: | ||
+ | $P_Y(1)$,...,$P_Y(4)$ sind im herkömmlichen Sinn keine Wahrscheinlichkeiten. Sie beschreiben vielmehr [http://www.lntwww.de/Stochastische_Signaltheorie/Wahrscheinlichkeit_und_relative_H%C3%A4ufigkeit#Bernoullisches_Gesetz_der_gro.C3.9Fen_Zahlen relative Häufigkeiten]. | ||
+ | |||
+ | Das Ergebnis der sechsten Versuchsreihe (mit $N=1000$) ird demnach durch die folgende Wahrscheinlichkeitsfunktion zusammengefasst: | ||
+ | |||
+ | $$P_Y(X) = [\hspace{0.05cm}0.225\hspace{0.05cm}, \hspace{0.05cm} 0.253\hspace{0.05cm},\hspace{0.05cm} 0.250 \hspace{0.05cm}, \hspace{0.05cm} 0.272\hspace{0.05cm}] | ||
+ | \hspace{0.05cm}$$ | ||
+ | Bei dieser Schreibweise ist bereits berücksichtigt, dass die Zufallsgrößen $X$ und $Y$ auf dem gleichen Alphabet $X =$ {1, 2, 3, 4} basieren. | ||
+ | |||
+ | Mit diesen Voraussetzungen gilt für die relative Entropie (englisch: Informational Divergence) zwischen den Wahrscheinlichkeitsfunktionen $P_X(.)$ und $P_Y(.)$ : | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
Version vom 24. November 2016, 19:39 Uhr
Die Wahrscheinlichkeitsfunktion lautet:
$$P_Y(X) = [\hspace{0.03cm}0.25\hspace{0.03cm}, \hspace{0.03cm} 0.25\hspace{0.03cm},\hspace{0.03cm} 0.25 \hspace{0.03cm}, \hspace{0.03cm} 0.25\hspace{0.03cm}]\hspace{0.05cm}$$ Die Zufallsgröße $X$ ist also gekennzeichnet
- durch den Symbolumfang $M=4$,
- mit gleichen Wahrscheinlichkeiten.
Die Zufallsgröße $Y$ ist stets eine Näherung für $X$. Sie wurde per Simulation aus einer Gleichverteilung gewonnen, wobei jeweils nur $N$ Zufallswerte ausgewertet wurden. Das heißt: $P_Y(1)$,...,$P_Y(4)$ sind im herkömmlichen Sinn keine Wahrscheinlichkeiten. Sie beschreiben vielmehr relative Häufigkeiten.
Das Ergebnis der sechsten Versuchsreihe (mit $N=1000$) ird demnach durch die folgende Wahrscheinlichkeitsfunktion zusammengefasst:
$$P_Y(X) = [\hspace{0.05cm}0.225\hspace{0.05cm}, \hspace{0.05cm} 0.253\hspace{0.05cm},\hspace{0.05cm} 0.250 \hspace{0.05cm}, \hspace{0.05cm} 0.272\hspace{0.05cm}] \hspace{0.05cm}$$ Bei dieser Schreibweise ist bereits berücksichtigt, dass die Zufallsgrößen $X$ und $Y$ auf dem gleichen Alphabet $X =$ {1, 2, 3, 4} basieren.
Mit diesen Voraussetzungen gilt für die relative Entropie (englisch: Informational Divergence) zwischen den Wahrscheinlichkeitsfunktionen $P_X(.)$ und $P_Y(.)$ :
Fragebogen
Musterlösung