Aufgaben:Aufgabe 4.2: Dreieckförmige WDF: Unterschied zwischen den Versionen
Khalil (Diskussion | Beiträge) (Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=*Buch*/*Kapitel* }} [[Datei:|right|]] ===Fragebogen=== <quiz display=simple> {Multiple-Choice Frage |type="[]"} - Falsch + Richtig…“) |
Khalil (Diskussion | Beiträge) |
||
Zeile 1: | Zeile 1: | ||
− | + | {{quiz-Header|Buchseite=Informationstheorie/Differentielle Entropie | |
− | {{quiz-Header|Buchseite= | ||
}} | }} | ||
− | [[Datei:|right|]] | + | [[Datei:P_ID2865__Inf_A_4_2.png|right|]] |
− | + | Betrachtet werden zwei Wahrscheinlichkeitsdichtefunktionen (kurz WDF) mit dreieckförmigem Verlauf: | |
+ | :* Die Zufallsgröße <i>X</i> ist auf den Wertebereich von 0 und 1 begrenzt, und es gilt für die WDF (obere Skizze) | ||
+ | $$f_X(x) = \left\{ \begin{array}{c} 2x \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} 0 \le x \le 1 \\ {\rm sonst} \\ \end{array} | ||
+ | \hspace{0.05cm}.$$ | ||
+ | :* Die Zufallsgröße <i>Y</i> besitzt gemäß der unteren Skizze die folgende WDF: | ||
+ | $$f_Y(y) = \left\{ \begin{array}{c} 1 - |y| \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} |y| \le 1 \\ {\rm sonst} \\ \end{array} | ||
+ | \hspace{0.05cm}.$$ | ||
+ | :* Der Zusammenhang zwischen den zwei Zufallsgrößen ist durch die Gleichung <i>X</i> = |<i>Y</i>| gegeben. | ||
+ | Für beide Zufallsgrößen soll jeweils die [http://www.lntwww.de/Informationstheorie/Differentielle_Entropie '''differentielle Entropie'''] ermittelt werden. Beispielsweise lautet die entsprechende Gleichung für die Zufallsgröße <i>X</i>: | ||
+ | $$h(X) = | ||
+ | \hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}\hspace{0.03cm}(\hspace{-0.03cm}f_X)} \hspace{-0.35cm} f_X(x) \cdot {\rm log} \hspace{0.1cm} [ f_X(x) ] \hspace{0.1cm}{\rm d}x | ||
+ | \hspace{0.6cm}{\rm mit}\hspace{0.6cm} {\rm supp}(f_X) = \{ x: f_X(x) > 0 \} | ||
+ | \hspace{0.05cm}.$$ | ||
+ | Verwendet man den natürlichen Logarithmus, so ist die Pseudo–Einheit „nat” anzufügen. Ist das Ergebnis dagegen in „bit” gefragt, so ist der <i>Logarithmus dualis</i> ⇒ „log<sub>2</sub>” zu verwenden. | ||
+ | In der Teilaufgabe (d) wird die neue Zufallsgröße <i>Z</i> = <i>A</i> · <i>Y</i> betrachtet. Der WDF–Parameter <i>A</i> ist so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße <i>Z</i> genau 1 bit ergibt:<br> | ||
+ | $$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$ | ||
+ | <b>Hinweis:</b> Die Aufgabe gehört zum Themengebiet von [http://www.lntwww.de/Informationstheorie/Differentielle_Entropie '''Kapitel 4.1'''] Vorgegeben ist das folgende unbestimmte Integral: | ||
+ | $$\int \xi \cdot {\rm ln} \hspace{0.1cm} (\xi)\hspace{0.1cm}{\rm d}\xi = | ||
+ | \xi^2 \cdot \left [ \frac{{\rm ln} \hspace{0.1cm} (\xi)}{2} - | ||
+ | \frac{1}{4}\right ] \hspace{0.05cm}.$$ | ||
===Fragebogen=== | ===Fragebogen=== | ||
Zeile 35: | Zeile 53: | ||
− | + | [[Category:Aufgaben zu Informationstheorie|^4.1 Differentielle Entropie^]] | |
− | [[Category:Aufgaben zu |
Version vom 21. März 2017, 17:15 Uhr
Betrachtet werden zwei Wahrscheinlichkeitsdichtefunktionen (kurz WDF) mit dreieckförmigem Verlauf:
- Die Zufallsgröße X ist auf den Wertebereich von 0 und 1 begrenzt, und es gilt für die WDF (obere Skizze)
$$f_X(x) = \left\{ \begin{array}{c} 2x \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} 0 \le x \le 1 \\ {\rm sonst} \\ \end{array} \hspace{0.05cm}.$$
- Die Zufallsgröße Y besitzt gemäß der unteren Skizze die folgende WDF:
$$f_Y(y) = \left\{ \begin{array}{c} 1 - |y| \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} |y| \le 1 \\ {\rm sonst} \\ \end{array} \hspace{0.05cm}.$$
- Der Zusammenhang zwischen den zwei Zufallsgrößen ist durch die Gleichung X = |Y| gegeben.
Für beide Zufallsgrößen soll jeweils die differentielle Entropie ermittelt werden. Beispielsweise lautet die entsprechende Gleichung für die Zufallsgröße X: $$h(X) = \hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}\hspace{0.03cm}(\hspace{-0.03cm}f_X)} \hspace{-0.35cm} f_X(x) \cdot {\rm log} \hspace{0.1cm} [ f_X(x) ] \hspace{0.1cm}{\rm d}x \hspace{0.6cm}{\rm mit}\hspace{0.6cm} {\rm supp}(f_X) = \{ x: f_X(x) > 0 \} \hspace{0.05cm}.$$ Verwendet man den natürlichen Logarithmus, so ist die Pseudo–Einheit „nat” anzufügen. Ist das Ergebnis dagegen in „bit” gefragt, so ist der Logarithmus dualis ⇒ „log2” zu verwenden.
In der Teilaufgabe (d) wird die neue Zufallsgröße Z = A · Y betrachtet. Der WDF–Parameter A ist so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße Z genau 1 bit ergibt:
$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$
Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 4.1 Vorgegeben ist das folgende unbestimmte Integral:
$$\int \xi \cdot {\rm ln} \hspace{0.1cm} (\xi)\hspace{0.1cm}{\rm d}\xi =
\xi^2 \cdot \left [ \frac{{\rm ln} \hspace{0.1cm} (\xi)}{2} -
\frac{1}{4}\right ] \hspace{0.05cm}.$$
Fragebogen
Musterlösung