Aufgaben:Aufgabe 3.8Z: Tupel aus ternären Zufallsgrößen: Unterschied zwischen den Versionen

Aus LNTwww
Wechseln zu:Navigation, Suche
 
(12 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 4: Zeile 4:
 
}}
 
}}
  
[[Datei:P_ID2771__Inf_Z_3_7.png|right|]]
+
[[Datei:P_ID2771__Inf_Z_3_7.png|right|PMF  $P_{ XY }(X, Y)$]]
Wir betrachten das Tupel $Z = (X, Y)$, wobei die Einzelkomponenten $X$ und $Y$ jeweils ternäre Zufallsgrößen darstellen $\Rightarrow$ Symbolumfang $|X| = |Y| = 3$. Die gemeinsame Wahrscheinlichkeitsfunktion $P_{ XY }(X, Y)$ ist rechts angegeben.
+
Wir betrachten das Tupel  $Z = (X, Y)$,  wobei die Einzelkomponenten  $X$  und  $Y$  jeweils ternäre Zufallsgrößen darstellen   ⇒    Symbolumfang  $|X| = |Y| = 3$.  Die gemeinsame Wahrscheinlichkeitsfunktion  $P_{ XY }(X, Y)$  ist rechts skizziert.
  
 
In dieser Aufgabe sind zu berechnen:  
 
In dieser Aufgabe sind zu berechnen:  
:* die Verbundentropie $H(XY)$ und die Transinformation $I(X; Y)$,
+
* die Verbundentropie  $H(XY)$  und die Transinformation  $I(X; Y)$,
:*die Verbundentropie $H(XZ)$ und die Transinformation $I(X; Z)$,
+
* die Verbundentropie  $H(XZ)$  und die Transinformation  $I(X; Z)$,
:*die bedingten Entropien $H(Z|X)$ und $H(X|Z)$.
+
*die beiden bedingten Entropien  $H(Z|X)$  und  $H(X|Z)$.
  
'''Hinweis:''' Die Aufgabe bezieht sich auf das Themengebiet von [http://www.lntwww.de/Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgr%C3%B6%C3%9Fen Kapitel 3.2].  
+
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
''Hinweise:''  
 +
*Die Aufgabe gehört zum  Kapitel  [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
 +
*Insbesondere wird Bezug genommen auf die Seiten&nbsp; <br> &nbsp; &nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie|Bedingte Wahrscheinlichkeit und bedingte Entropie]] &nbsp; sowie <br> &nbsp; &nbsp;[[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen|Transinformation zwischen zwei Zufallsgrößen]].
 +
  
  
Zeile 21: Zeile 31:
 
{Berechnen Sie die folgenden Entropien.
 
{Berechnen Sie die folgenden Entropien.
 
|type="{}"}
 
|type="{}"}
$H(X)$ = { 1.585 3% } $bit$
+
$H(X)\ = \ $ { 1.585 3% } $\ \rm bit$
$H(Y)$ = { 1.585 3% } $bit$
+
$H(Y)\ = \ $ { 1.585 3% } $\ \rm bit$
$ H(XY)$ = { 3.17 3% } $bit$
+
$ H(XY)\ = \ $ { 3.17 3% } $\ \rm bit$
  
{Welche Transinformationen besteht zwischen den Zufallsgrößen $X$ und $Y$?
+
{Welche Transinformation besteht zwischen den Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$?
 
|type="{}"}
 
|type="{}"}
$I(X; Y)$ = { 0 3% } $bit$
+
$I(X; Y)\ = \ $ { 0. } $\ \rm bit$
  
{Welche Transinformationen besteht zwischen den Zufallsgrößen $X$ und $Z$?
+
{Welche Transinformation besteht zwischen den Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Z$?
 
|type="{}"}
 
|type="{}"}
$I(X; Z)$ = { 1.585 3% } $bit$
+
$I(X; Z)\ = \ $ { 1.585 3% } $\ \rm bit$
  
{Welche bedingten Entropien bestehen zwischen $X$ und $Z$?
+
{Welche bedingten Entropien bestehen zwischen&nbsp; $X$&nbsp; und&nbsp; $Z$?
 
|type="{}"}
 
|type="{}"}
$H(Z|X)$ = { 1.585 3% } $bit$
+
$H(Z|X)\ = \ $ { 1.585 3% } $\ \rm bit$
$ H(X|Z)$ = { 0 3% } $bit$
+
$ H(X|Z)\ = \ $ { 0. } $\ \rm bit$
  
  
Zeile 44: Zeile 54:
 
===Musterlösung===
 
===Musterlösung===
 
{{ML-Kopf}}
 
{{ML-Kopf}}
'''1.'''  Bei den beiden Zufallsgrößen $X =\{0, 1, 2\} \Rightarrow  |X| = 3$ und $Y = \{0, 1, 2\} \Rightarrow |Y| = 3$ liegt jeweils eine Gleichverteilung vor. Damit erhält man für die Entropien:
+
'''(1)'''&nbsp; Bei den Zufallsgrößen&nbsp; $X =\{0,\ 1,\ 2\}$ &nbsp; &rArr; &nbsp; $|X| = 3$&nbsp; und&nbsp; $Y = \{0,\ 1,\ 2\}$ &nbsp; &rArr; &nbsp; $|Y| = 3$&nbsp; liegt jeweils eine Gleichverteilung vor.&nbsp;
 +
*Damit erhält man für die Entropien:
  
$H(X) = log_2(3) = 1.585 (bit)$,
+
:$$H(X) = {\rm log}_2 \hspace{0.1cm} (3)  
 +
\hspace{0.15cm}\underline{= 1.585\,{\rm (bit)}} \hspace{0.05cm},$$
 +
:$$H(Y) =  {\rm log}_2 \hspace{0.1cm} (3)
 +
\hspace{0.15cm}\underline{= 1.585\,{\rm (bit)}}\hspace{0.05cm}.$$
  
$H(Y) = log_2(3) = 1.585 (bit)$,
+
*Die 2D–Zufallsgröße&nbsp; $XY = \{00,\ 01,\ 02,\ 10,\ 11,\ 12,\ 20,\ 21,\ 22\}$  &nbsp; &rArr; &nbsp;  $|XY| = |Z| = 9$&nbsp; weist ebenfalls gleiche Wahrscheinlichkeiten auf:
 +
:$$p_{ 00 } = p_{ 01 } =\text{...} = p_{ 22 } = 1/9.$$
 +
*Daraus folgt:
 +
:$$H(XY) = {\rm log}_2 \hspace{0.1cm} (9) \hspace{0.15cm}\underline{= 3.170\,{\rm (bit)}} \hspace{0.05cm}.$$
  
Die 2D–Zufallsgröße $XY = \{00, 01, 02, 10, 11, 12, 20, 21, 22\} \Rightarrow  |XY| = |Z| = 9$ weist ebenfalls gleiche Wahrscheinlichkeiten auf: $p_{ 00 } = p_ { 01 } = ... = p_{ 22 } = 1/9$. Daraus folgt:
 
  
$H(XY) = log_2(9) = 3.170 (bit)$
+
'''(2)'''&nbsp;  Die Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; sind wegen&nbsp; $P_{ XY }() = P_X(⋅) · P_Y(⋅)$&nbsp; statistisch unabhängig.
 +
*Daraus folgt&nbsp;  $I(X, Y)\hspace{0.15cm}\underline{ = 0}$.  
 +
*Zum gleichen Ergebnis kommt man über die Gleichung&nbsp; $I(X; Y) = H(X) + H(Y) - H(XY)$.
  
  
'''2.''' Die Zufallsgrößen$X$und $Y$ sind wegen $P_{ XY }(⋅) = P_X(⋅) · P_Y(⋅)$ statistisch unabhängig  $\Rightarrow I(X, Y) = 0$. Zum gleichen Ergebnis kommt man über die Gleichung $I(X; Y) = H(X) + H(Y) – H(XY)$.
 
  
 
+
[[Datei:P_ID2774__Inf_Z_3_7c.png|right|frame|Wahrscheinlichkeitsfunktion der 2D-Zufallsgröße&nbsp; $XZ$]]
'''3.''' Interpretiert man $I(X; Z)$ als die verbleibende Unsicherheit hinsichtlich des Tupels $Z$, wenn die erste Komponente $X$ bekannt ist, so gilt offensichtlich$ I(X; Z) = H(Y) = 1.585 bit$.
+
'''(3)'''&nbsp;  Interpretiert man&nbsp; $I(X; Z)$&nbsp; als die verbleibende Unsicherheit hinsichtlich des Tupels&nbsp; $Z$,&nbsp; wenn die erste Komponente&nbsp; $X$&nbsp; bekannt ist,&nbsp; so gilt offensichtlich:
 +
:$$ I(X; Z) = H(Y)\hspace{0.15cm}\underline{  = 1.585 \ \rm bit}.$$
  
 
Rein formal lässt sich diese Aufgabe auch wie folgt lösen:  
 
Rein formal lässt sich diese Aufgabe auch wie folgt lösen:  
:* Die Entropie $H(Z)$ ist gleich $H(XY) = 3.170 bit$.
+
* Die Entropie&nbsp; $H(Z)$&nbsp; ist gleich der Verbundentropie&nbsp; $H(XY) = 3.170 \ \rm bit$.
[[Datei:P_ID2773__Inf_Z_3_7d.png|right|]]
+
* Die Verbundwahrscheinlichkeit&nbsp; $P_{ XZ }(X, Z)$&nbsp; beinhaltet neun Elemente der Wahrscheinlichkeit&nbsp; $1/9$,&nbsp; alle anderen sind mit Nullen belegt &nbsp; &rArr; &nbsp;  $H(XZ) = \log_2 (9) = 3.170 \ \rm bit $.
:* Die Verbundwahrscheinlichkeit $P_{ XZ }(X, Z)$ beinhaltet neun Elemente der Wahrscheinlichkeit $1/9$, alle anderen sind mit Nullen belegt (Rechte Grafik)  $\Rightarrow  H(XZ) = log2 (9) = 3.170 bit$.
+
* Damit gilt für die Transinformation&nbsp; $($gemeinsame Information der Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Z)$:
 
+
:$$I(X;Z) = H(X) + H(Z) - H(XZ) = 1.585 + 3.170- 3.170\hspace{0.15cm} \underline {= 1.585\,{\rm (bit)}} \hspace{0.05cm}.$$
:* Damit gilt für die Transinformation (gemeinsame Information der Zufalsgrößen $X$ und $Z$):
 
 
 
$$I(X;Z) = H(X) + H(Z) - H(XZ) = $$
 
$$= 1.585 +3.170 - 3170 = 1.585 (bit)$$
 
  
  
 +
[[Datei:P_ID2773__Inf_Z_3_7d.png|right|frame|Entropien der 2D-Zufallsgröße&nbsp; $XZ$]]
  
[[Datei:P_ID2774__Inf_Z_3_7c.png|right|]]
+
'''(4)'''&nbsp;  Entsprechend der zweiten Grafik gilt:  
'''4.'''Entsprechend der rechten Grafik gilt:  
+
:$$H(Z \hspace{-0.1cm}\mid \hspace{-0.1cm} X) = H(XZ) - H(X) = 3.170-1.585\hspace{0.15cm} \underline {=1.585\ {\rm (bit)}} \hspace{0.05cm},$$
 +
:$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Z)  = H(XZ) - H(Z) = 3.170-3.170\hspace{0.15cm} \underline {=0\ {\rm (bit)}}  \hspace{0.05cm}.$$
  
$$H(Z|X) = H(XZ)- H(X) = 3.170 - 1.585 = 1.585 (bit)$$
+
* $H(Z|X)$&nbsp; gibt die Restunsicherheit hinsichtlich des Tupels&nbsp; $Z$&nbsp; an,&nbsp; wenn man die erste Komponente&nbsp; $X$&nbsp; kennt.  
$$H(X|Z) = H(XZ) - H(Z) = 3.170 -  3.170 = 0 (bit)$$
+
*Die Unsicherheit hinsichtlich des Tupels&nbsp; $Z$&nbsp; ist&nbsp; $H(Z) = 2 · \log_2 (3) \ \rm bit$.
:* $H(Z|X)$ gibt die Restunsicherheit hinsichtlich des Tupels $Z$ an, wenn man die erste Komponente $X$kennt. Die Unsicherheit hinsichtlich des Tupels $Z$ ist $H(Z) = 2 · log_2 (3) bit$, bei Kenntnis der Komponente $X$ halbiert sich die Unsicherheit auf $H(Z|X) = log2 (3) bit$.
+
* Bei Kenntnis der Komponente&nbsp; $X$&nbsp; halbiert sich die Unsicherheit auf&nbsp; $H(Z|X) = \log_2 (3)\ \rm  bit$.
:* $H(X|Z)$gibt die verbleibende Unsicherheit hinsichtlich der Komponente $X$ an, wenn man das Tupel $Z = (X, Y)$ kennt. Diese Unsicherheit ist natürlich $0$: Kennt man $Z$, so kennt man auch $X$.
+
* $H(X|Z)$&nbsp; gibt die verbleibende Unsicherheit hinsichtlich der Komponente&nbsp; $X$&nbsp; an, wenn man das Tupel&nbsp; $Z = (X, Y)$&nbsp; kennt.&nbsp; Diese Unsicherheit ist natürlich Null: &nbsp; Kennt man&nbsp; $Z$, so kennt man auch&nbsp; $X$.
  
 
{{ML-Fuß}}
 
{{ML-Fuß}}

Aktuelle Version vom 21. September 2021, 14:33 Uhr

PMF  '"`UNIQ-MathJax29-QINU`"'

Wir betrachten das Tupel  $Z = (X, Y)$,  wobei die Einzelkomponenten  $X$  und  $Y$  jeweils ternäre Zufallsgrößen darstellen   ⇒   Symbolumfang  $|X| = |Y| = 3$.  Die gemeinsame Wahrscheinlichkeitsfunktion  $P_{ XY }(X, Y)$  ist rechts skizziert.

In dieser Aufgabe sind zu berechnen:

  • die Verbundentropie  $H(XY)$  und die Transinformation  $I(X; Y)$,
  • die Verbundentropie  $H(XZ)$  und die Transinformation  $I(X; Z)$,
  • die beiden bedingten Entropien  $H(Z|X)$  und  $H(X|Z)$.





Hinweise:



Fragebogen

1

Berechnen Sie die folgenden Entropien.

$H(X)\ = \ $

$\ \rm bit$
$H(Y)\ = \ $

$\ \rm bit$
$ H(XY)\ = \ $

$\ \rm bit$

2

Welche Transinformation besteht zwischen den Zufallsgrößen  $X$  und  $Y$?

$I(X; Y)\ = \ $

$\ \rm bit$

3

Welche Transinformation besteht zwischen den Zufallsgrößen  $X$  und  $Z$?

$I(X; Z)\ = \ $

$\ \rm bit$

4

Welche bedingten Entropien bestehen zwischen  $X$  und  $Z$?

$H(Z|X)\ = \ $

$\ \rm bit$
$ H(X|Z)\ = \ $

$\ \rm bit$


Musterlösung

(1)  Bei den Zufallsgrößen  $X =\{0,\ 1,\ 2\}$   ⇒   $|X| = 3$  und  $Y = \{0,\ 1,\ 2\}$   ⇒   $|Y| = 3$  liegt jeweils eine Gleichverteilung vor. 

  • Damit erhält man für die Entropien:
$$H(X) = {\rm log}_2 \hspace{0.1cm} (3) \hspace{0.15cm}\underline{= 1.585\,{\rm (bit)}} \hspace{0.05cm},$$
$$H(Y) = {\rm log}_2 \hspace{0.1cm} (3) \hspace{0.15cm}\underline{= 1.585\,{\rm (bit)}}\hspace{0.05cm}.$$
  • Die 2D–Zufallsgröße  $XY = \{00,\ 01,\ 02,\ 10,\ 11,\ 12,\ 20,\ 21,\ 22\}$   ⇒   $|XY| = |Z| = 9$  weist ebenfalls gleiche Wahrscheinlichkeiten auf:
$$p_{ 00 } = p_{ 01 } =\text{...} = p_{ 22 } = 1/9.$$
  • Daraus folgt:
$$H(XY) = {\rm log}_2 \hspace{0.1cm} (9) \hspace{0.15cm}\underline{= 3.170\,{\rm (bit)}} \hspace{0.05cm}.$$


(2)  Die Zufallsgrößen  $X$  und  $Y$  sind wegen  $P_{ XY }(⋅) = P_X(⋅) · P_Y(⋅)$  statistisch unabhängig.

  • Daraus folgt  $I(X, Y)\hspace{0.15cm}\underline{ = 0}$.
  • Zum gleichen Ergebnis kommt man über die Gleichung  $I(X; Y) = H(X) + H(Y) - H(XY)$.


Wahrscheinlichkeitsfunktion der 2D-Zufallsgröße  $XZ$

(3)  Interpretiert man  $I(X; Z)$  als die verbleibende Unsicherheit hinsichtlich des Tupels  $Z$,  wenn die erste Komponente  $X$  bekannt ist,  so gilt offensichtlich:

$$ I(X; Z) = H(Y)\hspace{0.15cm}\underline{ = 1.585 \ \rm bit}.$$

Rein formal lässt sich diese Aufgabe auch wie folgt lösen:

  • Die Entropie  $H(Z)$  ist gleich der Verbundentropie  $H(XY) = 3.170 \ \rm bit$.
  • Die Verbundwahrscheinlichkeit  $P_{ XZ }(X, Z)$  beinhaltet neun Elemente der Wahrscheinlichkeit  $1/9$,  alle anderen sind mit Nullen belegt   ⇒   $H(XZ) = \log_2 (9) = 3.170 \ \rm bit $.
  • Damit gilt für die Transinformation  $($gemeinsame Information der Zufallsgrößen  $X$  und  $Z)$:
$$I(X;Z) = H(X) + H(Z) - H(XZ) = 1.585 + 3.170- 3.170\hspace{0.15cm} \underline {= 1.585\,{\rm (bit)}} \hspace{0.05cm}.$$


Entropien der 2D-Zufallsgröße  $XZ$

(4)  Entsprechend der zweiten Grafik gilt:

$$H(Z \hspace{-0.1cm}\mid \hspace{-0.1cm} X) = H(XZ) - H(X) = 3.170-1.585\hspace{0.15cm} \underline {=1.585\ {\rm (bit)}} \hspace{0.05cm},$$
$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Z) = H(XZ) - H(Z) = 3.170-3.170\hspace{0.15cm} \underline {=0\ {\rm (bit)}} \hspace{0.05cm}.$$
  • $H(Z|X)$  gibt die Restunsicherheit hinsichtlich des Tupels  $Z$  an,  wenn man die erste Komponente  $X$  kennt.
  • Die Unsicherheit hinsichtlich des Tupels  $Z$  ist  $H(Z) = 2 · \log_2 (3) \ \rm bit$.
  • Bei Kenntnis der Komponente  $X$  halbiert sich die Unsicherheit auf  $H(Z|X) = \log_2 (3)\ \rm bit$.
  • $H(X|Z)$  gibt die verbleibende Unsicherheit hinsichtlich der Komponente  $X$  an, wenn man das Tupel  $Z = (X, Y)$  kennt.  Diese Unsicherheit ist natürlich Null:   Kennt man  $Z$, so kennt man auch  $X$.