Aufgaben:Aufgabe 4.5: Transinformation aus 2D-WDF: Unterschied zwischen den Versionen

Aus LNTwww
Wechseln zu:Navigation, Suche
 
(6 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 4: Zeile 4:
  
 
[[Datei:P_ID2886__Inf_A_4_5_neu.png|right|frame|Vorgegebene Verbund-WDF]]
 
[[Datei:P_ID2886__Inf_A_4_5_neu.png|right|frame|Vorgegebene Verbund-WDF]]
Vorgegeben sind hier die drei unterschiedlichen 2D–Gebiete $f_{XY}(x, y)$, die in der Aufgabe nach ihren Füllfarben mit
+
Vorgegeben sind hier die drei unterschiedlichen 2D–Gebiete  $f_{XY}(x, y)$,  die in der Aufgabe nach ihren Füllfarben mit
* ''rote'' Verbund-WDF
+
* rote Verbund-WDF,
* ''blaue'' Verbund-WDF
+
* blaue Verbund-WDF,  und
* ''grüne'' Verbund-WDF
+
* grüne Verbund-WDF
  
  
bezeichnet werden. In den dargestellten Gebieten gelte jeweils $f_{XY}(x, y) = C = \rm const.$
+
bezeichnet werden.  Innerhalb der dargestellten Gebieten gelte jeweils  $f_{XY}(x, y) = C = \rm const.$
  
Die Transinformation zwischen den wertkontinuierlichen Zufallsgrößen $X$ und $Y$ kann zum Beispiel wie folgt berechnet werden:
+
Die Transinformation zwischen den wertkontinuierlichen Zufallsgrößen  $X$  und  $Y$  kann man zum Beispiel wie folgt berechnen:
 
:$$I(X;Y) = h(X) + h(Y) - h(XY)\hspace{0.05cm}.$$
 
:$$I(X;Y) = h(X) + h(Y) - h(XY)\hspace{0.05cm}.$$
  
Zeile 23: Zeile 23:
 
  \hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \big[ f_{XY}(x, y) \big]
 
  \hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \big[ f_{XY}(x, y) \big]
 
  \hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y\hspace{0.05cm}.$$
 
  \hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y\hspace{0.05cm}.$$
Für die beiden Randwahrscheinlichkeitsdichtefunktionen gilt dabei:
+
*Für die beiden Randwahrscheinlichkeitsdichtefunktionen gilt dabei:
 
:$$f_X(x) = \hspace{-0.5cm}  \int\limits_{\hspace{-0.2cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{Y}\hspace{-0.08cm})} \hspace{-0.4cm} f_{XY}(x, y)  
 
:$$f_X(x) = \hspace{-0.5cm}  \int\limits_{\hspace{-0.2cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{Y}\hspace{-0.08cm})} \hspace{-0.4cm} f_{XY}(x, y)  
 
  \hspace{0.15cm}{\rm d}y\hspace{0.05cm},$$
 
  \hspace{0.15cm}{\rm d}y\hspace{0.05cm},$$
Zeile 33: Zeile 33:
  
  
''Hinweise:''
+
Hinweise:  
 
*Die Aufgabe gehört zum  Kapitel   [[Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang|AWGN–Kanalkapazität bei wertkontinuierlichem Eingang]].
 
*Die Aufgabe gehört zum  Kapitel   [[Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang|AWGN–Kanalkapazität bei wertkontinuierlichem Eingang]].
  
 
*Gegeben seien zudem folgende differentielle Entropien:
 
*Gegeben seien zudem folgende differentielle Entropien:
:* Ist $X$ dreieckverteilt zwischen $x_{\rm min}$ und $x_{\rm max}$, so gilt:  
+
:* Ist  $X$  dreieckverteilt zwischen  $x_{\rm min}$  und  $x_{\rm max}$,  so gilt:  
 
::$$h(X) = {\rm log} \hspace{0.1cm} [\hspace{0.05cm}\sqrt{ e} \cdot (x_{\rm max} - x_{\rm min})/2\hspace{0.05cm}]\hspace{0.05cm}.$$
 
::$$h(X) = {\rm log} \hspace{0.1cm} [\hspace{0.05cm}\sqrt{ e} \cdot (x_{\rm max} - x_{\rm min})/2\hspace{0.05cm}]\hspace{0.05cm}.$$
:* Ist $Y$ gleichverteilt zwischen $y_{\rm min}$ und $y_{\rm max}$, so gilt:  
+
:* Ist  $Y$  gleichverteilt zwischen  $y_{\rm min}$  und  $y_{\rm max}$,  so gilt:  
 
::$$h(Y) = {\rm log} \hspace{0.1cm} \big [\hspace{0.05cm}y_{\rm max} - y_{\rm min}\hspace{0.05cm}\big ]\hspace{0.05cm}.$$
 
::$$h(Y) = {\rm log} \hspace{0.1cm} \big [\hspace{0.05cm}y_{\rm max} - y_{\rm min}\hspace{0.05cm}\big ]\hspace{0.05cm}.$$
*Alle Ergebnisse sollen in „bit” angegeben werden. Dies erreicht man mit   $\log$  ⇒  $\log_2$.  
+
*Alle Ergebnisse sollen in „bit” angegeben werden.  Dies erreicht man mit   $\log$  ⇒  $\log_2$.  
  
 
   
 
   
Zeile 51: Zeile 51:
 
<quiz display=simple>
 
<quiz display=simple>
  
{Wie groß ist die Transinformation <u>der roten Verbund-WDF</u>?
+
{Wie groß ist die Transinformation&nbsp; <u>der roten Verbund-WDF</u>?
 
|type="{}"}
 
|type="{}"}
 
$I(X; Y) \ = \ $ { 0. } $\ \rm bit$
 
$I(X; Y) \ = \ $ { 0. } $\ \rm bit$
  
{Wie groß ist die Transinformation <u>der blauen Verbund-WDF</u>?
+
{Wie groß ist die Transinformation&nbsp; <u>der blauen Verbund-WDF</u>?
 
|type="{}"}
 
|type="{}"}
 
$I(X; Y) \ = \ $ { 0.721 3% } $\ \rm bit$
 
$I(X; Y) \ = \ $ { 0.721 3% } $\ \rm bit$
  
  
{Wie groß ist die Transinformation <u>der grünen Verbund-WDF</u>?
+
{Wie groß ist die Transinformation&nbsp; <u>der grünen Verbund-WDF</u>?
 
|type="{}"}
 
|type="{}"}
 
$I(X; Y) \ = \ $ { 0.721 3% } $\ \rm bit$
 
$I(X; Y) \ = \ $ { 0.721 3% } $\ \rm bit$
  
{Welche Voraussetzungen müssen die Zufallsgrößen $X$ und $Y$ gleichzeitig erfüllen, damit allgemein &nbsp;$I(X;Y)  = 1/2 \cdot \log (\rm e)$&nbsp; gilt:
+
{Welche Voraussetzungen müssen die Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; gleichzeitig erfüllen, damit allgemein &nbsp;$I(X;Y)  = 1/2 \cdot \log (\rm e)$&nbsp; gilt:
 
|type="[]"}
 
|type="[]"}
 
+ Die Verbund-WDF &nbsp;$f_{XY}(x, y)$&nbsp; ergibt ein Parallelogramm.
 
+ Die Verbund-WDF &nbsp;$f_{XY}(x, y)$&nbsp; ergibt ein Parallelogramm.
+ Eine der Zufallsgrößen $(X$ oder $Y)$ ist gleichverteilt.
+
+ Eine der Zufallsgrößen&nbsp; $(X$ &nbsp;oder&nbsp; $Y)$&nbsp; ist gleichverteilt.
+ Die andere Zufallsgröße $(X$ oder $Y)$ ist dreieckverteilt.
+
+ Die andere Zufallsgröße&nbsp; $(Y$&nbsp; oder&nbsp; $X)$&nbsp; ist dreieckverteilt.
  
  
Zeile 76: Zeile 76:
 
===Musterlösung===
 
===Musterlösung===
 
{{ML-Kopf}}
 
{{ML-Kopf}}
[[Datei:P_ID2887__Inf_A_4_5a.png|right|frame|„Rote” Wahrscheinlichkeitsdichtefunktionen]]
+
[[Datei:P_ID2887__Inf_A_4_5a.png|right|frame|„Rote” Wahrscheinlichkeitsdichtefunktionen; <br>'''!''' Ordinate von  &nbsp;$f_{Y}(y)$&nbsp; ist nach links gerichtet '''!''']]
'''(1)'''&nbsp; Bei der rechteckförmigen Verbund&ndash;WDF &nbsp;$f_{XY}(x, y)$&nbsp; gibt es  zwischen $X$ und $Y$ keine statistischen Bindungen  &nbsp; &#8658; &nbsp; $\underline{I(X;Y) = 0}$.
+
'''(1)'''&nbsp; Bei der rechteckförmigen Verbund&ndash;WDF &nbsp;$f_{XY}(x, y)$&nbsp; gibt es  zwischen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; keine statistischen Bindungen  &nbsp; &#8658; &nbsp; $\underline{I(X;Y) = 0}$.
  
 
Formal lässt sich dieses Ergebnis mit der folgenden Gleichung nachweisen:
 
Formal lässt sich dieses Ergebnis mit der folgenden Gleichung nachweisen:
 
:$$I(X;Y) = h(X) \hspace{-0.05cm}+\hspace{-0.05cm} h(Y) \hspace{-0.05cm}- \hspace{-0.05cm}h(XY)\hspace{0.02cm}.$$
 
:$$I(X;Y) = h(X) \hspace{-0.05cm}+\hspace{-0.05cm} h(Y) \hspace{-0.05cm}- \hspace{-0.05cm}h(XY)\hspace{0.02cm}.$$
*Die rote Fläche 2D&ndash;WDF &nbsp;$f_{XY}(x, y)$&nbsp; ist $F = 4$. Da &nbsp;$f_{XY}(x, y)$&nbsp; in diesem Gebiet konstant ist und das Volumen unter &nbsp;$f_{XY}(x, y)$&nbsp; gleich $1$ sein muss, gilt $C = 1/F = 1/4$.  
+
*Die rote Fläche der 2D&ndash;WDF &nbsp;$f_{XY}(x, y)$&nbsp; ist&nbsp; $F = 4$.&nbsp; Da &nbsp;$f_{XY}(x, y)$&nbsp; in diesem Gebiet konstant ist und das Volumen unter &nbsp;$f_{XY}(x, y)$&nbsp; gleich&nbsp; $1$&nbsp; sein muss,&nbsp; gilt für die Höhe&nbsp; $C = 1/F = 1/4$.  
 
*Daraus folgt für die differentielle Verbundentropie in &bdquo;bit&rdquo;:
 
*Daraus folgt für die differentielle Verbundentropie in &bdquo;bit&rdquo;:
 
:$$h(XY) \  =  \  \hspace{0.1cm}-\hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})}  
 
:$$h(XY) \  =  \  \hspace{0.1cm}-\hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})}  
Zeile 89: Zeile 89:
 
  \hspace{-0.6cm} f_{XY}(x, y)  
 
  \hspace{-0.6cm} f_{XY}(x, y)  
 
  \hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y = 2 \,{\rm bit}\hspace{0.05cm}.$$
 
  \hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y = 2 \,{\rm bit}\hspace{0.05cm}.$$
Es ist berücksichtigt, das das Doppelintegral gleich $1$ ist. Die Pseudo&ndash;Einheit &bdquo;bit&rdquo; korrespondiert mit dem <i>Logarithmus dualis</i> &nbsp;&#8658;&nbsp; &bdquo;log<sub>2</sub>&rdquo;.  
+
*Es ist berücksichtigt, das das Doppelintegral gleich&nbsp; $1$&nbsp; ist.&nbsp; Die Pseudo&ndash;Einheit &bdquo;bit&rdquo; korrespondiert mit dem&nbsp; "Logarithmus dualis" &nbsp;&#8658;&nbsp; &bdquo;log<sub>2</sub>&rdquo;.  
 +
 
  
 
Weiterhin gilt:
 
Weiterhin gilt:
* Die Randwahrscheinlichkeitsdichtefunktionen &nbsp;$f_{X}(x)$&nbsp; und  &nbsp;$f_{Y}(y)$&nbsp; sind rechteckförmig &nbsp; &#8658; &nbsp; Gleichverteilung zwischen $0$ und $2$:
+
* Die Randwahrscheinlichkeitsdichtefunktionen &nbsp;$f_{X}(x)$&nbsp; und  &nbsp;$f_{Y}(y)$&nbsp; sind jeweils rechteckförmig &nbsp; &#8658; &nbsp; Gleichverteilung zwischen&nbsp; $0$&nbsp; und&nbsp; $2$:
 
:$$h(X) = h(Y) = {\rm log}_2 \hspace{0.1cm} (2) = 1 \,{\rm bit}\hspace{0.05cm}.$$
 
:$$h(X) = h(Y) = {\rm log}_2 \hspace{0.1cm} (2) = 1 \,{\rm bit}\hspace{0.05cm}.$$
 +
[[Datei:P_ID2888__Inf_A_4_5b_neu.png|right|frame|„Blaue” Wahrscheinlichkeitsdichtefunktionen]]
 
* Setzt man diese Ergebnisse in die obige Gleichung ein, so erhält man:
 
* Setzt man diese Ergebnisse in die obige Gleichung ein, so erhält man:
 
:$$I(X;Y) = h(X) + h(Y) - h(XY) = 1 \,{\rm bit} + 1 \,{\rm bit} - 2 \,{\rm bit} = 0 \,{\rm (bit)}
 
:$$I(X;Y) = h(X) + h(Y) - h(XY) = 1 \,{\rm bit} + 1 \,{\rm bit} - 2 \,{\rm bit} = 0 \,{\rm (bit)}
Zeile 99: Zeile 101:
  
  
[[Datei:P_ID2888__Inf_A_4_5b_neu.png|right|frame|„Blaue” Wahrscheinlichkeitsdichtefunktionen]]
 
'''(2)'''&nbsp; Auch bei diesem Parallelogramm ergibt sich $F = 4, \ C = 1/4$ sowie $h(XY) = 2$ bit.
 
*Die Zufallsgröße $Y$ ist hier wie in der Teilaufgabe '''(1)''' zwischen $0$ und $2$ gleichverteilt. Somit gilt weiter $h(Y) = 1$ bit.
 
  
*Dagegen ist $Y$ dreieckverteilt zwischen $0$ und $4$ (mit Maximum bei $2$). Es ergibt sich hierfür die gleiche differentielle Entropie $h(Y)$ wie bei einer symmetrischen Dreieckverteilung im Bereich zwischen $&plusmn;2$  (siehe Angabenblatt):
+
'''(2)'''&nbsp; Auch bei diesem Parallelogramm ergibt sich&nbsp; $F = 4, \ C = 1/4$&nbsp; sowie&nbsp; $h(XY) = 2$ bit.
 +
*Die Zufallsgröße&nbsp; $Y$&nbsp; ist hier wie in der Teilaufgabe&nbsp; '''(1)'''&nbsp; zwischen&nbsp; $0$&nbsp; und&nbsp; $2$&nbsp; gleichverteilt&nbsp; &rArr; &nbsp; $h(Y) = 1$ bit.
 +
 
 +
*Dagegen ist&nbsp; $X$&nbsp; dreieckverteilt zwischen&nbsp; $0$&nbsp; und&nbsp; $4$&nbsp; $($mit Maximum bei&nbsp; $2)$.&nbsp;
 +
*Es ergibt sich hierfür die gleiche differentielle Entropie&nbsp; $h(Y)$&nbsp; wie bei einer symmetrischen Dreieckverteilung im Bereich zwischen&nbsp; $&plusmn;2$&nbsp; (siehe Angabenblatt):
 
:$$h(X) = {\rm log}_2 \hspace{0.1cm} \big[\hspace{0.05cm}2 \cdot \sqrt{ e} \hspace{0.05cm}\big ]
 
:$$h(X) = {\rm log}_2 \hspace{0.1cm} \big[\hspace{0.05cm}2 \cdot \sqrt{ e} \hspace{0.05cm}\big ]
 
= 1.721 \,{\rm bit}$$
 
= 1.721 \,{\rm bit}$$
Zeile 115: Zeile 118:
 
\Rightarrow \hspace{0.3cm} h(XY)  =  {\rm log}_2 \hspace{0.1cm} (A \cdot B)  
 
\Rightarrow \hspace{0.3cm} h(XY)  =  {\rm log}_2 \hspace{0.1cm} (A \cdot B)  
 
\hspace{0.05cm}.$$
 
\hspace{0.05cm}.$$
Die Zufallsgröße $Y$ ist nun zwischen $0$ und $A$ gleichverteilt und die Zufallsgröße $Y$ ist  zwischen $0$ und $B$ dreieckverteilt:
+
*Die Zufallsgröße&nbsp; $Y$&nbsp; ist nun zwischen&nbsp; $0$&nbsp; und&nbsp; $A$&nbsp; gleichverteilt und die Zufallsgröße&nbsp; $X$&nbsp; ist  zwischen&nbsp; $0$&nbsp; und&nbsp; $2B$&nbsp; dreieckverteilt $($mit Maximum bei&nbsp; $B)$:
 
:$$h(X)  \ =  \  {\rm log}_2 \hspace{0.1cm} (B \cdot \sqrt{ e})  
 
:$$h(X)  \ =  \  {\rm log}_2 \hspace{0.1cm} (B \cdot \sqrt{ e})  
 
\hspace{0.05cm},$$ $$
 
\hspace{0.05cm},$$ $$
 
  h(Y)  \  =  \  {\rm log}_2 \hspace{0.1cm} (A)\hspace{0.05cm}.$$
 
  h(Y)  \  =  \  {\rm log}_2 \hspace{0.1cm} (A)\hspace{0.05cm}.$$
Damit ergibt sich für die Transinformation zwischen $X$ und $Y$:
+
*Damit ergibt sich für die Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $Y$:
 
:$$I(X;Y)  \  =      {\rm log}_2 \hspace{0.1cm} (B \cdot \sqrt{ {\rm e}}) + {\rm log}_2 \hspace{0.1cm} (A) - {\rm log}_2 \hspace{0.1cm} (A \cdot B)$$  
 
:$$I(X;Y)  \  =      {\rm log}_2 \hspace{0.1cm} (B \cdot \sqrt{ {\rm e}}) + {\rm log}_2 \hspace{0.1cm} (A) - {\rm log}_2 \hspace{0.1cm} (A \cdot B)$$  
 
:$$\Rightarrow \hspace{0.3cm} I(X;Y)  =  \ {\rm log}_2 \hspace{0.1cm} \frac{B \cdot \sqrt{ {\rm e}} \cdot A}{A \cdot B} = {\rm log}_2 \hspace{0.1cm} (\sqrt{ {\rm e}})\hspace{0.15cm}\underline{= 0.721\,{\rm bit}}
 
:$$\Rightarrow \hspace{0.3cm} I(X;Y)  =  \ {\rm log}_2 \hspace{0.1cm} \frac{B \cdot \sqrt{ {\rm e}} \cdot A}{A \cdot B} = {\rm log}_2 \hspace{0.1cm} (\sqrt{ {\rm e}})\hspace{0.15cm}\underline{= 0.721\,{\rm bit}}
 
\hspace{0.05cm}.$$
 
\hspace{0.05cm}.$$
[[Datei: P_ID2890__Inf_A_4_5d.png |right|frame|Weitere Beispiele für $f_{XY}(x, y)$]]
+
[[Datei: P_ID2890__Inf_A_4_5d.png |right|frame|Weitere Beispiele für 2D&ndash;WDF&nbsp; $f_{XY}(x, y)$]]
$I(X;Y)$ somit unabhängig von den WDF&ndash;Parametern $A$ und $B$.
+
*$I(X;Y)$&nbsp; somit unabhängig von den WDF&ndash;Parametern&nbsp; $A$&nbsp; und&nbsp; $B$.
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
  
  
 +
'''(4)'''&nbsp; <u>Alle genannten Voraussetzungen</u> sind erforderlich.&nbsp; Nicht für jedes Parallelogramm werden aber die Forderungen&nbsp; '''(2)'''&nbsp; und&nbsp; '''(3)'''&nbsp; erfüllt.&nbsp;
  
'''(4)'''&nbsp; <u>Alle genannten Voraussetzungen</u> sind erforderlich. Allerdings sind nicht für jedes Parallelogramm die Forderungen 2 und 3 zu erfüllen. Nebenstehende Grafik zeigt zwei solche Konstellationen, wobei nun die Zufallsgröße <i>X</i> jeweils gleichverteilt ist zwischen 0 und 1.
+
*Die nebenstehende Grafik zeigt zwei Konstellationen, wobei die Zufallsgröße&nbsp; $X$&nbsp; jeweils gleichverteilt zwischen&nbsp; $0$&nbsp; und&nbsp; $1$&nbsp; ist.
* Bei der oberen Grafik liegen die beiden eingezeichneten Punkte auf einer Höhe &nbsp;&#8658;&nbsp; <i>f<sub>Y</sub></i>(<i>y</i>) ist dreieckverteilt &nbsp;&#8658;&nbsp; <i>I</i>(<i>X</i>; <i>Y</i>) = 0.721 bit.
+
* Bei der oberen Grafik liegen die eingezeichneten Punkte auf einer Höhe &nbsp; &#8658; &nbsp; $f_{Y}(y)$&nbsp; ist dreieckverteilt &nbsp; &#8658; &nbsp; $I(X;Y) = 0.721$ bit.
*Die untere Verbund&ndash;WDF besitzt eine andere Transinformation, da die beiden Punkte nicht auf gleicher Höhe liegen &nbsp;&#8658;&nbsp; die WDF <i>f<sub>Y</sub></i>(<i>y</i>) hat hier eine Trapezform.  
+
*Die untere Verbund&ndash;WDF besitzt eine andere Transinformation, da die beiden eingezeichneten Punkte nicht auf gleicher Höhe liegen &nbsp; <br>&#8658; &nbsp; die WDF&nbsp; $f_{Y}(y)$&nbsp; hat hier eine Trapezform.  
*Gefühlsmäßig tippe ich auf <i>I</i>(<i>X</i>;&nbsp;<i>Y</i>)&nbsp;<&nbsp;0.721 bit, da sich das 2D&ndash;Gebiet eher einem Rechteck annähert. Wenn Sie noch Lust haben, so überprüfen Sie das bitte.   
+
*Gefühlsmäßig tippe ich auf&nbsp; $I(X;Y) < 0.721$&nbsp; bit, da sich das 2D&ndash;Gebiet eher einem Rechteck annähert.&nbsp; Wenn Sie noch Lust haben, so überprüfen Sie diese Aussage.   
 
{{ML-Fuß}}
 
{{ML-Fuß}}
  

Aktuelle Version vom 1. Oktober 2021, 17:13 Uhr

Vorgegebene Verbund-WDF

Vorgegeben sind hier die drei unterschiedlichen 2D–Gebiete  $f_{XY}(x, y)$,  die in der Aufgabe nach ihren Füllfarben mit

  • rote Verbund-WDF,
  • blaue Verbund-WDF,  und
  • grüne Verbund-WDF


bezeichnet werden.  Innerhalb der dargestellten Gebieten gelte jeweils  $f_{XY}(x, y) = C = \rm const.$

Die Transinformation zwischen den wertkontinuierlichen Zufallsgrößen  $X$  und  $Y$  kann man zum Beispiel wie folgt berechnen:

$$I(X;Y) = h(X) + h(Y) - h(XY)\hspace{0.05cm}.$$

Für die hier verwendeten differentiellen Entropien gelten die folgenden Gleichungen:

$$h(X) = -\hspace{-0.7cm} \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_X)} \hspace{-0.55cm} f_X(x) \cdot {\rm log} \hspace{0.1cm} \big[f_X(x)\big] \hspace{0.1cm}{\rm d}x \hspace{0.05cm},$$
$$h(Y) = -\hspace{-0.7cm} \int\limits_{y \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_Y)} \hspace{-0.55cm} f_Y(y) \cdot {\rm log} \hspace{0.1cm} \big[f_Y(y)\big] \hspace{0.1cm}{\rm d}y \hspace{0.05cm},$$
$$h(XY) = \hspace{0.1cm}-\hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{XY}\hspace{-0.08cm})} \hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \big[ f_{XY}(x, y) \big] \hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y\hspace{0.05cm}.$$
  • Für die beiden Randwahrscheinlichkeitsdichtefunktionen gilt dabei:
$$f_X(x) = \hspace{-0.5cm} \int\limits_{\hspace{-0.2cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{Y}\hspace{-0.08cm})} \hspace{-0.4cm} f_{XY}(x, y) \hspace{0.15cm}{\rm d}y\hspace{0.05cm},$$
$$f_Y(y) = \hspace{-0.5cm} \int\limits_{\hspace{-0.2cm}x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{X}\hspace{-0.08cm})} \hspace{-0.4cm} f_{XY}(x, y) \hspace{0.15cm}{\rm d}x\hspace{0.05cm}.$$



Hinweise:

  • Gegeben seien zudem folgende differentielle Entropien:
  • Ist  $X$  dreieckverteilt zwischen  $x_{\rm min}$  und  $x_{\rm max}$,  so gilt:
$$h(X) = {\rm log} \hspace{0.1cm} [\hspace{0.05cm}\sqrt{ e} \cdot (x_{\rm max} - x_{\rm min})/2\hspace{0.05cm}]\hspace{0.05cm}.$$
  • Ist  $Y$  gleichverteilt zwischen  $y_{\rm min}$  und  $y_{\rm max}$,  so gilt:
$$h(Y) = {\rm log} \hspace{0.1cm} \big [\hspace{0.05cm}y_{\rm max} - y_{\rm min}\hspace{0.05cm}\big ]\hspace{0.05cm}.$$
  • Alle Ergebnisse sollen in „bit” angegeben werden.  Dies erreicht man mit   $\log$  ⇒  $\log_2$.



Fragebogen

1

Wie groß ist die Transinformation  der roten Verbund-WDF?

$I(X; Y) \ = \ $

$\ \rm bit$

2

Wie groß ist die Transinformation  der blauen Verbund-WDF?

$I(X; Y) \ = \ $

$\ \rm bit$

3

Wie groß ist die Transinformation  der grünen Verbund-WDF?

$I(X; Y) \ = \ $

$\ \rm bit$

4

Welche Voraussetzungen müssen die Zufallsgrößen  $X$  und  $Y$  gleichzeitig erfüllen, damit allgemein  $I(X;Y) = 1/2 \cdot \log (\rm e)$  gilt:

Die Verbund-WDF  $f_{XY}(x, y)$  ergibt ein Parallelogramm.
Eine der Zufallsgrößen  $(X$  oder  $Y)$  ist gleichverteilt.
Die andere Zufallsgröße  $(Y$  oder  $X)$  ist dreieckverteilt.


Musterlösung

„Rote” Wahrscheinlichkeitsdichtefunktionen;
! Ordinate von  $f_{Y}(y)$  ist nach links gerichtet !

(1)  Bei der rechteckförmigen Verbund–WDF  $f_{XY}(x, y)$  gibt es zwischen  $X$  und  $Y$  keine statistischen Bindungen   ⇒   $\underline{I(X;Y) = 0}$.

Formal lässt sich dieses Ergebnis mit der folgenden Gleichung nachweisen:

$$I(X;Y) = h(X) \hspace{-0.05cm}+\hspace{-0.05cm} h(Y) \hspace{-0.05cm}- \hspace{-0.05cm}h(XY)\hspace{0.02cm}.$$
  • Die rote Fläche der 2D–WDF  $f_{XY}(x, y)$  ist  $F = 4$.  Da  $f_{XY}(x, y)$  in diesem Gebiet konstant ist und das Volumen unter  $f_{XY}(x, y)$  gleich  $1$  sein muss,  gilt für die Höhe  $C = 1/F = 1/4$.
  • Daraus folgt für die differentielle Verbundentropie in „bit”:
$$h(XY) \ = \ \hspace{0.1cm}-\hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})} \hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log}_2 \hspace{0.1cm} [ f_{XY}(x, y) ] \hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y$$
$$\Rightarrow \hspace{0.3cm} h(XY) \ = \ \ {\rm log}_2 \hspace{0.1cm} (4) \cdot \hspace{0.02cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})} \hspace{-0.6cm} f_{XY}(x, y) \hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y = 2 \,{\rm bit}\hspace{0.05cm}.$$
  • Es ist berücksichtigt, das das Doppelintegral gleich  $1$  ist.  Die Pseudo–Einheit „bit” korrespondiert mit dem  "Logarithmus dualis"  ⇒  „log2”.


Weiterhin gilt:

  • Die Randwahrscheinlichkeitsdichtefunktionen  $f_{X}(x)$  und  $f_{Y}(y)$  sind jeweils rechteckförmig   ⇒   Gleichverteilung zwischen  $0$  und  $2$:
$$h(X) = h(Y) = {\rm log}_2 \hspace{0.1cm} (2) = 1 \,{\rm bit}\hspace{0.05cm}.$$
„Blaue” Wahrscheinlichkeitsdichtefunktionen
  • Setzt man diese Ergebnisse in die obige Gleichung ein, so erhält man:
$$I(X;Y) = h(X) + h(Y) - h(XY) = 1 \,{\rm bit} + 1 \,{\rm bit} - 2 \,{\rm bit} = 0 \,{\rm (bit)} \hspace{0.05cm}.$$


(2)  Auch bei diesem Parallelogramm ergibt sich  $F = 4, \ C = 1/4$  sowie  $h(XY) = 2$ bit.

  • Die Zufallsgröße  $Y$  ist hier wie in der Teilaufgabe  (1)  zwischen  $0$  und  $2$  gleichverteilt  ⇒   $h(Y) = 1$ bit.
  • Dagegen ist  $X$  dreieckverteilt zwischen  $0$  und  $4$  $($mit Maximum bei  $2)$. 
  • Es ergibt sich hierfür die gleiche differentielle Entropie  $h(Y)$  wie bei einer symmetrischen Dreieckverteilung im Bereich zwischen  $±2$  (siehe Angabenblatt):
$$h(X) = {\rm log}_2 \hspace{0.1cm} \big[\hspace{0.05cm}2 \cdot \sqrt{ e} \hspace{0.05cm}\big ] = 1.721 \,{\rm bit}$$
$$\Rightarrow \hspace{0.3cm} I(X;Y) = 1.721 \,{\rm bit} + 1 \,{\rm bit} - 2 \,{\rm bit}\hspace{0.05cm}\underline{ = 0.721 \,{\rm (bit)}} \hspace{0.05cm}.$$


„Grüne” Wahrscheinlichkeitsdichtefunktionen

(3)  Bei den grünen Gegebenheiten ergeben sich folgende Eigenschaften:

$$F = A \cdot B \hspace{0.3cm} \Rightarrow \hspace{0.3cm} C = \frac{1}{A \cdot B} \hspace{0.05cm}\hspace{0.3cm} \Rightarrow \hspace{0.3cm} h(XY) = {\rm log}_2 \hspace{0.1cm} (A \cdot B) \hspace{0.05cm}.$$
  • Die Zufallsgröße  $Y$  ist nun zwischen  $0$  und  $A$  gleichverteilt und die Zufallsgröße  $X$  ist zwischen  $0$  und  $2B$  dreieckverteilt $($mit Maximum bei  $B)$:
$$h(X) \ = \ {\rm log}_2 \hspace{0.1cm} (B \cdot \sqrt{ e}) \hspace{0.05cm},$$ $$ h(Y) \ = \ {\rm log}_2 \hspace{0.1cm} (A)\hspace{0.05cm}.$$
  • Damit ergibt sich für die Transinformation zwischen  $X$  und  $Y$:
$$I(X;Y) \ = {\rm log}_2 \hspace{0.1cm} (B \cdot \sqrt{ {\rm e}}) + {\rm log}_2 \hspace{0.1cm} (A) - {\rm log}_2 \hspace{0.1cm} (A \cdot B)$$
$$\Rightarrow \hspace{0.3cm} I(X;Y) = \ {\rm log}_2 \hspace{0.1cm} \frac{B \cdot \sqrt{ {\rm e}} \cdot A}{A \cdot B} = {\rm log}_2 \hspace{0.1cm} (\sqrt{ {\rm e}})\hspace{0.15cm}\underline{= 0.721\,{\rm bit}} \hspace{0.05cm}.$$
Weitere Beispiele für 2D–WDF  $f_{XY}(x, y)$
  • $I(X;Y)$  somit unabhängig von den WDF–Parametern  $A$  und  $B$.








(4)  Alle genannten Voraussetzungen sind erforderlich.  Nicht für jedes Parallelogramm werden aber die Forderungen  (2)  und  (3)  erfüllt. 

  • Die nebenstehende Grafik zeigt zwei Konstellationen, wobei die Zufallsgröße  $X$  jeweils gleichverteilt zwischen  $0$  und  $1$  ist.
  • Bei der oberen Grafik liegen die eingezeichneten Punkte auf einer Höhe   ⇒   $f_{Y}(y)$  ist dreieckverteilt   ⇒   $I(X;Y) = 0.721$ bit.
  • Die untere Verbund–WDF besitzt eine andere Transinformation, da die beiden eingezeichneten Punkte nicht auf gleicher Höhe liegen  
    ⇒   die WDF  $f_{Y}(y)$  hat hier eine Trapezform.
  • Gefühlsmäßig tippe ich auf  $I(X;Y) < 0.721$  bit, da sich das 2D–Gebiet eher einem Rechteck annähert.  Wenn Sie noch Lust haben, so überprüfen Sie diese Aussage.