Aufgaben:Aufgabe 1.2: Entropie von Ternärquellen: Unterschied zwischen den Versionen

Aus LNTwww
Wechseln zu:Navigation, Suche
 
(11 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 3: Zeile 3:
 
}}
 
}}
  
[[Datei:Inf_A_1_2_vers2.png|right|Wahrscheinlichkeiten zweier Ternärquellen]]
+
[[Datei:Inf_A_1_2_vers2.png|right|frame|Wahrscheinlichkeiten zweier Ternärquellen]]
Die Entropie einer wertdiskreten gedächtnislosen Nachrichtenquelle mit $M$ möglichen Symbolen lautet:
+
Die Entropie einer wertdiskreten gedächtnislosen Nachrichtenquelle mit  $M$  möglichen Symbolen lautet:
 
:$$H =  \sum_{\mu = 1}^M p_{\mu} \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{p_\mu}\hspace{0.05cm},\hspace{0.3cm}
 
:$$H =  \sum_{\mu = 1}^M p_{\mu} \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{p_\mu}\hspace{0.05cm},\hspace{0.3cm}
 
  {\rm Pseudoeinheit\hspace{-0.15cm}: \hspace{0.15cm}bit}\hspace{0.05cm}.$$
 
  {\rm Pseudoeinheit\hspace{-0.15cm}: \hspace{0.15cm}bit}\hspace{0.05cm}.$$
Hierbei bezeichnen die $p_\mu$ die Auftrittswahrscheinlichkeiten der einzelnen Symbole bzw. Ereignisse. Im vorliegenden Beispiel werden die Ereignisse mit <b>R</b>(ot), <b>G</b>(rün) und <b>S</b>(chwarz) bezeichnet.
+
Hierbei bezeichnen die&nbsp; $p_\mu$&nbsp; die Auftrittswahrscheinlichkeiten der einzelnen Symbole bzw. Ereignisse.&nbsp; Im vorliegenden Beispiel werden die Ereignisse&nbsp; $\rm R$(ot),&nbsp; $\rm G$(rün)&nbsp; und&nbsp; $\rm S$(chwarz)&nbsp; genannt.
  
*Bei einer binären Quelle mit den Auftrittswahrscheinlichkeiten $p$ und $1-p$ kann hierfür geschrieben werden:
+
*Bei einer binären Quelle mit den Auftrittswahrscheinlichkeiten&nbsp; $p$ &nbsp;und&nbsp; $1-p$&nbsp; kann hierfür geschrieben werden:
 
:$$H = H_{\rm bin}(p) = p \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{p}+ (1-p) \cdot  
 
:$$H = H_{\rm bin}(p) = p \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{p}+ (1-p) \cdot  
 
{\rm log}_2\hspace{0.1cm}\frac{1}{1-p}\hspace{0.05cm},\hspace{0.3cm}
 
{\rm log}_2\hspace{0.1cm}\frac{1}{1-p}\hspace{0.05cm},\hspace{0.3cm}
 
  {\rm Pseudoeinheit\hspace{-0.15cm}: \hspace{0.15cm}bit}\hspace{0.05cm}.$$
 
  {\rm Pseudoeinheit\hspace{-0.15cm}: \hspace{0.15cm}bit}\hspace{0.05cm}.$$
*Die Entropie einer mehrstufigen Quelle lässt sich häufig mit dieser &bdquo;binären Entropiefunktion&rdquo; $H_{\rm bin}(p)$  ausdrücken.  
+
*Die Entropie einer mehrstufigen Quelle lässt sich häufig mit dieser&nbsp; &bdquo;binären Entropiefunktion&rdquo;&nbsp; $H_{\rm bin}(p)$&nbsp; ausdrücken.
 +
  
Betrachtet werden in dieser Aufgabe zwei Ternärquellen mit den Symbolwahrscheinlichkeiten gemäß der obigen Grafik:
+
Betrachtet werden in dieser Aufgabe zwei Ternärquellen mit den Symbolwahrscheinlichkeiten gemäß der Grafik:
  
* die Quelle $\rm Q_1$ mit $p_{\rm G }= 1/2$, $p_{\rm S }= 1/3$ und $p_{\rm R }= 1/6$,
+
* die Quelle&nbsp; $\rm Q_1$ mit&nbsp; $p_{\rm G }= 1/2$, &nbsp;$p_{\rm S }= 1/3$ &nbsp;und&nbsp; $p_{\rm R }= 1/6$,
* die Quelle $\rm Q_2$ mit $p_{\rm G }= p$ sowie  $p_{\rm S } = p_{\rm R } = (1-p)/2$.  
+
* die Quelle&nbsp; $\rm Q_2$ mit&nbsp; $p_{\rm G }= p$ &nbsp;sowie&nbsp; $p_{\rm S } = p_{\rm R } = (1-p)/2$.  
  
  
Die Ternärquelle $\rm Q_2$ lässt sich auch auf das Roulette anwenden, wenn ein Spieler nur auf die Felder <b>R</b>ot, <b>S</b>chwarz und <b>G</b>rün (die &bdquo;Null&rdquo;) setzt. Dieser Spieltyp wird im Fragebogen mit &bdquo;Roulette 1&rdquo; bezeichnet.
+
Die Ternärquelle&nbsp; $\rm Q_2$&nbsp; lässt sich auch auf das Roulette anwenden, wenn ein Spieler nur auf die Felder&nbsp; $\rm R$ot,&nbsp; $\rm S$chwarz&nbsp; und $\rm G$rün&nbsp; (die &bdquo;Null&rdquo;) setzt.&nbsp; Dieser Spieltyp wird im Fragebogen mit&nbsp; $\text{Roulette 1}$&nbsp; bezeichnet.
  
Dagegen weist &bdquo;Roulette 2&rdquo; darauf hin, dass der Spieler auf einzelne Zahlen (<b>0</b>, ... , <b>36</b>) setzt.
+
Dagegen weist&nbsp; $\text{Roulette 2}$&nbsp; darauf hin, dass der Spieler auf einzelne Zahlen&nbsp; $(0$, ... , $36)$&nbsp; setzt.
  
''Hinweise:''  
+
 
*Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Gedächtnislose_Nachrichtenquellen|Gedächtnislose Nachrichtenquellen]].
+
 
*Sollte die Eingabe des Zahlenwertes &bdquo;0&rdquo; erforderlich sein, so geben Sie bitte &bdquo;0.&rdquo; ein.
+
 
 +
 
 +
 
 +
 
 +
''Hinweis:''  
 +
*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Gedächtnislose_Nachrichtenquellen|Gedächtnislose Nachrichtenquellen]].
 +
  
  
Zeile 33: Zeile 40:
  
 
<quiz display=simple>
 
<quiz display=simple>
{Welche Entropie $H$ besitzt die Quelle $\rm Q_1$?
+
{Welche Entropie&nbsp; $H$&nbsp; besitzt die Quelle&nbsp; $\rm \underline{Q_1}$?
 
|type="{}"}
 
|type="{}"}
$\rm Q_1$: &nbsp;  &nbsp;  $H \ = $ { 1.46 3% } $\ \rm bit$
+
$H \ = \ $ { 1.46 3% } $\ \rm bit$
  
  
{Welche der folgenden Aussagen sind zutreffend, wenn man  <b>R</b>, <b>G</b> und  <b>S</b> durch die Zahlenwerte $-1$, $0$ und $+1$ darstellt?
+
{Welche der folgenden Aussagen sind zutreffend, wenn man&nbsp; $\rm R$,&nbsp; $\rm G$&nbsp; und&nbsp; $\rm S$&nbsp; durch die Zahlenwerte&nbsp; $-1$, &nbsp;$0$ &nbsp;und&nbsp; $+1$&nbsp; darstellt?
|type="[]"}
+
|type="()"}
 
- Es ergibt sich eine kleinere Entropie.
 
- Es ergibt sich eine kleinere Entropie.
 
+ Die Entropie bleibt gleich.
 
+ Die Entropie bleibt gleich.
Zeile 45: Zeile 52:
  
  
{Bestimmen Sie die Entropie der Quelle $\rm Q_2$ unter Verwendung der binären Entropiefunktion $H_{\rm bin}(p)$. Welcher Wert ergibt sich für $p = 0.5$?
+
{Bestimmen Sie die Entropie der Quelle&nbsp; $\rm \underline{Q_2}$&nbsp; unter Verwendung der binären Entropiefunktion&nbsp; $H_{\rm bin}(p)$.&nbsp; Welcher Wert ergibt sich für&nbsp; $\underline{p = 0.5}$?
 
|type="{}"}
 
|type="{}"}
${\rm Q_2}, \ p = 0.5$: &nbsp; &nbsp;  $H \ = $ { 1.5 3% } $\ \rm bit$
+
$H \ =  \ $ { 1.5 3% } $\ \rm bit$
  
  
{Für welchen $p$&ndash;Wert ergibt sich die maximale Entropie der Quelle $\rm Q_2$?
+
{Für welchen&nbsp; $p$&ndash;Wert der Quelle&nbsp; $\rm \underline{Q_2}$&nbsp; ergibt sich die maximale Entropie:&nbsp; $H &#8594; H_\text{max}$?
 
|type="{}"}
 
|type="{}"}
${\rm Q_2},\ H &#8594; H_\text{max}$: &nbsp; &nbsp;  $p \ = $ { 0.333 3% }  
+
$p \ = \ $ { 0.333 3% }  
  
  
{Welche Entropie hat die Nachrichtenquelle &bdquo;Roulette&rdquo; hinsichtlich der Ereignisse <b>R</b>ot,  <b>S</b>chwarz und  <b>G</b>rün (die &bdquo;Null&rdquo;)?
+
{Welche Entropie hat die Nachrichtenquelle&nbsp; $\text{Roulette 1}$,&nbsp; also hinsichtlich der Ereignisse&nbsp; $\rm R$ot,&nbsp; $\rm S$chwarz&nbsp; und&nbsp; $\rm G$rün&nbsp; (die &bdquo;Null&rdquo;)?
 
|type="{}"}
 
|type="{}"}
$\text{Roulette 1}$: &nbsp;  &nbsp;  $H \ = $ { 1.152 3% } $\ \rm bit$
+
$H \ = \ $ { 1.152 3% } $\ \rm bit$
  
  
{Welche Entropie weist &bdquo;Roulette&rdquo; hinsichtlich der Zahlen $0$, ... , $36$ auf?
+
{Welche Entropie weist&nbsp; $\text{Roulette 2}$&nbsp; auf,&nbsp; also  hinsichtlich der Zahlen&nbsp; $0$, ... , $36$?
 
|type="{}"}
 
|type="{}"}
$\text{Roulette 2}$: &nbsp; &nbsp;  $H \ = $ { 5.209 3% } $\ \rm bit$
+
$H \ = \ $ { 5.209 3% } $\ \rm bit$
  
  
Zeile 70: Zeile 77:
 
===Musterlösung===
 
===Musterlösung===
 
{{ML-Kopf}}
 
{{ML-Kopf}}
:<b>2.</b>&nbsp;&nbsp;Mit den Auftrittswahrscheinlichkeiten 1/2, 1/3 und 1/6 erhält man folgenden Entropiewert:
+
'''(1)'''&nbsp; Mit den Auftrittswahrscheinlichkeiten&nbsp; $1/2$,&nbsp; $1/3$&nbsp; und&nbsp; $1/6$&nbsp; erhält man folgenden Entropiewert:
:$$H \hspace{0.1cm}  =  \hspace{0.1cm}  1/2 \cdot {\rm log}_2\hspace{0.1cm}(2) +1/3 \cdot {\rm log}_2\hspace{0.1cm}(3) +1/6 \cdot {\rm log}_2\hspace{0.1cm}(6) =\\
+
:$$H \hspace{0.1cm}  =  \hspace{0.1cm}  1/2 \cdot {\rm log}_2\hspace{0.1cm}(2) +1/3 \cdot {\rm log}_2\hspace{0.1cm}(3) +1/6 \cdot {\rm log}_2\hspace{0.1cm}(6) =(1/2 + 1/6)\cdot {\rm log}_2\hspace{0.1cm}(2) +  (1/3 + 1/6)\cdot {\rm log}_2\hspace{0.1cm}(3) \hspace{0.15cm}\underline {\approx 1.46 \, {\rm bit}} \hspace{0.05cm}.$$
  \hspace{0.1cm}  =  \hspace{0.1cm}  (1/2 + 1/6)\cdot {\rm log}_2\hspace{0.1cm}(2) +  (1/3 + 1/6)\cdot {\rm log}_2\hspace{0.1cm}(3) =\\
+
 
  \hspace{0.1cm} =  \hspace{0.1cm} 2/3 \cdot 1\,{\rm bit} + 1/2 \cdot 1.585\,{\rm bit}\hspace{0.15cm}\underline {\approx 1.46 \, {\rm bit}}
+
 
  \hspace{0.05cm}.$$
+
 
 +
'''(2)'''&nbsp; Richtig ist der <u>Lösungsvorschlag 2</u>:
 +
* Die Entropie hängt nur von den Auftrittswahrscheinlichkeiten ab.
 +
*Es ist dabei egal, welche Zahlenwerte oder physikalische Größen man den einzelnen Symbolen zuordnet.
 +
*Anders ist es bei Mittelwerten oder der AKF&ndash;Berechnung.&nbsp; Werden nur Symbole angegeben, so kann man hierfür keine Momente angeben.
 +
*Außerdem hängen die Mittelwerte, Autokorrelation, usw. davon ab, ob man die Zuordnung bipolar&nbsp; $(-1, \hspace{0.10cm}0, \hspace{0.05cm}+1)$&nbsp; oder unipolar&nbsp;  $(0, \hspace{0.05cm}1, \hspace{0.05cm}2)$&nbsp; vereinbart.
 +
 
 +
 
 +
 
 +
'''(3)'''&nbsp; Die Entropie der Quelle&nbsp; $\rm Q_2$&nbsp; lässt sich wie folgt ausdrücken:
 +
:$$H \hspace{0.1cm} =  \hspace{0.1cm} p \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p}+ 2 \cdot \frac{1-p}{2}  \cdot {\rm log}_2\hspace{0.1cm}\frac {2}{1-p}= p \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p}+ (1-p)  \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{1-p} + (1-p)\cdot {\rm log}_2\hspace{0.1cm}(2)= H_{\rm bin}(p) + 1-p \hspace{0.05cm}.$$
 +
*Für&nbsp; $p = 0.5$ &nbsp;&nbsp;&#8658;&nbsp;&nbsp; $H_{\rm bin}(p) = 1$&nbsp; ergibt sich&nbsp; $\underline{H = 1.5\hspace{0.05cm}\rm  bit}$.
  
:<b>2.</b>&nbsp;&nbsp;Richtig ist <u>Lösungsvorschlag 2</u>. Die Entropie hängt nur von den Auftrittswahrscheinlichkeiten ab. Es ist dabei egal, welche Zahlenwerte oder physikalische Größen man den einzelnen Symbolen zuordnet. Anders ist es bei Mittelwerten oder der AKF&ndash;Berechnung. Werden nur Symbole angegeben, so kann man hierfür keine Momente angeben. Außerdem hängen die Mittelwerte, Autokorrelation, usw. davon ab, ob man die Zuordnung bipolar (&ndash;1, 0, +1) oder unipolar (zum Beispiel: 0, 1, 2) vereinbart.
 
  
:<b>3.</b>&nbsp;&nbsp;Die Entropie der Quelle Q<sub>2</sub> lässt sich wie folgt ausdrücken:
 
:$$H \hspace{0.1cm} =  \hspace{0.1cm} p \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p}+ 2 \cdot \frac{1-p}{2}  \cdot {\rm log}_2\hspace{0.1cm}\frac {2}{1-p}=\\
 
\hspace{0.1cm}  =  \hspace{0.1cm} p \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p}+ (1-p)  \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{1-p} + (1-p)\cdot {\rm log}_2\hspace{0.1cm}(2)= H_{\rm bin}(p) + 1-p \hspace{0.05cm}.$$
 
:Für <i>p</i> = 0.5 &nbsp;&nbsp;&#8658;&nbsp;&nbsp; <i>H</i><sub>bin</sub>(<i>p</i>) = 1 ergibt sich <i>H</i> <u>= 1.5 bit</u>.
 
  
:<b>4.</b>&nbsp;&nbsp;Die maximale Entropie einer gedächtnislosen Quelle mit dem Symbolumfang <i>M</i> ergibt sich, wenn alle <i>M</i> Symbole gleichwahrscheinlich sind. Für den Sonderfall <i>M</i> = 3 folgt daraus:
+
'''(4)'''&nbsp; Die maximale Entropie einer gedächtnislosen Quelle mit dem Symbolumfang $M$ ergibt sich, wenn alle&nbsp; $M$&nbsp; Symbole gleichwahrscheinlich sind.  
 +
*Für den Sonderfall $M=3$ folgt daraus:
 
:$$p_{\rm R} + p_{\rm G} + p_{\rm S} = 1 \hspace{0.3cm} \Rightarrow \hspace{0.3cm}
 
:$$p_{\rm R} + p_{\rm G} + p_{\rm S} = 1 \hspace{0.3cm} \Rightarrow \hspace{0.3cm}
  \underline {p = 1/3}\hspace{0.05cm}.$$
+
  \underline {p = 1/3 \approx 0.333}\hspace{0.05cm}.$$
:Damit erhält man mit dem Ergebnis der Teilaufgabe (3) die folgende Entropie:
+
*Damit erhält man mit dem Ergebnis der Teilaufgabe&nbsp; '''(3)'''&nbsp; die folgende Entropie:
:$$H \hspace{0.1cm} = \hspace{0.1cm} H_{\rm bin}(1/3) + 1-1/3 = 1/3 \cdot  
+
:$$H = H_{\rm bin}(1/3) + 1-1/3 = 1/3 \cdot  
{\rm log}_2\hspace{0.1cm}(3) + 2/3 \cdot {\rm log}_2\hspace{0.1cm}(3/2) + 2/3 =\\
+
{\rm log}_2\hspace{0.1cm}(3) + 2/3 \cdot {\rm log}_2\hspace{0.1cm}(3/2) + 2/3 $$
\hspace{0.1cm} = \hspace{0.1cm}  1/3 \cdot {\rm log}_2\hspace{0.1cm}(3) + 2/3 \cdot  
+
:$$\Rightarrow \hspace{0.3cm}H = 1/3 \cdot {\rm log}_2\hspace{0.1cm}(3) + 2/3 \cdot  
 
{\rm log}_2\hspace{0.1cm}(3) - 2/3 \cdot {\rm log}_2\hspace{0.1cm}(2)+ 2/3 =  
 
{\rm log}_2\hspace{0.1cm}(3) - 2/3 \cdot {\rm log}_2\hspace{0.1cm}(2)+ 2/3 =  
 
{\rm log}_2\hspace{0.1cm}(3) = {1.585 \, {\rm bit}}
 
{\rm log}_2\hspace{0.1cm}(3) = {1.585 \, {\rm bit}}
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$
  
:<b>5.</b>&nbsp;&nbsp;&bdquo;Roulette 1&rdquo; ist informationstheoretisch gleich der Konfiguration Q<sub>2</sub> mit <i>p</i> = 1/37:
+
 
 +
 
 +
'''(5)'''&nbsp; Das System&nbsp; $\text{Roulette 1}$&nbsp; ist informationstheoretisch gleich der Konfiguration&nbsp; $\rm Q_2$&nbsp; mit&nbsp; $p = 1/37$:
 
:$$p_{\rm G} = p =  \frac{1}{37}\hspace{0.05cm},\hspace{0.2cm} p_{\rm R} = p_{\rm S} = \frac{1-p}{2} = \frac{18}{37} \hspace{0.05cm}.$$
 
:$$p_{\rm G} = p =  \frac{1}{37}\hspace{0.05cm},\hspace{0.2cm} p_{\rm R} = p_{\rm S} = \frac{1-p}{2} = \frac{18}{37} \hspace{0.05cm}.$$
:Damit erhält man mit dem Ergebnis der Teilaufgabe (3):
+
*Damit erhält man mit dem Ergebnis der Teilaufgabe&nbsp; '''(3)''':
:$$H \hspace{0.1cm} = \hspace{0.1cm} H_{\rm bin}(1/37) + \frac{36}{37} = \frac{1}{37} \cdot {\rm log}_2\hspace{0.1cm}(37) + \frac{36}{37} \cdot {\rm log}_2\hspace{0.1cm}(37) - \frac{36}{37} \cdot {\rm log}_2\hspace{0.1cm}36 + \frac{36}{37} =\\
+
:$$H = H_{\rm bin}(1/37) + \frac{36}{37} = \frac{1}{37} \cdot {\rm log}_2\hspace{0.1cm}(37) + \frac{36}{37} \cdot {\rm log}_2\hspace{0.1cm}(37) - \frac{36}{37} \cdot {\rm log}_2\hspace{0.1cm}36 + \frac{36}{37} =
\hspace{0.1cm}  =  \hspace{0.1cm}  {\rm log}_2\hspace{0.1cm}(37) + \frac{36}{37} \cdot ( 1- {\rm log}_2\hspace{0.1cm}(36)) = 5.209 - 4.057  \hspace{0.15cm} \underline { = 1.152 \, {\rm bit}}
+
  {\rm log}_2\hspace{0.1cm}(37) + \frac{36}{37} \cdot ( 1- {\rm log}_2\hspace{0.1cm}(36)) = 5.209 - 4.057  \hspace{0.15cm} \underline { = 1.152 \, {\rm bit}}
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$
  
:<b>6.</b>&nbsp;&nbsp; Setzt man bei Roulette auf einzelne Zahlen &#8658; Konfiguration &bdquo;Roulette 2&rdquo;, so sind alle Zahlen von <b>0</b> bis <b>36</b> gleichwahrscheinlich und man erhält:
+
 
 +
 
 +
'''(6)'''&nbsp; Setzt man bei Roulette auf einzelne Zahlen &nbsp;  &#8658; &nbsp; Konfiguration&nbsp; $\text{Roulette 2}$, so sind alle Zahlen von&nbsp; $0$&nbsp; bis&nbsp; $36$&nbsp; gleichwahrscheinlich und man erhält:
 
:$$H = {\rm log}_2\hspace{0.1cm}(37)  \hspace{0.15cm} \underline { = 5.209 \, {\rm bit}}
 
:$$H = {\rm log}_2\hspace{0.1cm}(37)  \hspace{0.15cm} \underline { = 5.209 \, {\rm bit}}
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$

Aktuelle Version vom 16. Juni 2021, 15:54 Uhr

Wahrscheinlichkeiten zweier Ternärquellen

Die Entropie einer wertdiskreten gedächtnislosen Nachrichtenquelle mit  $M$  möglichen Symbolen lautet:

$$H = \sum_{\mu = 1}^M p_{\mu} \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{p_\mu}\hspace{0.05cm},\hspace{0.3cm} {\rm Pseudoeinheit\hspace{-0.15cm}: \hspace{0.15cm}bit}\hspace{0.05cm}.$$

Hierbei bezeichnen die  $p_\mu$  die Auftrittswahrscheinlichkeiten der einzelnen Symbole bzw. Ereignisse.  Im vorliegenden Beispiel werden die Ereignisse  $\rm R$(ot),  $\rm G$(rün)  und  $\rm S$(chwarz)  genannt.

  • Bei einer binären Quelle mit den Auftrittswahrscheinlichkeiten  $p$  und  $1-p$  kann hierfür geschrieben werden:
$$H = H_{\rm bin}(p) = p \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{p}+ (1-p) \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{1-p}\hspace{0.05cm},\hspace{0.3cm} {\rm Pseudoeinheit\hspace{-0.15cm}: \hspace{0.15cm}bit}\hspace{0.05cm}.$$
  • Die Entropie einer mehrstufigen Quelle lässt sich häufig mit dieser  „binären Entropiefunktion”  $H_{\rm bin}(p)$  ausdrücken.


Betrachtet werden in dieser Aufgabe zwei Ternärquellen mit den Symbolwahrscheinlichkeiten gemäß der Grafik:

  • die Quelle  $\rm Q_1$ mit  $p_{\rm G }= 1/2$,  $p_{\rm S }= 1/3$  und  $p_{\rm R }= 1/6$,
  • die Quelle  $\rm Q_2$ mit  $p_{\rm G }= p$  sowie  $p_{\rm S } = p_{\rm R } = (1-p)/2$.


Die Ternärquelle  $\rm Q_2$  lässt sich auch auf das Roulette anwenden, wenn ein Spieler nur auf die Felder  $\rm R$ot,  $\rm S$chwarz  und $\rm G$rün  (die „Null”) setzt.  Dieser Spieltyp wird im Fragebogen mit  $\text{Roulette 1}$  bezeichnet.

Dagegen weist  $\text{Roulette 2}$  darauf hin, dass der Spieler auf einzelne Zahlen  $(0$, ... , $36)$  setzt.




Hinweis:


Fragebogen

1

Welche Entropie  $H$  besitzt die Quelle  $\rm \underline{Q_1}$?

$H \ = \ $

$\ \rm bit$

2

Welche der folgenden Aussagen sind zutreffend, wenn man  $\rm R$,  $\rm G$  und  $\rm S$  durch die Zahlenwerte  $-1$,  $0$  und  $+1$  darstellt?

Es ergibt sich eine kleinere Entropie.
Die Entropie bleibt gleich.
Es ergibt sich eine größere Entropie.

3

Bestimmen Sie die Entropie der Quelle  $\rm \underline{Q_2}$  unter Verwendung der binären Entropiefunktion  $H_{\rm bin}(p)$.  Welcher Wert ergibt sich für  $\underline{p = 0.5}$?

$H \ = \ $

$\ \rm bit$

4

Für welchen  $p$–Wert der Quelle  $\rm \underline{Q_2}$  ergibt sich die maximale Entropie:  $H → H_\text{max}$?

$p \ = \ $

5

Welche Entropie hat die Nachrichtenquelle  $\text{Roulette 1}$,  also hinsichtlich der Ereignisse  $\rm R$ot,  $\rm S$chwarz  und  $\rm G$rün  (die „Null”)?

$H \ = \ $

$\ \rm bit$

6

Welche Entropie weist  $\text{Roulette 2}$  auf,  also hinsichtlich der Zahlen  $0$, ... , $36$?

$H \ = \ $

$\ \rm bit$


Musterlösung

(1)  Mit den Auftrittswahrscheinlichkeiten  $1/2$,  $1/3$  und  $1/6$  erhält man folgenden Entropiewert:

$$H \hspace{0.1cm} = \hspace{0.1cm} 1/2 \cdot {\rm log}_2\hspace{0.1cm}(2) +1/3 \cdot {\rm log}_2\hspace{0.1cm}(3) +1/6 \cdot {\rm log}_2\hspace{0.1cm}(6) =(1/2 + 1/6)\cdot {\rm log}_2\hspace{0.1cm}(2) + (1/3 + 1/6)\cdot {\rm log}_2\hspace{0.1cm}(3) \hspace{0.15cm}\underline {\approx 1.46 \, {\rm bit}} \hspace{0.05cm}.$$


(2)  Richtig ist der Lösungsvorschlag 2:

  • Die Entropie hängt nur von den Auftrittswahrscheinlichkeiten ab.
  • Es ist dabei egal, welche Zahlenwerte oder physikalische Größen man den einzelnen Symbolen zuordnet.
  • Anders ist es bei Mittelwerten oder der AKF–Berechnung.  Werden nur Symbole angegeben, so kann man hierfür keine Momente angeben.
  • Außerdem hängen die Mittelwerte, Autokorrelation, usw. davon ab, ob man die Zuordnung bipolar  $(-1, \hspace{0.10cm}0, \hspace{0.05cm}+1)$  oder unipolar  $(0, \hspace{0.05cm}1, \hspace{0.05cm}2)$  vereinbart.


(3)  Die Entropie der Quelle  $\rm Q_2$  lässt sich wie folgt ausdrücken:

$$H \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p}+ 2 \cdot \frac{1-p}{2} \cdot {\rm log}_2\hspace{0.1cm}\frac {2}{1-p}= p \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p}+ (1-p) \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{1-p} + (1-p)\cdot {\rm log}_2\hspace{0.1cm}(2)= H_{\rm bin}(p) + 1-p \hspace{0.05cm}.$$
  • Für  $p = 0.5$   ⇒   $H_{\rm bin}(p) = 1$  ergibt sich  $\underline{H = 1.5\hspace{0.05cm}\rm bit}$.


(4)  Die maximale Entropie einer gedächtnislosen Quelle mit dem Symbolumfang $M$ ergibt sich, wenn alle  $M$  Symbole gleichwahrscheinlich sind.

  • Für den Sonderfall $M=3$ folgt daraus:
$$p_{\rm R} + p_{\rm G} + p_{\rm S} = 1 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} \underline {p = 1/3 \approx 0.333}\hspace{0.05cm}.$$
  • Damit erhält man mit dem Ergebnis der Teilaufgabe  (3)  die folgende Entropie:
$$H = H_{\rm bin}(1/3) + 1-1/3 = 1/3 \cdot {\rm log}_2\hspace{0.1cm}(3) + 2/3 \cdot {\rm log}_2\hspace{0.1cm}(3/2) + 2/3 $$
$$\Rightarrow \hspace{0.3cm}H = 1/3 \cdot {\rm log}_2\hspace{0.1cm}(3) + 2/3 \cdot {\rm log}_2\hspace{0.1cm}(3) - 2/3 \cdot {\rm log}_2\hspace{0.1cm}(2)+ 2/3 = {\rm log}_2\hspace{0.1cm}(3) = {1.585 \, {\rm bit}} \hspace{0.05cm}.$$


(5)  Das System  $\text{Roulette 1}$  ist informationstheoretisch gleich der Konfiguration  $\rm Q_2$  mit  $p = 1/37$:

$$p_{\rm G} = p = \frac{1}{37}\hspace{0.05cm},\hspace{0.2cm} p_{\rm R} = p_{\rm S} = \frac{1-p}{2} = \frac{18}{37} \hspace{0.05cm}.$$
  • Damit erhält man mit dem Ergebnis der Teilaufgabe  (3):
$$H = H_{\rm bin}(1/37) + \frac{36}{37} = \frac{1}{37} \cdot {\rm log}_2\hspace{0.1cm}(37) + \frac{36}{37} \cdot {\rm log}_2\hspace{0.1cm}(37) - \frac{36}{37} \cdot {\rm log}_2\hspace{0.1cm}36 + \frac{36}{37} = {\rm log}_2\hspace{0.1cm}(37) + \frac{36}{37} \cdot ( 1- {\rm log}_2\hspace{0.1cm}(36)) = 5.209 - 4.057 \hspace{0.15cm} \underline { = 1.152 \, {\rm bit}} \hspace{0.05cm}.$$


(6)  Setzt man bei Roulette auf einzelne Zahlen   ⇒   Konfiguration  $\text{Roulette 2}$, so sind alle Zahlen von  $0$  bis  $36$  gleichwahrscheinlich und man erhält:

$$H = {\rm log}_2\hspace{0.1cm}(37) \hspace{0.15cm} \underline { = 5.209 \, {\rm bit}} \hspace{0.05cm}.$$