Informationstheorie/Gedächtnislose Nachrichtenquellen: Unterschied zwischen den Versionen
Aus LNTwww
David (Diskussion | Beiträge) |
David (Diskussion | Beiträge) |
||
| Zeile 10: | Zeile 10: | ||
Wir betrachten eine wertdiskrete Nachrichtenquelle Q, die eine Folge 〈 $q_ν $ 〉 von Symbolen abgibt. Für die Laufvariable gilt $ν$ = 1, ... , $N$, wobei $N$ „hinreichend groß” sein sollte. Jedes einzelne Quellensymbol $q_ν$ entstammt einem Symbolvorrat { $q_μ$ } mit $μ$ = 1, ... , $M$, wobei $M$ den Symbolumfang bezeichnet: | Wir betrachten eine wertdiskrete Nachrichtenquelle Q, die eine Folge 〈 $q_ν $ 〉 von Symbolen abgibt. Für die Laufvariable gilt $ν$ = 1, ... , $N$, wobei $N$ „hinreichend groß” sein sollte. Jedes einzelne Quellensymbol $q_ν$ entstammt einem Symbolvorrat { $q_μ$ } mit $μ$ = 1, ... , $M$, wobei $M$ den Symbolumfang bezeichnet: | ||
| − | Die Grafik zeigt eine quaternäre Nachrichtenquelle (M = 4) mit dem Alphabet {A, B, C, D}. Rechts ist eine beispielhafte Folge der Länge N = 100 angegeben. | + | Die Grafik zeigt eine quaternäre Nachrichtenquelle ( $M$ = 4) mit dem Alphabet {A, B, C, D}. Rechts ist eine beispielhafte Folge der Länge $N$ = 100 angegeben. |
Es gelten folgende Voraussetzungen: | Es gelten folgende Voraussetzungen: | ||
| − | Die quaternäre Nachrichtenquelle wird durch M = 4 Symbolwahrscheinlichkeiten | + | *Die quaternäre Nachrichtenquelle wird durch $M$ = 4 Symbolwahrscheinlichkeiten $p_μ$ vollständig beschrieben. Allgemein gilt: |
| − | Die Nachrichtenquelle sei gedächtnislos, das heißt, die einzelnen Folgenelemente seien statistisch voneinander unabhängig: | + | *Die Nachrichtenquelle sei gedächtnislos, das heißt, die einzelnen Folgenelemente seien statistisch voneinander unabhängig: |
| − | Da das Alphabet aus Symbolen (und nicht aus Zufallsgrößen) besteht, ist hier die Angabe von Erwartungswerten (linearer Mittelwert, quadratischer Mittelwert, Streuung, usw.) nicht möglich, aber auch aus informationstheoretischer Sicht nicht nötig. | + | *Da das Alphabet aus Symbolen (und nicht aus Zufallsgrößen) besteht, ist hier die Angabe von Erwartungswerten (linearer Mittelwert, quadratischer Mittelwert, Streuung, usw.) nicht möglich, aber auch aus informationstheoretischer Sicht nicht nötig. |
| − | Diese Eigenschaften werden auf der nächsten Seite mit einem Beispiel verdeutlicht. | + | |
| + | Diese Eigenschaften werden auf der nächsten Seite mit einem Beispiel verdeutlicht. | ||
| + | |||
==Entscheidungsgehalt – Nachrichtengehalt== | ==Entscheidungsgehalt – Nachrichtengehalt== | ||
==Informationsgehalt und Entropie == | ==Informationsgehalt und Entropie == | ||
Version vom 13. Mai 2016, 18:04 Uhr
Inhaltsverzeichnis
Modell und Voraussetzungen
Wir betrachten eine wertdiskrete Nachrichtenquelle Q, die eine Folge 〈 $q_ν $ 〉 von Symbolen abgibt. Für die Laufvariable gilt $ν$ = 1, ... , $N$, wobei $N$ „hinreichend groß” sein sollte. Jedes einzelne Quellensymbol $q_ν$ entstammt einem Symbolvorrat { $q_μ$ } mit $μ$ = 1, ... , $M$, wobei $M$ den Symbolumfang bezeichnet:
Die Grafik zeigt eine quaternäre Nachrichtenquelle ( $M$ = 4) mit dem Alphabet {A, B, C, D}. Rechts ist eine beispielhafte Folge der Länge $N$ = 100 angegeben.
Es gelten folgende Voraussetzungen:
- Die quaternäre Nachrichtenquelle wird durch $M$ = 4 Symbolwahrscheinlichkeiten $p_μ$ vollständig beschrieben. Allgemein gilt:
- Die Nachrichtenquelle sei gedächtnislos, das heißt, die einzelnen Folgenelemente seien statistisch voneinander unabhängig:
- Da das Alphabet aus Symbolen (und nicht aus Zufallsgrößen) besteht, ist hier die Angabe von Erwartungswerten (linearer Mittelwert, quadratischer Mittelwert, Streuung, usw.) nicht möglich, aber auch aus informationstheoretischer Sicht nicht nötig.
Diese Eigenschaften werden auf der nächsten Seite mit einem Beispiel verdeutlicht.
