Stochastische Signaltheorie/Vom Zufallsexperiment zur Zufallsgröße

1. Stochastische Signaltheorie
2. Diskrete Zufallsgrößen
3. Vom Zufallsexperiment zur Zufallsgröße

• Vorherige Seite
• Nächste Seite

• Vorherige Seite
• Nächste Seite

# ÜBERBLICK ZUM ZWEITEN HAUPTKAPITEL #

Dieses Kapitel soll Sie mit  diskreten Zufallsgrößen  vertraut machen,  wobei diese als statistisch unabhängig vorausgesetzt werden.  Solche Zufallsgrößen werden in der Nachrichtentechnik zum Beispiel für die Simulation eines binären oder mehrstufigen Digitalsignals benötigt,  aber ebenso zur Nachbildung eines Kanals mit statistisch unabhängigen Fehlern durch ein digitales Modell,  zum Beispiel dem BSC-Modell.

Im Einzelnen werden behandelt:

• der  »Zusammenhang zwischen Wahrscheinlichkeit und relativer Häufigkeit«,
• die  »Erwartungswerte und Momente«,
• die  »Binomial- und die Poissonverteilung«  als Sonderfälle diskreter Verteilungen,
• die  »Erzeugung pseudozufälliger Binärsymbole«  mittels  »PN-Generatoren«,  und
• die  »Erzeugung mehrstufiger Zufallsgrößen«  an einem Digitalrechner.

Weitere Informationen zum Thema „Diskrete Zufallsgrößen” sowie Aufgaben, Simulationen und Programmierübungen finden Sie im

• Kapitel 1:   Diskrete Zufallsgrößen (Programm dis)
• Kapitel 2:   Pseudonoise-Generatoren (Programm png)

des Praktikums „Simulationsmethoden in der Nachrichtentechnik”.  Diese (ehemalige) LNT-Lehrveranstaltung an der TU München basiert auf

• dem Lehrsoftwarepaket  LNTsim   ⇒   Link verweist auf die ZIP-Version des Programms,  und
• der zugehörigen  Praktikumsanleitung   ⇒   Link verweist auf die PDF-Version; Kapitel 1 und 2: Seite 7-32.

Zum Begriff der Zufallsgröße

Im ersten Kapitel dieses Buches wurde bereits der Begriff  Zufallsexperiment  erläutert. Darunter versteht man einen unter gleichen Bedingungen beliebig oft wiederholbaren Versuch mit ungewissem Ergebnis  $E$,  bei dem jedoch die Menge  $\{E_μ \}$  der möglichen Ergebnisse angebbar ist.

Häufig sind die Versuchsergebnisse Zahlenwerte, wie zum Beispiel beim Zufallsexperiment „Werfen eines Würfels”.  Dagegen liefert das Experiment „Münzwurf” die möglichen Ergebnisse „Zahl” und „Bild”.

Zur einheitlichen Beschreibung verschiedenartiger Experimente und auch wegen der besseren Handhabbarkeit verwendet man den Begriff der  „Zufallsgröße”, oft auch als  „Zufallsvariable”  bezeichnet.

Zur Definition der Zufallsgröße

$\text{Definition:}$ 

• Eine  Zufallsgröße  $z$  ist eine ein-eindeutige Abbildung der Ergebnismenge  $\{E_μ \}$  auf die Menge der reellen Zahlen. 

• Ergänzend zu dieser Definition wird noch zugelassen, dass die Zufallsgröße neben dem Zahlenwert auch eine Einheit besitzt.

Nachfolgend werden einige Beispiele für Zufallsgrößen genannt:

• Beim Zufallsexperiment „Werfen einer Roulettekugel” hat eine Unterscheidung zwischen  $E$  und  $z$  keine praktischen Auswirkungen, kann aber aus formalen Gründen durchaus sinnvoll sein.  So bezeichnet  $E_μ = 8$, dass die Kugel in der mit „8“ markierten Vertiefung der Roulettescheibe zum Liegen gekommen ist.  Arithmetische Operationen  (zum Beispiel eine Erwartungswertbildung)  sind anhand der Ergebnisse nicht möglich.   –  Dagegen bezeichnet die Zufallsgröße  $z$  tatsächlich einen Zahlenwert  $($hier ganzzahlig zwischen  $0$  und  $36)$, aus dem der zu erwartende Mittelwert der Zufallsgröße  $($hier  $18)$  ermittelt werden kann.  Durchaus möglich, aber nicht sinnvoll wäre zum Beispiel die Zuordnung  $E_μ = 8$    ⇔   $z_μ ≠ 8$.
• Beim Experiment „Münzwurf” sind die möglichen Ergebnisse  „Zahl”  und  „Bild”, worauf per se keine arithmetische Operationen angewendet werden können.  Erst durch die zwar willkürliche, aber ein-eindeutige Zuordnung zwischen der Ereignismenge  $\{E_μ\} = \{$„Zahl”, „Bild”$ \}$  und der Zahlenmenge  $\{z_μ\} = \{0, 1\}$  kann hier überhaupt ein Kennwert angegeben werden.  Ebenso könnte man aber auch die Zuordnung „Bild”   ⇔   $0$  und „Zahl”   ⇔   $1$  festlegen.
• In der Schaltungstechnik bezeichnet man die beiden möglichen logischen Zustände einer Speicherzelle (Flipflops) gemäß den möglichen Spannungspegeln mit  $\rm L$  ("Low") und  $\rm H$  ("High").  Diese Bezeichnungen übernehmen wir hier auch für Binärsymbole.  Für praktische Arbeiten bildet man diese Symbole meist wieder auf Zufallsgrößen ab, wobei auch diese Zuordnung willkürlich ist, aber sinnvoll sein sollte.
• In der Codierungstheorie wird sinnvollerweise  $\{ \text{L, H}\}$  auf  $\{0, 1\}$  abgebildet, um die Möglichkeiten der Modulo-Algebra nutzen zu können.  Zur Beschreibung der Modulation mit bipolaren (antipodalen) Signalen wählt man dagegen besser die Zuordnung  $\{ \text{L, H}\}$ ⇔ $ \{-1, +1\}$.

Kontinuierliche und diskrete Zufallsgrößen

$\text{Definition:}$  Nach den möglichen Zahlenwerten  $z_μ = z(E_μ)$  unterscheiden wir hier zwischen kontinuierlichen und diskreten Zufallsgrößen:

• Eine  kontinuierliche Zufallsgröße  $z$  kann – zumindest in gewissen Bereichen – unendlich viele verschiedene Werte annehmen.  Genauer gesagt:   Die Menge der zulässigen Werte ist bei solchen Größen auch nicht abzählbar.
• Beispiele für kontinuierliche Zufallsgrößen sind die Geschwindigkeit eines Autos  $($bei angemessener Fahrweise zwischen  $v = 0$  und  $v = 120 \ \rm km/h)$  oder auch die Rauschspannung bei einem Nachrichtensystem.  Beide Zufallsgrößen haben neben einem Zahlenwert auch eine Einheit.
• Ist dagegen die Menge  $\{z_μ\}$ abzählbar, so handelt es sich um eine  diskrete Zufallsgröße. Meist ist die Zahl der möglichen Werte von  $z$  auf  $M$  begrenzt.  In der Nachrichtentechnik nennt man  $M$  den "Symbolumfang"  (im Sinne der Codierungstheorie)  bzw. die "Stufenzahl"  (aus Sicht der Übertragungstechnik).

Zunächst beschränken wir uns auf diskrete,  $M$–stufige Zufallsgrößen ohne innere statistischen Bindungen, die gemäß dem Abschnitt  Einige grundlegende Definitionen  durch die  $M$  Auftrittswahrscheinlichkeiten  $p_μ ={\rm Pr}(z = z_μ)$  vollständig charakterisiert sind.  Per Definition ist die Summe über alle  $M$  Wahrscheinlichkeiten gleich  $1$.

Dagegen ist die Wahrscheinlichkeit  ${\rm Pr}(z = z_μ)$  dafür, dass eine kontinuierliche Zufallsgröße  $z$  einen ganz bestimmten Wert  $z_μ$  annimmt, identisch Null.  Hier muss, wie im folgenden Kapitel  Kontinuierliche Zufallsgrößen  beschrieben wird, auf die  "Wahrscheinlichkeitsdichtefunktion"  $\rm (WDF)$  übergegangen werden.

Zufallsprozess und Zufallsfolge

$\text{Definition:}$  Ein  Zufallsprozess  unterscheidet sich vom bisher betrachteten Zufallsexperiment dadurch, 

• dass er nicht nur ein Ergebnis  (Ereignis)  liefert, 
• sondern eine  „zeitliche Folge von Ergebnissen”  (Ereignissen).

Damit kommt man zur  Zufallsfolge  $\langle z_ν\rangle$  mit den folgenden für unsere Darstellung festgelegten Eigenschaften:

• Die Laufvariable  $ν$   beschreibt den zeitlichen Prozessablauf und kann Werte zwischen  $1$  und  $N$  annehmen.  Häufig wird eine solche Folge auch als  $N$–dimensionaler Vektor dargestellt.
• Zu jeder Zeit  $ν$   kann die Zufallsgröße  $z_ν$  einen von  $M$  verschiedenen Werten annehmen.  Wir verwenden hierfür folgende Nomenklatur:

$$z_\nu \in z_\mu \hspace{0.3cm} {\rm mit} \hspace{0.3cm} \nu = 1,\hspace{0.1cm}\text{...} \hspace{0.1cm}, N \hspace{0.3cm} {\rm und} \hspace{0.3cm} \mu = 1,\hspace{0.1cm}\text{...} \hspace{0.1cm} , M.$$

• Ist der Prozess  ergodisch, so weist jede Zufallsfolge  $\langle z_ν\rangle$  die gleichen statistischen Eigenschaften auf und kann als Repräsentant für den gesamten Zufallsprozess herangezogen werden.
• Wir setzen hier zunächst voraus, dass zwischen den einzelnen Folgenelementen keine statistischen Bindungen bestehen, das heißt, es gilt für die  bedingten Wahrscheinlichkeiten:

$${\rm Pr}(z_\nu | z_{\nu \rm{ -1}} \hspace{0.1cm}\text{...} \hspace{0.1cm}z_{\rm 1})={\rm Pr}(z_\nu).$$

Mehr und vor allem Genaueres zu der Charakterisierung von Zufallsprozessen finden Sie im späteren Kapitel  Autokorrelationsfunktion.

$\text{Beispiel 1:}$  Wiederholt man das Zufallsexperiment „Werfen einer Roulettekugel” zehnmal,  so ergibt sich zum Beispiel folgende Zufallsfolge:

$$\langle z_ν\rangle = \langle \ 8; \ 23; \ 0; \ 17; \ 36; \ 0; \ 33; \ 11; \ 11; \ 25 \ \rangle.$$

Zu jedem Zeitpunkt sind trotzdem  – unabhängig von der Vergangenheit –  alle Zufallsgrößen zwischen  $0$  und  $36$  möglich und auch gleichwahrscheinlich,  was aber aus einer solch kurzen Folge nicht abgelesen werden kann.

Bernoullisches Gesetz der großen Zahlen

$\text{Definitionen:}$  Zur Beschreibung einer  $M$–stufigen Zufallsgröße verwendet man folgende Beschreibungsgrößen, deren Summe über alle  $μ = 1,\hspace{0.1cm}\text{...} \hspace{0.1cm} , M$  jeweils den Wert  $1$  ergeben:

• Die  Wahrscheinlichkeiten  $p_μ = {\rm Pr}(z = z_μ)$  liefern Vorhersagen über das zu erwartende Ergebnis eines statistischen Versuchs und sind somit so genannte  "A-priori-Kenngrößen".
• Die  relativen Häufigkeiten  $h_μ^{(N)}$  sind  "A-posteriori-Kenngrößen"  und erlauben statistische Aussagen bezüglich eines vorher durchgeführten Versuches.  Sie werden wie folgt ermittelt:

$$h_{\mu}^{(N)} = \frac{n_{\mu} }{N}= \frac{ {\rm Anzahl \hspace{0.15cm}der \hspace{0.15cm}Versuche \hspace{0.15cm}mit \hspace{0.15cm}dem\hspace{0.15cm} Ergebnis\hspace{0.15cm} }z_{\mu} } { {\rm Anzahl \hspace{0.15cm}aller \hspace{0.15cm}Versuche } } \hspace{1cm}(\mu=1,\hspace{0.1cm}\text{...} \hspace{0.1cm},M).$$

Nur im Grenzfall  $N → ∞$  stimmen die relativen Häufigkeiten mit den entsprechenden Wahrscheinlichkeiten „exakt” überein,  zumindest im statistischen Sinne.  Dagegen gilt nach dem von  Jakob I. Bernoulli  formulierten „Gesetz der großen Zahlen” für endliche Werte von  $N$:

$$\rm Pr \left( \it \mid h_\mu^{(N)} - p_\mu\mid \hspace{0.1cm} \ge \varepsilon \hspace{0.1cm} \right) \le \frac{1}{\rm 4\cdot \it N\cdot \varepsilon^{\rm 2}}.$$

Daraus folgt auch die Aussage,  dass bei unendlich langen Zufallsfolgen  $(N → ∞)$  die relativen Häufigkeiten  $h_μ^{(N)}$  und die Wahrscheinlichkeiten  $p_μ$  mit der Wahrscheinlichkeit  $1$  identisch sind.

$\text{Beispiel 2:}$  Eine Binärdatei besteht aus  $N = 10^6$  Binärsymbolen („Bit”),  wobei die Nullen und Einsen gleichwahrscheinlich sind:   $p_0 = p_1 = 0.5$.

Das Bernoullische Gesetz der großen Zahlen  $($mit  $\varepsilon = 0.01)$  besagt nun,  dass die Wahrscheinlichkeit des Ereignisses  „die Anzahl der Einsen in der Datei liegt zwischen  $495  \hspace{0.05cm}000$  und  $505\hspace{0.05cm}000$”  größer oder gleich  $1 - 1/400 = 99.75\%$  ist.

Die Wahrscheinlichkeit, dass sich die relative Häufigkeit  $h_μ^{(N)}$  eines Ereignisses  $E_μ$  und die zugehörige Wahrscheinlichkeit  $p_μ$  betragsmäßig um mehr als einen Wert  $\varepsilon$  unterscheiden,  ist nach obiger Gleichung nicht größer als  $1/(4 · N · ε^2)$.  Für ein gegebenes  $\varepsilon$  und eine zu garantierende Wahrscheinlichkeit kann daraus der minimal erforderliche Wert von  $N$  berechnet werden.

Weiter ist anzumerken:

• Der monotone Abfall mit  $N$  gilt nur im statistischen Sinne und nicht für jede einzelne Realisierung. 
• So können beim Experiment „Münzwurf” durchaus nach  $N = 1000$  Würfen die relative Häufigkeiten von „Zahl” und „Bild” exakt gleich  $0.5$  sein  (wenn  $n_{\rm Zahl} = n_{\rm Bild} = 500$  ist)  und nach  $N = 2000$  Würfen wieder mehr oder weniger stark davon abweichen.
• Führen mehrere Probanden parallel dass Experiment „Münzwurf” durch und stellt man jeweils die relative Häufigkeit in Abhängigkeit von  $N$  dar,  so ergeben sich dementsprechend Kurvenverläufe,  die zwar tendenziell,  aber nicht monoton abfallen.
• Berechnet man aber den Mittelwert über unendlich viele solcher Kurven,  so erhält man den monoton mit  $N$  abfallenden Verlauf gemäß der Bernouillischen Vorhersage.

Mit dieser Thematik,  speziell mit dem Experiment von  Karl Pearson, beschäftigt sich das Lernvideo  Bernoullisches Gesetz der großen Zahlen.

Aufgaben zum Kapitel

Aufgabe 2.1: Wahlnachfrage

Aufgabe 2.1Z: Signalverläufe