Vom Zufallsexperiment zur Zufallsgröße
Dieses Kapitel soll Sie mit diskreten Zufallsgrößen vertraut machen, wobei diese als statistisch unabhängig vorausgesetzt werden. Solche Zufallsgrößen werden in der Nachrichtentechnik zum Beispiel für die Simulation eines binären oder mehrstufigen Digitalsignals benötigt, aber ebenso zur Nachbildung eines Kanals mit statistisch unabhängigen Fehlern durch ein digitales Modell, zum Beispiel dem BSC-Modell.
Weitere Informationen zum Thema „Diskrete Zufallsgrößen” sowie Aufgaben, Simulationen und Programmierübungen finden Sie im
- Kapitel 1: Diskrete Zufallsgrößen (Programm dis)
- Kapitel 2: Pseudonoise-Generatoren (Programm png)
des Praktikums „Simulationsmethoden in der Nachrichtentechnik”. Diese LNT-Lehrveranstaltung an der TU München basiert auf
- dem Lehrsoftwarepaket LNTsim ⇒ Link verweist auf die ZIP-Version des Programms und
- dieser Praktikumsanleitung ⇒ Link verweist auf die PDF-Version; Kapitel 1 und 2: Seite 99-118.
Inhaltsverzeichnis
Zum Begriff der Zufallsgröße
In Kapitel 1.1 wurde bereits der Begriff Zufallsexperiment erläutert. Darunter versteht man einen unter gleichen Bedingungen beliebig oft wiederholbaren Versuch mit ungewissem Ergebnis $E$, bei dem jedoch die Menge { $E_μ$} der möglichen Ergebnisse angebbar ist.
Häufig sind die Versuchsergebnisse Zahlenwerte, z. B. beim Zufallsexperiment Werfen eines Würfels. Dagegen liefert das Experiment Münzwurf die zwei möglichen Ergebnisse Zahl und Bild.
Zur einheitlichen Beschreibung verschiedenartiger Experimente und auch wegen der besseren Handhabbarkeit verwendet man den Begriff Zufallsgröße, oft auch als Zufallsvariable bezeichnet.
Eine Zufallsgröße $z$ ist eine ein-eindeutige Abbildung der Ergebnismenge { $E_μ$} auf die Menge der reellen Zahlen. Ergänzend zu dieser Definition wird noch zugelassen, dass die Zufallsgröße neben dem Zahlenwert auch eine Einheit besitzt.
Nachfolgend werden einige Beispiele für Zufallsgrößen genannt:
- Beim Zufallsexperiment Werfen einer Roulettekugel hat eine Unterscheidung zwischen $E$ und $z$ keine praktischen Auswirkungen, kann aber aus formalen Gründen durchaus sinnvoll sein. So bezeichnet $„E_μ =$ 8”, dass die Kugel in der mit „8“ markierten Vertiefung der Roulettescheibe zum Liegen gekommen ist. Arithmetische Operationen (zum Beispiel eine Erwartungswertbildung) sind anhand der Ergebnisse nicht möglich. Dagegen bezeichnet die Zufallsgröße $z$ tatsächlich einen Zahlenwert (hier ganzzahlig zwischen 0 und 36), aus dem der zu erwartende Mittelwert der Zufallsgröße (hier 18) ermittelt werden kann. Durchaus möglich, aber nicht sinnvoll wäre zum Beispiel die Zuordnung $E_μ =$ 8 ⇔ $z_μ ≠$ 8.
- Beim Experiment Münzwurf sind die möglichen Ergebnisse Zahl und Bild, worauf keine arithmetische Operationen angewendet werden können. Erst durch die zwar willkürliche, aber ein-eindeutige Zuordnung zwischen der Ereignismenge { $E_μ$} = {Zahl, Bild} und der Zahlenmenge { $z_μ$} = {0, 1} kann hier überhaupt ein Kennwert angegeben werden. Ebenso könnte man die Zuordnung „Bild ⇔ 0; Zahl ⇔ 1” festlegen.
- In der Schaltungstechnik bezeichnet man die beiden möglichen logischen Zustände einer Speicherzelle – z. B. eines Flipflops – gemäß den möglichen Spannungspegeln mit L (Low) und H (High). Diese Bezeichnungen übernehmen wir hier auch für Binärsymbole. Für praktische Arbeiten bildet man diese Symbole meist wieder auf Zufallsgrößen ab, wobei auch diese Zuordnung willkürlich ist, aber sinnvoll sein sollte. In der Codierungstheorie wird sinnvollerweise {L, H} auf {0, 1} abgebildet, um die Möglichkeiten der Modulo-Algebra nutzen zu können. Zur Beschreibung der Modulation mit bipolaren (antipodalen) Signalen wählt man dagegen besser die Zuordnung {L, H} ⇔ {–1, +1}.
Kontinuierliche und diskrete Zufallsgrößen
Nach den möglichen Zahlenwerten $z_μ = z(E_μ)$ unterscheiden wir hier zwischen kontinuierlichen und diskreten Zufallsgrößen:
- Eine kontinuierliche Zufallsgröße $z$ kann – zumindest in gewissen Bereichen – unendlich viele verschiedene Werte annehmen. Genauer gesagt: Die Menge der zulässigen Werte ist bei solchen Größen auch nicht abzählbar. Beispiele für kontinuierliche Zufallsgrößen sind die Geschwindigkeit eines Autos (bei angemessener Fahrweise zwischen 0 und 120 km/h) oder auch die Rauschspannung bei einem Nachrichtensystem. Beide Zufallsgrößen haben neben einem Zahlenwert auch eine Einheit.
- Ist dagegen die Menge { $z_μ$} abzählbar, so bezeichnet man die Zufallsgröße als diskret. Meist ist die Zahl der möglichen Werte von $z$ auf $M$ begrenzt. In der Nachrichtentechnik nennt man $M$ den Symbolumfang (im Sinne der Codierungs- und Informationstheorie) bzw. die Stufenzahl (aus Sicht der Übertragungstechnik).
Zunächst beschränken wir uns auf diskrete, $M$-stufige Zufallsgrößen ohne innere statistischen Bindungen, die gemäß Kapitel 1.1 durch die $M$ Auftrittswahrscheinlichkeiten $p_μ =$ Pr( $z = z_μ$) vollständig charakterisiert sind. Per Definition ist die Summe über alle $M$ Wahrscheinlichkeiten gleich 1.
Dagegen ist die Wahrscheinlichkeit Pr( $z = z_μ$) dafür, dass eine kontinuierliche Zufallsgröße $z$ einen ganz bestimmten Wert $z_μ$ annimmt, identisch Null. Hier muss, wie im folgenden Kapitel „Kontinuierliche Zufallsgrößen” beschrieben wird, auf die Wahrscheinlichkeitsdichtefunktion (WDF) übergegangen werden. Weitere Informationen hierüber finden Sie in kontinuierliche Zufallsgrößen.
Zufallsprozess und Zufallsfolge
Ein Zufallsprozess unterscheidet sich von dem bisher betrachteten Zufallsexperiment dadurch, dass er nicht nur ein Ergebnis (Ereignis) liefert, sondern eine zeitliche Folge von Ergebnissen (Ereignissen). Damit kommt man zur Zufallsfolge 〈 $z_ν$〉 mit folgenden in unserer Darstellung festgelegten Eigenschaften:
- Die Laufvariable $ν$ beschreibt den zeitlichen Prozessablauf und kann Werte zwischen 1 und $N$ annehmen. Häufig wird eine solche Folge auch als N-dimensionaler Vektor dargestellt.
- Zu jeder Zeit $ν$ kann die Zufallsgröße $z_ν$ einen von $M$ verschiedenen Werten annehmen:
$$z_\nu \in z_\mu \hspace{0.3cm} {\rm mit} \hspace{0.3cm} \nu = 1, ... \hspace{0.05cm}, N \hspace{0.3cm} {\rm und} \hspace{0.3cm} \mu = 1, ...\hspace{0.05cm} , M.$$
- Ist der Prozess ergodisch, so weist jede Zufallsfolge 〈 $z_ν$〉 gleiche statistische Eigenschaften auf und kann als Repräsentant für den gesamten Prozess herangezogen werden.
- Wir setzen hier voraus, dass zwischen den einzelnen Folgenelementen keine statistischen Bindungen bestehen, das heißt, es gilt für die bedingten Wahrscheinlichkeiten:
$$\rm Pr(\it z_\nu | z_{\nu \rm{ -1}} \hspace{0.1cm}... \hspace{0.1cm}z_{\rm 1})=\rm Pr(\it z_\nu).$$
Mehr und vor allem Genaueres zu der Charakterisierung von Zufallsprozessen finden Sie im Kapitel 4.4 Autokorrelationsfunktion.
Wiederholt man das Zufallsexperiment Werfen einer Roulettekugel zehnmal, so ergibt sich z. B. die folgende Zufallsfolge: 〈 $z_ν$〉 = 〈 8; 23; 0; 17; 36; 0; 33; 11; 11; 25 〉. Zu jedem Zeitpunkt sind trotzdem – unabhängig von der Vergangenheit – alle Zufallsgrößen zwischen 0 und 36 möglich und auch gleichwahrscheinlich, was aber aus einer solch kurzen Folge nicht abgelesen werden kann.
Bernoullisches Gesetz der großen Zahlen
Zur Beschreibung einer $M$-stufigen Zufallsgröße verwendet man folgende Beschreibungsgrößen, deren Summe über alle $μ =$ 1, ... , $M$ jeweils den Wert 1 ergeben:
- Die Wahrscheinlichkeiten $p_μ =$ Pr( $z = z_μ$) liefern Vorhersagen über das zu erwartende Ergebnis eines statistischen Versuchs und sind somit so genannte A-priori-Kenngrößen.
- Die relativen Häufigkeiten $h_μ^{(N)}$ sind A-posteriori-Kenngrößen und erlauben statistische Aussagen bezüglich eines vorher durchgeführten Versuches. Sie werden wie folgt ermittelt:
$$h_{\mu}^{(N)} = \frac{n_{\mu}}{N}= \frac{{\rm Anzahl \hspace{0.15cm}der \hspace{0.15cm}Versuche \hspace{0.15cm}mit \hspace{0.15cm}dem\hspace{0.15cm} Ergebnis\hspace{0.15cm}}z_{\mu}} {{\rm Anzahl \hspace{0.15cm}aller \hspace{0.15cm}Versuche }} \hspace{1cm}(\mu=1,...,M).$$
Nur im Grenzfall $N → ∞$ stimmen die relativen Häufigkeiten exakt mit den entsprechenden Wahrscheinlichkeiten überein, zumindest im statistischen Sinne. Dagegen gilt für endliche Werte von $N$ nach dem von Bernoulli formulierten Gesetz der großen Zahlen:
$$\rm Pr \left( \it \mid h_\mu^{(N)} - p_\mu\mid \hspace{0.1cm} \ge \varepsilon \hspace{0.1cm} \right) \le \frac{1}{\rm 4\cdot \it N\cdot \varepsilon^{\rm 2}}.$$
Daraus folgt auch die Aussage, dass bei unendlich langen Zufallsfolgen $(N → ∞)$ die relativen Häufigkeiten $h_μ^{(N)}$ und die Wahrscheinlichkeiten $p_μ$ mit der Wahrscheinlichkeit 1 identisch sind.
Eine Binärdatei besteht aus $N = 10^6$ Binärsymbolen (Bit), wobei die Nullen und Einsen gleichwahrscheinlich sind: $p_0 = p_1 =$ 0.5. Das Bernoullische Gesetz der großen Zahlen (mit $ε =$ 0.01) besagt nun, dass die Wahrscheinlichkeit des Ereignisses „die Anzahl der Einsen in der Datei liegt zwischen 495000 und 505000” größer oder gleich 1 – 0.0025 = 99.75% ist.
Die Wahrscheinlichkeit, dass sich die relative Häufigkeit $h_μ^{(N)}$ eines Ereignisses $E_μ$ und die zugehörige Wahrscheinlichkeit $p_μ$ betragsmäßig um mehr als einen Wert $ε$ unterscheiden, ist also nicht größer als 1/(4 · $N · ε²$). Für ein gegebenes $ε$ und eine zu garantierende Wahrscheinlichkeit kann daraus der minimal erforderliche Wert von $N$ berechnet werden. Weiter ist anzumerken:
- Der monotone Abfall mit $N$ gilt nur im statistischen Sinne und nicht für jede einzelne Realisierung. So können beim Experiment Münzwurf durchaus nach $N =$ 1000 Würfen die relative Häufigkeiten von Zahl und Bild exakt gleich 0.5 sein (wenn $n_{\rm Zahl} = n_{\rm Bild} =$ 500 ist) und nach $N =$ 2000 Würfen wieder mehr oder weniger stark davon abweichen.
- Führen mehrere Probanden parallel dass Experiment Münzwurf durch und stellt man jeweils die relative Häufigkeit in Abhängigkeit von $N$ dar, so ergeben sich dementsprechend Kurvenverläufe, die zwar tendenziell, aber nicht monoton abfallen.
- Berechnet man aber den Mittelwert über unendlich viele solcher Kurven, so erhält man den monoton mit $N$ abfallenden Verlauf gemäß Bernouilli.
Mit dieser Thematik, speziell mit dem Experiment von [[1]], beschäftigt sich das Lernvideo Das Bernoullische Gesetz der großen Zahlen (Dauer 4:25)
