Vorlesung: ”Stochastik für Informatiker“

gehalten von Egmar Rödel Beginn: 18. Oktober 1993

Zusammenfassung

Version vom 12. Oktober 1994.

Dieses Script wurde aus Vorlesungsmitschriften von E. Rödels: ”Stochastik für Informatiker“ von Torsten Hilbrich mittels LaTEX (Report-Style) erstellt. Für Fehler jeglicher Art kann keine Haftung übernommen werden.

Inhaltsverzeichnis

0 Einführung 1 0.1 Geplanter Inhalt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1 Wahrscheinlichkeitstheorie 2 1.1 Zufällige Ereignisse, Ereignisfelder . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.2 Ereignisfelder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 Kolmogoroff’sches Axiomensystem . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.4 Die klassische Definition der Wahrscheinlichkeit . . . . . . . . . . . . . . . . . . . . 8 1.5 Kombinatorik und Wahrscheinlichkeiten . . . . . . . . . . . . . . . . . . . . . . . . 9

1.5.1 Kombination von Elementen aus mehreren Mengen . . . . . . . . . . . . . . 9 1.5.2 Auswahl von Elementen aus einer Menge mit Zurücklegen . . . . . . . . . . 9 1.5.3 Aufteilung von r Elementen auf n Fächer (n ≥ r) . . . . . . . . . . . . . . . 9

1.6 Bedingte Wahrscheinlichkeiten, unabhängige Ereignisse . . . . . . . . . . . . . . . . 11

1.6.1 Anwendung bedingter Wahrscheinlichkeiten in der KI . . . . . . . . . . . . 13 1.7 Zufällige Variablen (Zufallsgrößen) . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

1.7.1 Typen von Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.7.2 Transformation zufälliger Variablen . . . . . . . . . . . . . . . . . . . . . . . 25 1.7.3 Zufälliger Vektor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 1.7.4 Transformationsformel für zufällige Vektoren . . . . . . . . . . . . . . . . . 35

1.8 Unabhängigkeit von Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 1.9 Charakteristika von Verteilungsfunktionen . . . . . . . . . . . . . . . . . . . . . . . 40

1.9.1 Erwartungswert . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 1.9.2 Höhere Momente von ξ, Streuung und Varianz . . . . . . . . . . . . . . . . 44 1.9.3 Korrelation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

1.10 Einfache Lineare Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

1.10.1 Anwendung in der Statistik — Methode der kleinsten Quadrate . . . . . . . 51 1.11 Ungleichungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

1.11.1 Ungleichung von Jensen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 1.11.2 Markoff’sche Ungleichung . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 1.11.3 Tschebyscheff’sche Ungleichung . . . . . . . . . . . . . . . . . . . . . . . 54

1.12 Grenzwerte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 1.12.1 Übersicht über die Konvergenzen . . . . . . . . . . . . . . . . . . . . . . . . 59 1.12.2 Verteilungskonvergenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

INHALTSVERZEICHNIS

\overline{i} 2 Information und Entropie 62

2.1 Entropie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 2.1.1 Eigenschaften der Entropie . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 2.1.2 Der Eindeutigkeitssatz von Tschintschin . . . . . . . . . . . . . . . . . . . 68

2.2 Optimale Kodierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 2.2.1 Blockkodierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 2.2.2 Konstruktion optimaler PF-Kodes . . . . . . . . . . . . . . . . . . . . . . . 77 2.2.3 Der Shannon-Fano-Algorithmus . . . . . . . . . . . . . . . . . . . . . . . 78

2.3 Binäre Suchbäume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 2.3.1 Konstruktion eines binären Suchbaumes . . . . . . . . . . . . . . . . . . . . 83

3 Grundlagen der Simulation 85

3.1 Erzeugung von Zufallszahlen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 3.1.1 Erzeugung von Hand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 3.1.2 Elektronische Erzeugung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 3.1.3 Mathematische Erzeugung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 3.1.4 Eigenschaften von Pseudozufallszahlen . . . . . . . . . . . . . . . . . . . . . 87 3.1.5 Gitter von Zufallzahlen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

3.2 Tests von Zufallszahlen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 3.2.1 Test auf Gleichverteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 3.2.2 Test auf Unabhängigkeit von Zufallszahlen . . . . . . . . . . . . . . . . . . 92

3.3 Erzeugung speziell verteilter Zufallszahlen . . . . . . . . . . . . . . . . . . . . . . . 94 3.3.1 Erzeugung einer diskreten zufälligen Variablen . . . . . . . . . . . . . . . . 94 3.3.2 Erzeugung stetig verteilter zufälliger Variablen . . . . . . . . . . . . . . . . 95

\overline{ii}

Abbildungsverzeichnis

1.1 Beispiel für ein Experiment mit überabzahlbar vielen Ausgängen . . . . . . . . . . 4 1.2 3 Ereignisse eines solchen Experiments . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.3 Aufbau eines Expertensystems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.4 Die Wahrscheinlichkeitsfunktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.5 Einfache Verteilungsfunktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.6 Eine Verteilungsfunktion im stetigem Fall . . . . . . . . . . . . . . . . . . . . . . . 19 1.7 Die Funktionen f und F für Gleichverteilung über [0, 1) . . . . . . . . . . . . . . . 23 1.8 Durch Experiment ermittelte Dichtefunktion . . . . . . . . . . . . . . . . . . . . . 24 1.9 Die Normalverteilung N(μ, σ_{1}) sowie N(μ, σ_{2}) . . . . . . . . . . . . . . . . . . . . . 25 1.10 Die Dichtefunktion für Gleichverteilung in [a, b) . . . . . . . . . . . . . . . . . . . . 27 1.11 Die Dichte f_{1} für 0 ≤ y ≤ 1 und 1 < y ≤ 2 . . . . . . . . . . . . . . . . . . . . . . . 37 1.12 Die Dichtefunktion von ξ_{1} + ξ_{2} . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 1.13 Die Dichte h_{η} für 0 ≤ z ≤ 1 und 1 < z ≤ 2 . . . . . . . . . . . . . . . . . . . . . . . 38 1.14 Die Dichte h_{η} für f_{1} für 2 < z ≤ 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 1.15 Die Gesamtdichte für die Summe ξ_{1} + ξ_{2} + ξ_{3} . . . . . . . . . . . . . . . . . . . . . 39 1.16 Darstellung der Punktmenge und durchgehende Gerade . . . . . . . . . . . . . . . 52 1.17 Verdeutlichung der Ungleichung von Jensen . . . . . . . . . . . . . . . . . . . . . 53 1.18 Veranschaulichung von p(1-p) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 1.19 Vergleich von F_{n}(x) und F (x) für n = 4 . . . . . . . . . . . . . . . . . . . . . . . . 56 1.20 Geometrischer Beweis für \{a + b > ε\} ⊂ \{a > \frac{ε}{2}\} ∪ \{b > \frac{ε}{2}\} . . . . . . . . . . . . . 58

2.1 Das Verhältnis zwischen Entropie H und Wahrscheinlichkeit P (A) . . . . . . . . . 62 2.2 Mögliche Fragestrategie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 2.3 Beispiel 1 für die Huffman-Kodierung . . . . . . . . . . . . . . . . . . . . . . . . . 78 2.4 Beispiel 2 für die Huffman-Kodierung . . . . . . . . . . . . . . . . . . . . . . . . . 78 2.5 Beispiel für einen binären Suchbaum . . . . . . . . . . . . . . . . . . . . . . . . . . 80 2.6 Beispiel 1 von Suchbäumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 2.7 Beispiel 2 von Suchbäumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

3.1 Vergleich zwischen der Gleichverteilung und einer empirischen Verteilungsfunktion

für n = 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 3.2 Darstellung der Autokorrelation k-ter Ordnung . . . . . . . . . . . . . . . . . . . . 94

\overline{iii} ABBILDUNGSVERZEICHNIS \overline{iv}

Kapitel 1

Wahrscheinlichkeitstheorie

1.1 Zufällige Ereignisse, Ereignisfelder

• Beschreibung von Experimenten – Kartenspiele

– Münzwurf Menge aller möglichen Ausgänge eines Experiments erfassen. Menge = Ω = {ω}

• diskret – endlich oder höchstens abzählbar viele Ausgänge

• überabzählbar viele Ausgänge

1.1 Beispiel (endliche Anzahl) Nachfolgend zwei kleine Beispiele für Experimente mit einer endlichen Anzahl von Ereignissen

1. Münzwurf

ω_{1} = z - Zahl
ω_{2} = w - Wappen
Ω = {ω_{1}, ω_{2}}
P(⊗) = {{ω_{1}}, {ω_{2}}, {ω_{1}, ω_{2}}, ∅}
Ω — sicheres Ereignis (interpretiert als ω_{1} oder ω_{2})
Ω = {ω_{1}} ∪ {ω_{2}}
∅ = {ω_{1}} ∩ {ω_{2}} – unmögliches Ereignis

2. Würfeln (1 mal) — Ω = 1, 2, 3, 4, 5, 6 1-er Kombination \binom{6}{1} = 6 2-er Kombination \binom{6}{2} = 15 3-er Kombination \binom{6}{3} = 20 4-er Kombination \binom{6}{4} = 15

\overline{2}

1.1: Zufällige Ereignisse, Ereignisfelder

5-er Kombination \binom{6}{5} = 6

6-er Kombination \binom{6}{6} = 1 (sicheres Ereignis)

Menge aller Ereignisse φ: 64 Ereignisse unmögliches Ereignis: 1

”Experiment“: Menge aller Elementarereignisse Ω = {ω_{i}} E — Menge aller möglichen Ereignisse des Experiment

E ∈ P(⊗)
A, B ∈ E ⇒ A ∪ B = C ∈ E (A oder B tritt ein)
C = {ω ∈ Ω : ω ∈ A oder ω ∈ B}
D = A ∩ B = {ω ∈ Ω : ω ∈ A und ω ∈ B}
\overline{A} = \{ω ∈ Ω : ω ∉ A\}

(A tritt nicht auf, das zu A komplementäre Ereignis)

A ∪ \overline{A} = Ω (sicheres Ereignis)
A ∩ \overline{A} = ∅ (unmögliches Ereignis)
\overline{A} = Ω \ A

1.2 Beispiel Hier nun Beispiele für Experimente mit abzählbar bzw. überabzählbar unendlich vielen Ereignissen

1. Abzählbar viele — Werfen einer Münze, bis zum ersten Mal die Zahl fällt

Ω = {z, wz, wwz, wwz, wwwz, …}

2. — Ankünfte von Fahrzeugen an einer Kreuzung

Ω = {0, 1, 2, …}

3. Überabzählbar viele Ausgänge stetige Modelle, - Experimente

(a) Lebensdauer einer Glühbirne

Ω = [0, ∞] = R_{+}^{∞}

Ereignisse: Intervalle, Punkte

∅ = [0, 1] ∩ [3, 5]

(b) Messung einer physikalischen Konstante

\underbrace{y}_{Messung} = \underbrace{m}_{Konstante} + \underbrace{ε}_{Meßfehler}

Ω = R^{∞}

(c) Experimente, deren Ausgänge Funktionen sind, siehe Abbildung 1.1

Ω = Ω′ × T z.B. T = [0, ∞]

Ereignisse sind bestimmte Funktionsverläufe, siehe Abbildung 1.2 ⇒ stochastische Prozesse

1.1: Zufällige Ereignisse, Ereignisfelder

[figure: t]

Abbildung 1.1: Beispiel für ein Experiment mit überabzahlbar vielen Ausgängen

[figure: t; t; t; t_{0}]

Abbildung 1.2: 3 Ereignisse eines solchen Experiments

1.2: Ereignisfelder

1.2 Ereignisfelder

1.1 Definition (Ereignisfelder) Wenn Ω die Menge aller Elementarereignisse ist, heißt E ⊆ P(⊗) Ereignisfeld über Ω, falls

1. Ω ∈ E
2. A_{1}, A_{2}, …, A_{n}; A_{i} ∈ E (⟩ = ∞, ∈, …, \, …)

⇒ ⋂_{n=1}^{∞} A_{n} ∈ E

3. A ∈ E ⇒ \overline{A} ∈ E

Folgerung aus 2.:

⇒ ⋃_{n=1}^{∞} A_{n} ∈ E

Beweis:

A_{i} ∈ E ⇒ \overline{A_{i}} ∈ E
⇒ ⋂_{n=1}^{∞} \overline{A_{i}} ∈ E
⇒ \overline{⋂_{n=1}^{∞} \overline{A_{i}}} ∈ E
⇒ ⋃_{n=1}^{∞} A_{i} ∈ E

Folgerung aus 3.:

\overline{Ω} = ∅ ∈ E

∅ — unmögliche Ereignisse

Ein Ereignisfeld wird auch σ-Algebra genannt.

1.3 Kolmogoroff’sches Axiomensystem

Abbildung  P : E ⟶ R^{∞}
A ∈ E ⇒ P(A) ∈ R^{∞}

1: Wahrscheinlichkeitstheorie 5

1.3: Kolmogoroff’sches Axiomensystem

1.2 Definition (Wahrscheinlichkeit) P heißt Wahrscheinlichkeit, falls

1. 0 ≤ P (A) ≤ 1  ∀A ∈ E
2. P (Ω) = 1
3. P ( ⋃_{i=1}^{∞} A_{i}) = ∑_{i=1}^{∞} P (A_{i}), falls
A_{i} ∩ A_{j} = ∅ ∀i ≠ j

P(A) — Wahrscheinlichkeit des Ereignisses A A, B ∈ E : A ∩ B = ∅ — A,B unvereinbar

\begin{matrix}A ∩ B = ∅ & A ∩ B ≠ ∅ \\ P (A ∪ B) = P (A) + P (B) & P (A ∪ B) = P (A) + P (B) − P (A ∩ B) \end{matrix}

⇒ P (A ∪ B) ≤ P (A) + P (B) Folgerungen:

1.  A, B ∈ E; A ⊆ B
(a)  B \ A ∈ E
(b) P (B \ A) = P (B) − P (A) (Subtraktivität)

Beweis:

B = A ∪ (B \ A)
P (B) = P (A ∪ (B \ A))
weil A ∩ (B \ A) = ∅
⇒
= P (A) + P (B \ A)
(c) A ⊆ B ⇒ P (A) ≤ P (B) (Monotonie)
P (A) = P (B) − P (B \ A) ≤ P (B)
2.  P (\overline{A}) = 1 − P (A)

Beweis:

Ω = A ∪ \overline{A}
\overline{A} = Ω \ A
weil A ∪ \overline{A} = Ω
P (Ω) = 1 = P (A) + P (\overline{A})
⇒ P (\overline{A}) = 1 − P (A)

3. ist {A_{n}} eine Folge von Ereignissen mit: A_{n} ⊆ A_{n+1}∀n, dann gilt:

P ( lim_{n→∞} A_{n}) = lim_{n→∞} P (A_{n}) (Stetigkeit von unten)

\overline{6}

1.3: Kolmogoroff’sches Axiomensystem

Beweis:

B_{1} := A_{1}
B_{n} := A_{n+1} \ A_{n}  (Ringe)
lim_{n→∞} A_{n} = ⋃_{i=1}^{∞} A_{i} = ⋃_{i=1}^{∞} B_{i}
B_{i} ∩ B_{j} = ∅ ∀i ≠ j (∗)
P ( lim_{n→∞} A_{n}) = P (⋃_{i=1}^{∞} B_{i})

wegen (*) und Axiom 3:

= ∑_{i=1}^{∞} P (B_{i})
= P (A_{1}) + ∑_{i=1}^{∞} P (A_{i+1} \ A_{i})
= P (A_{1}) + ∑_{i=1}^{∞} (P (A_{i+1}) − P (A_{i}))
= lim_{n→∞} (P (A_{1}) + ∑_{i=1}^{n−1} (P (A_{n+1}) − P (A_{i})))
= lim_{n→∞} P (A_{n})
4.  wenn {A_{n}}, A_{n} ⊇ A_{n+1} ∀n

⇒ P ( lim_{n→∞} A_{n}) = lim_{n→∞} (P (A_{n}))

Beweis:

lim_{n→∞} A_{n} = ⋂_{i=1}^{∞} A_{i}
⋂_{i=1}^{∞} A_{i} = \overline{⋃_{i=1}^{∞} \overline{A_{i}}}
P ( lim_{n→∞} A_{n}) = P (\overline{⋃_{i=1}^{∞} \overline{A_{i}}})
= 1 − P (⋃_{i=1}^{∞} \overline{A_{i}})
da A_{n} ⊇ A_{n+1}
⇒ \overline{A_{n}} ⊆ \overline{A_{n+1}}
= 1 − P ( lim_{n→∞} \overline{A_{n}})
= 1 − lim_{n→∞} P (\overline{A_{n}})
= 1 − (1 − lim_{n→∞} P (A_{n}))
= \underline{\underline{lim_{n→∞} P (A_{n})}}

1: Wahrscheinlichkeitstheorie 7

1.4: Die klassische Definition der Wahrscheinlichkeit

1.3 Definition (Wahrscheinlichkeitsraum) Ein Tripel (Ω, E, P) heißt Wahrscheinlichkeitsraum, wenn Ω die Menge der Elementarereignisse ist, E ein

Ereignisfeld über Ω ist (⊆ P(⊗)) und P den Kolmogoroff-Axiomen genügt.

Ω — Menge von Elementarereignissen
⊣ ⊆ P(⊗)
— System von Teilmengen
E(⊣) = {E : ⊣ ⊆ E, E σ-Algebra}
E_{⊣} = ⋂_{E∈E_{⊣}} E

E_{⊣} ist die von a erzeugt σ-Algebra bzw. die kleinste σ-Algebra über Ω, die a enthält

1.3 Beispiel Dies sind Beispiele für σ-Algebra und Wahrscheinlichkeiten.

1.  Ω = R
(a, b) = {x ∈ R : ⊣ < § < ⌊}
⊣ = {(a, b) : −∞ < a < b < ∞}
E_{⊣} = B^{∞} — σ-Algebra der Borelmengen
2.  Ω = [0, 1]

E = {A ⊆ [′, ∞] : A ∈ B^{∞}}

P (A) := ∫_{A} 1 dx
P (Ω) = ∫_{0}^{1} 1 dx = 1
3.  P (A) := ∫_{A} 1, 5(1 − x^{2}) dx

P (Ω) = 1, 5 (x − \frac{x^{3}}{3} )]_{0}^{1} = 1

1.4 Die klassische Definition der Wahrscheinlichkeit

Ω = {ω_{1}, …, ω_{N}}
P (\{ω_{i}\}) = \frac{1}{N}
E = P(⊗)
A ∈ E ⇒ P(A) = \frac{#\{ω : ω ∈ A\}}{N}

\overline{8}

1.5: Kombinatorik und Wahrscheinlichkeiten

1.4 Beispiel (Paradoxon von De Méré) Gleichzeitiges Würfeln mit 3 Würfeln Folgende Ereignisse werden betrachtet: A = Es fallen 11 Augen B = Es fallen 12 Augen Uns interessiert, wie wahrscheinlich jedes dieser Ereignisse ist.

P (\{i, j, k\}) = \frac{1}{N^{3}}

Ω = {(i, j, k) : 1 ≤ i, j, k ≤ 6}

P = \frac{1}{6^{3}} = \frac{1}{216}

\underline{A} 6 − 4 − 1 +P erm = 6 \underline{B} 6 − 5 − 1 = 6
6 − 3 − 2  = 6  6 − 4 − 2 = 6
5 − 5 − 1  = 3  6 − 3 − 3 = 3
5 − 4 − 2  = 6  5 − 5 − 2 = 3
5 − 3 − 3  = 3  5 − 4 − 3 = 6
4 − 4 − 3  = 3  4 − 4 − 4 = 1
= 27  = 25
P (A) = \frac{27}{216}  P (B) = \frac{25}{216}

Also ist das Werfen einer 11 wahrscheinlicher als das Werfen einer 12.

1.5 Kombinatorik und Wahrscheinlichkeiten

1.5.1 Kombination von Elementen aus mehreren Mengen

Mengen: S_{1}, …, S_{r}, wobei S_{i} = {s_{i_{1}}, …, s_{i_{n_{i}}} } Wieviele Kombinationen von Elementen (s_{1_{i_{1}}} , …, s_{r_{ir}})|s_{k_{i_{k}}} ∈ S_{k} ? N = n_{1} · . . . · n_{r} aus jeder Menge ein Element entnehmen

1.5.2 Auswahl von Elementen aus einer Menge mit Zurücklegen

S enthalte n Elemente. Wieviele Möglichkeiten gibt es, r Elemente zu entnehmen.

(s_{i_{1}}, …, s_{i_{r}}) s_{i_{1}} ∈ S Entnehme s_{i_{1}} → Notieren → zurücklegen

N = n^{r}

1.5.3 Aufteilung von r Elementen auf n Fächer (n ≥ r)

In jedes Fach kommt höchstens eines der r Elemente 1. Element:  n  Fächer frei 2. Element:  n-1 Fächer frei ⋮ r. Element:  n-r+1 Fächer frei

N = n · (n − 1) · . . . · (n − r + 1)

1.5: Kombinatorik und Wahrscheinlichkeiten n=r N = n! – ist eine Permutation mit n-Elementen

1.5 Beispiel A sei das Ereignis, daß sich r Studenten zufällig auf n Abteile (n ≥ r) verteilen.

N = n^{r}
n(A) = #{ω : ω ∈ A}  Anzahl der Möglichkeiten, A zu realisieren
= n · (n − 1) · . . . · (n − r + 1)
P (A) = \frac{n(A)}{N} = \frac{n(n − 1) · . . . · (n − r + 1)}{n^{r}}
S  n Elemente

r Elemente entnehmen ohne zurücklegen

N = n(n − 1) · . . . · (n − r + 1)

Reihenfolge soll nicht berücksichtigt werden, nur die Zusammensetzung.

N = \frac{n(n − 1) · . . . · (n − r + 1)}{r!} = \binom{n}{r}

1.6 Beispiel Urne mit n Kugeln, davon n_{1} schwarze

Wir entnehmen k Kugeln, ohne zurücklegen

⇒ N = \binom{n}{k}

Wie groß ist die Wahrscheinlichkeit, daß unter den k Kugeln k_{1} schwarz sind? A = k_{1} schwarze Kugeln werden gezogen n(A) =?

\binom{n_{1}}{k_{1}} Möglichkeiten, k_{1} schwarze Kugeln aus n_{1} schwarzen Kugeln zu entnehmen
\binom{n − n_{1}}{k − k_{1}} Möglichkeiten, k − k_{1} weißen Kugeln aus n − n_{1} weißen Kugeln zu entnehmen

\begin{matrix}n(A)= & \binom{n_{1}}{k_{1}} · \binom{n−n_{1}}{k−k_{1}} \\ P (A)= & \frac{n(A)}{N} \\ = & \frac{\binom{n_{1}}{k_{1}}·\binom{n−n_{1}}{k−k_{1}}}{\binom{n}{k}} \\ = & P_{n_{1},n} (k_{1}, k) \end{matrix}

Der letzte Ausdruck heißt auch Hypergeometrische Wahrscheinlichkeit.

\overline{10}

1.6: Bedingte Wahrscheinlichkeiten, unabhängige Ereignisse

1.7 Beispiel (Lotto 6 aus 49) Gezogene Kugeln werden im nachhinein als schwarze Kugeln angesehen, damit kann die Formel des Bei-

spiels 1.6 auf Seite 10 angewendet werden.

A = 4 Richtige
n = 49
n_{1} = 6
k = 6
k_{1} = 4
P (A) = \frac{\binom{6}{4} · \binom{43}{2}}{\binom{49}{6}}
= \frac{13.545}{13.983.816}

1.6 Bedingte Wahrscheinlichkeiten, unabhängige

Ereignisse

1.8 Beispiel (3-maliges Werfen einer Münze) Definieren als erstes zwei Ereignisse und berechnen deren Wahrscheinlichkeit.

A = {Wappen fällt genau einmal}
N = 2^{3} = 8
A = {wzz, zwz, zzw}
P (A) = \frac{n(A)}{N} = \underline{\underline{\frac{3}{8}}}
B = {Anzahl von Wappen ist ungerade}
= {wzz, zwz, zzw, www}
P (B) = \frac{4}{8} = \underline{\underline{\frac{1}{2}}}

Angenommen, B ist schon eingetreten. Wie groß ist die Wahrscheinlichkeit, daß auch A aufgetreten ist.

P (A/B) = \frac{3}{4}

Ω ⇒ Ω′ = B

1.  A ⊇ B

P (A/B) = \frac{P (A ∩ B)}{P (B)} = \frac{P (B)}{P (B)} = 1

2.  A ⊆ B

P (A/B) = \frac{P (A ∩ B)}{P (B)} = \frac{P (A)}{P (B)}

3.  A ∩ B ≠ ∅ teilweise Überschneidung

P (A/B) = \frac{P (A ∩ B)}{P (B)}

1: Wahrscheinlichkeitstheorie 11

1.6: Bedingte Wahrscheinlichkeiten, unabhängige Ereignisse

1.4 Definition (bedingte Wahrscheinlichkeit) Haben A, B ∈ E mit P (B) > 0

P (A/B) = \frac{P (A ∩ B)}{P (B)}

heißt bedingte Wahrscheinlichkeit von A unter B

P (A ∩ B) = P (A/B) · P (B)

1.5 Definition (Unabhängigkeit) Zwei Ereignisse A, B ∈ E heißen unabhängig, wenn

P (A/B) = P (A)
⇒ P (A ∩ B) = P (A) · P (B)

1.9 Beispiel (2-maliges Werfen einer Münze) Unser Ereignis heißt A = 2-mal Zahl

P (A) = \frac{1}{2} · \frac{1}{2} = \frac{1}{4}

Ω = {zz, ww, zw, wz}

1.10 Beispiel (Skatblatt) Wir betrachten zwei voneinander unabhängige Ereignisse, wollen beweisen, daß sie es sind

A = Ziehen eines Königs
P (A) = \frac{4}{32} = \frac{1}{8}
B = Ziehen einer Herzkarte
P (B) = \frac{1}{4}

Wahrscheinlichkeit eines Herz-Königs

P (A/B) = \frac{P (A ∩ B)}{P (B)} = \frac{\frac{1}{32}}{\frac{1}{4}} = \underline{\underline{\frac{1}{8}}}

⇒ A und B sind voneinander unabhängig

1.1 Satz (Wahrscheinlichkeitssraum mit P_{B}) Voraussetzungen

A ∈ E, B ∈ E, P(B) > ′

P_{B}(A) = P (A/B)

⇒ (Ω, E, P_{B}) ist Wahrscheinlichkeitsraum.

P_{B}(Ω) = P (Ω/B) = \frac{P (Ω ∩ B)}{P (B)} = \frac{P (B)}{P (B)} = 1

die anderen beiden Wahrscheinlichkeitsaxiome sind auch erfüllt.

1.2 Satz Voraussetung: A, B, C ∈ E Behauptung:

P_{B}(A/C) = P (A/B ∩ C)

1.6: Bedingte Wahrscheinlichkeiten, unabhängige Ereignisse

Beweis:

P_{B}(A/C) = \frac{P_{B}(A ∩ C)}{P_{B}(C)}
= \frac{P (A ∩ C/B)}{P (C/B)}
= \frac{P (A ∩ B ∩ C) · P (B)}{P (B) · P (B ∩ C)}
= \underline{\underline{P (A/B ∩ C)}}

1.6 Definition (Vollständigkeit) Ein System von Ereignissen {A_{i}}_{i=1}^{n}, A_{i} ∈ E heißt vollständig (oder ausschöpfend), falls

1.  ⋃_{i=1}^{n} A_{i} = Ω
2.  A_{i} ∩ A_{j} = ∅, i ≠ j

Haben {A_{i}}_{i=1}^{n} vollständig, nehmen ein A ∈ E

A = A ∩ Ω
= A ∩ (⋃_{i=1}^{n} A_{i})
= ⋃_{i=1}^{n}(A ∩ A_{i})
P (A) = P (⋃_{i=1}^{n}(A ∩ A_{i}))
= ∑_{i=1}^{n} P (A ∩ A_{i})
= ∑_{i=1}^{n} (P (A/A_{i}) · P (A_{i}))  (Formel der totalen Wahrscheinlichkeit)

P (A_{i}/A) = \frac{P (A_{i} ∩ A)}{P (A)}
= \frac{P (A/A_{i}) · P (A_{i})}{∑_{i=1}^{n} (P (A/A_{i}) · P (A_{i}))}

Diese Formel heißt Formel von Bayes (Theorem von Bayes).

1.6.1 Anwendung bedingter Wahrscheinlichkeiten in der KI

Es gibt verschiedene Arten, Wissen zu verarbeiten.

• logisches Schließen (boolesche Logik)

• Fuzzy-Logik

• Probabilistische Schlußweisen 1.6: Bedingte Wahrscheinlichkeiten, unabhängige Ereignisse

– Bayes’sches Schließen

– Dempser-Shafer-Kalkül

1.3 Lemma Wenn A, B Ereignisse und A, B unabhängig sind, dann sind auch A, \overline{B} und \overline{A}, B sowie \overline{A}, \overline{B} unabhängig.

Beweis: Am Beispiel von A, \overline{B}, andere äquivalent.

P (A/\overline{B}) = \frac{P (A ∩ \overline{B})}{P (\overline{B})}
= \frac{P (A \ B)}{1 − P (B)} = \frac{P (A \ (A ∩ B))}{1 − P (B)}
= \frac{P (A) − P (A ∩ B)}{1 − P (B)}
A, B unabhängig ⟺ P (A ∩ B) = P (A) · P (B)
= \frac{P (A) − P (A) · P (B)}{1 − P (B)}
= \frac{P (A)(1 − P (B))}{1 − P (B)} = \underline{\underline{P (A)}}

P (A/B) = P (A/\overline{B}) = P (A), falls A, B unabhängig

[figure: Knowledge; engineering; Pflege, Wartung; und Updating; Wissensbasis des; Anwendungsbereichs; Interferenz-; maschine; Endnutzer; Abwicklung der; Konsultation]

Abbildung 1.3: Aufbau eines Expertensystems

1.11 Beispiel (Beispiel MYCIN) Aufbau der Wissensbasis:

H_{i} P_{o}(H_{i}) Symptom Nr 1 P (E_{1}/H_{i}) P (E_{1}/\overline{H_{i}})
Symptom Nr 2 P (E_{2}/H_{i}) P (E_{2}/\overline{H_{i}})
Symptom Nr 3 P (E_{3}/H_{i}) P (E_{3}/\overline{H_{i}})
H_{i} — a-priori-Wahrscheinlichkeit für H_{i}
P (E/H) — Wahrscheinlichkeit für das Auftreten des Symptoms E, falls H vorliegt
P (E/\overline{H}) — Wahrscheinlichkeit für das Auftreten des Symptoms E, falls H nicht vorliegt

\overline{14}

1.7: Zufällige Variablen (Zufallsgrößen)

1.12 Beispiel (Langzeitverhalten eines Ein-Prozessorsystem mit einer I/O-Einheit) Wenn ein Programm beendet wird, so folgt mit Wahrscheinlichkeit p die Aktivierung von I/O-Einheit und mit Wahscheinlichkeit q = 1 − p ein erneuter Programmstart. Nach Beendigung eines I/O-Vorgangs wird immer neues Programm gestartet. Frage: Mit welcher Wahrscheinlichkeit befindet sich das System im n-ten Zyklus im Programmzustand?

A_{n}  im n-ten Zyklus Programm
\overline{A_{n}}  im n-ten Zyklus I/O
P (A_{n}) = ?
lim_{n→∞} P (A_{n}) = ? (Langzeitverhalten)
P (A_{1}) = 1 (d.h. es wird mit einem Programm begonnen)
P (A_{n+1}/A_{n}) = q = 1 − p
P (\overline{A_{n+1}}/A_{n}) = p
P (\overline{A_{n+1}}/\overline{A_{n}}) = 0
P (A_{n+1}/\overline{A_{n}}) = 1

q_{n} = P (A_{n})
q_{1} = P (A_{1}) = 1
q_{2} = P (A_{2}) = P (A_{2} ∩ A_{1}) + P (A_{2} ∩ \overline{A_{1}})
= P (A_{2}/A_{1}) · P (A_{1}) + \underbrace{P (A_{2}/\overline{A_{1}}) · P (\overline{A_{1}})}_{0}
= q
q_{3} = P (A_{3}/A_{2}) · P (A_{2}) + P (A_{3}/\overline{A_{2}}) · P (\overline{A_{2}})
= q · q + 1 · (1 − q)
= (1 − p)^{2} + p = 1 − p + p^{2}
q_{4} = P (A_{4}/A_{3}) · P (A_{3}) + P (A_{4}/\overline{A_{3}}) · P (\overline{A_{3}})
= q · q_{3} + 1 − q_{3}
= (1 − p) · (1 − p + p^{2}) + 1 − (1 − p + p^{2})
= 1 − p + p^{2} − p^{3}

q_{n} = P (A_{n}) = ∑_{i=0}^{n−1}(−p)^{i} P (A_{n+1}) = q_{n+1} = q · q_{n} + 1 − q_{n}

lim_{n→∞} q_{n} = \underbrace{∑_{i=0}^{∞}(−p)^{i}}

geometrische Reihe

= lim_{n→∞} \frac{1 − (−p)^{n}}{1 + p} = \underline{\underline{\frac{1}{1 + p}}}

1.7 Zufällige Variablen (Zufallsgrößen)

1.7 Definition (Meßbarkeit) Wir haben zwei Tupel (Ω_{1}, E_{∞}), (⊗_{∈}, E_{∈}), bei denen Ω_{i} Mengen sind und E_{⟩} eine σ-Algebra über Ω_{i}. Eine Abbildung T : Ω_{1} → Ω_{2} heißt E_{∞}- E_{∈}-meßbar, falls

T^{−1}(A) := {ω ∈ Ω_{1} : T (ω) ∈ A} ∈ E_{∞} ∀A ∈ E_{∈}

R^{∞}, B^{∞} ist σ-Algebra der Borelmengen.

1.8 Definition (zufällige Variable) ξ heißt (reellwertige) zufällige Variable, falls ξ eine E-B^{∞}-meßbare Abbildung ist. Hierbei ist (Ω, E, P) ein Wahrscheinlichkeitsraum.

\begin{matrix}Ω_{1} = Ω , & E_{∞} = E \\ Ω_{2} = R^{∞} , & E_{∈} = B^{∞} \end{matrix}

1.13 Beispiel (Bernoulli-Schema) Qualitätskontrolle

Ω = {”gut“, ”schlecht“}
= {ω_{1}, ω_{2}}

Ausschußquote: 0 < p < 1

P ({ω_{2}}) = p
P ({ω_{1}}) = 1 − p
E = {∅, {ω_{1}}, {ω_{2}}, Ω}

ξ(ω) = \{ \begin{matrix}1, falls ω = ω_{2} \\ 0, falls ω = ω_{1} \end{matrix}

⇒ ξ ist borel-meßbar

Wir entnehmen n-mal ein Produkt und prüfen jedesmal, ob die Qualität gut oder schlecht ist. Erhalten eine Menge von Funktionswerten ξ_{1}, …, ξ_{n}.

ξ_{i} = \{ \begin{matrix}1, falls ω = ω_{2} \\ 0, falls ω = ω_{1} \end{matrix}

Anzahl der fehlerhaften Stücke insgesamt: z_{n} = ∑_{i=1}^{n} ξ_{i}

P (ξ = 1) = ?
P (z_{n} = j) = ?

ξ ist eine zufällige Variable

P_{ξ}(B) = P (ξ ∈ B); B ∈ B^{∞}
= P ({ω ∈ Ω : ξ(ω) ∈ B})
= P (ξ^{−1}(B)), siehe Abbildung 1.4

B = {1}

1.7: Zufällige Variablen (Zufallsgrößen)

P_{ξ} ({1}) = P ({ω : ξ (ω) = 1})
= P ({ω_{2}}) = p
P_{ξ} ({0}) = P ({ω : ξ (ω) = 0})
= P ({ω_{1}})
= 1 − p

Ω ξ^{−1}(B)  R^{∞} B \overline{}P_{ξ}(B)

Abbildung 1.4: Die Wahrscheinlichkeitsfunktion

Das einfache Bernoulli-Schema

ξ : Ω = {ω_{1}, ω_{2}} → {0, 1}

P ({ω_{2}}) = p

Zweifache Bernoulli-Schema

Ω = {(ω_{1}, ω_{1}), (ω_{1}, ω_{2}), (ω_{2}, ω_{1}), (ω_{2}, ω_{2})} → {0, 1, 1, 2}
z_{2} = ξ_{1} + ξ_{2}
P ({ω_{1}}) = 1 − p
P ({ω_{2}}) = p
P ({ω_{1}, ω_{1}}) = (1 − p)^{2}
P ({ω_{1}, ω_{2}}) = P ({ω_{1}, ω_{2}}) = p(1 − p)
P ({ω_{2}}) = p^{2}
P (z_{2} = 0) = P (z_{2}^{−1} ({0}))
= (1 − p)^{2}
P (z_{2} = 2) = p^{2}
P (z_{2} = 1) = P ({ω_{1}, ω_{2}} ∪ {ω_{2}, ω_{1}})

1: Wahrscheinlichkeitstheorie 17 1.7: Zufällige Variablen (Zufallsgrößen)

= P ({ω_{1}, ω_{2}}) + P ({ω_{2}, ω_{1}})
= 2p(1 − p)

P (z_{2} = i) = \binom{2}{i}p^{i}(1 − p)^{2−i}

Formel für n-faches Bernoulli-Schema:

\begin{matrix}z_{n} = ∑_{i=1}^{n} ξ_{i} ∈ \{0, 1, …, n\} \\ P (z_{n} = i) = \binom{n}{i}p^{i}(1 − p)^{n−i} \end{matrix}

→ Binomialwahrscheinlichkeiten, ξ heißt binomialverteilte Zufallsgröße, ξ ∼ B(p, n)

Bei Münzwurf gelten: Wappen = 0, Zahl = 1, p = \frac{1}{2}

1.9 Definition (Verteilungsfunktion) Die Funktion F_{ξ}(x) = P (ξ < x) = P ({ω : ξ(ω) < x}), heißt Verteilungsfunktion von ξ, dabei ist x ∈ R^{∞}. 1.14 Beispiel

ξ ∼ B( \frac{1}{2} , 2)(2-maliger Münzwurf)
F_{ξ}(x) = ∑_{i<x} \binom{n}{i}p^{i}(1 − p)^{n−i}, wobei p = \frac{1}{2} und n = 2

siehe Abbildung 1.5

[figure: 1; \frac{3}{4}; \frac{1}{2}; \frac{1}{4}; 1; 2; F (x); x]

Abbildung 1.5: Einfache Verteilungsfunktion

Für x ≤ 0 ist der Funktionswert 0, für 0 < x ≤ 1 ist er \frac{1}{4} , für 1 < x ≤ 1 ist er \frac{1}{2} . Darüberhinaus sind alle Werte 1.

\overline{18}

1.7: Zufällige Variablen (Zufallsgrößen)

1.15 Beispiel Telefonzentrale: ω_{i}—i-Anfrufe / Zeiteinheit.

Ω = {ω_{1}, ω_{2}, …, ω_{n}, …} P (\{ω_{i}\}) = \frac{λ^{i}}{i!} e^{−λ} — λ ist ein Parameter ⇒ Poisson-wahrscheinlichkeiten ξ : ω_{i} → i

F_{ξ}(x) = ∑_{i<x} \frac{λ^{i}}{i!} e^{−λ}

Daraus resultiert wieder eine Stufenfunktion, ähnlich dem vorherigem Beispiel. 1.16 Beispiel (stetige Verteilungsfunktion) Wir haben mit ξ eine zufällige Variable und A ⊆ [0, 1].

P (ξ ∈ A) = ∫_{A} 1 dx
F_{ξ}(x) = P (ξ < x) = ∫_{0}^{x} 1 dx = x
P (ξ ∉ [0, 1]) = 0
F_{ξ} = \{ \begin{matrix}x , falls & 0 ≤ x ≤ 1 \\ 1 , falls & x > 1 \\ 0 , falls & x < 0 \end{matrix}

siehe Abbildung 1.6

[figure: 1; 1; 2; F (x); x]

Abbildung 1.6: Eine Verteilungsfunktion im stetigem Fall

1.17 Beispiel Messung einer physikalischen Konstante m:

ξ = m + ε

P (ξ < x) = \frac{1}{\sqrt{2π} σ} ∫_{−∞}^{x} e^{− \frac{1}{2} ( \frac{t−m}{σ})^{2}} dt

Diese Verteilung stammt von Gauß und wird als Gauß-verteilung, Normalverteilung oder auch Laplace-Verteilung bezeichnet.

1: Wahrscheinlichkeitstheorie 19 (Ω, E, P)

ξ : Ω → R^{∞}
ξ : E-B^{∞}-meßbar, d.h.
∀B ∈ B^{∞} : ξ^{−1}(B) = {ω : ξ(ω) ∈ B} ∈ E

P_{ξ}(B) = P (ξ ∈ B) = P ({ω : ξ(ω) ∈ B}) = P (ξ^{−1}(B))

(Ω, E, P) →^{ξ} (R^{∞}, B^{∞}, P_{ξ})

P_{ξ} — die von ξ erzeugte Wahrscheinlichkeit

F_{ξ}(x) = F (x) = P_{ξ}(−∞, x) = P (ξ ∈ (−∞, x))
= P (ξ < x) — Verteilungsfunktion von ξ

1.4 Satz Wir haben eine zufällige Variable ξ und definieren F (x) := P (ξ < x). Dann gilt: 1. F (x) ist monoton wachsend

2. lim_{x→−∞} F (x) = 0

lim_{x→+∞} F (x) = 1

3. F (x) ist linksseitig stetig, d.h.

lim_{x↗x_{0}} F (x) = F (x_{0})

4. P (x_{1} < ξ ≤ x_{2}) = F (x_{2}) − F (x_{1})

Beweis

1. sei x_{1} ≤ x_{2}

definieren zwei Mengen:

A_{1} := {ω : ξ(ω) < x_{1}}

A_{2} := {ω : ξ(ω) < x_{2}}

wegen der Meßbarkeit von ξ sind A_{i} ∈ E. Da A_{1} ⊆ A_{2}

P (A_{1}) = P (ξ < x_{1}) = F (x_{1})
≤ P (A_{2}) = F (x_{2})
⇒ \underline{\underline{F (x_{1}) ≤ F (x_{2})}}

2. {x_{n}} ↓ sei eine monoton fallende Folge mit lim_{n→∞} x_{n} = −∞. Weiterhin sei {y_{n}} ↑ gegeben mit

lim_{n→∞} y_{n} = +∞.

Definieren

A_{n} := {ω : ξ(ω) < x_{n}} ↓
d.h. A_{i} ⊃ A_{i+1}
B_{n} := {ω : ξ(ω) < y_{n}} ↑
A = ⋂_{n=1}^{∞} A_{n} = ∅
B = ⋃_{n=1}^{∞} B_{n} = {ω : ξ(ω) < sup_{i}{y_{i}}} = Ω

1.7: Zufällige Variablen (Zufallsgrößen)

lim_{n→∞} F (x_{n}) = lim_{n→∞} P (A_{n}) = P (A) = 0
lim_{n→∞} F (y_{n}) = lim_{n→∞} P (B_{n}) = P (B) = 1

Grenzwerte sind von der Wahl der Folgen {x_{n}}, {y_{n}} unabhängig

⇒ \underline{\underline{lim_{x↘−∞} F (x) = 0}}

\underline{\underline{lim_{x↗+∞} F (x) = 1}}

3. Definieren

A = {ω : ξ(ω) < x_{0}}
A_{n} = {ω : ξ(ω) < x_{n}}
x_{n} ↗ x_{0}
⇒ {A_{n}} ↑: A_{n} ⊆ A_{n+1}  A_{n} ↗ A
lim_{n→∞} P (A_{n}) = lim_{n→∞} F (x_{n}) ,da P (ξ < x_{n}) = P (A_{n}) = F (x_{n})
= P ( lim_{n→∞} A_{n}) = P (A) = F (x_{0})
⇒ \underline{\underline{lim_{x↗x_{o}} F (x) = F (x_{0})}}
4.  {ω : x_{1} ≤ ξ(ω) < x_{2}} = {ω : ξ(ω) < x_{2}} \ {ω : ξ(ω) < x_{1}}

Daraus folgt:

P (ξ_{1} ≤ ξ ≤ x_{2}) = P ({ω : ξ(ω) < x_{2}} \ {ω : ξ(ω) < x_{1}})
= P ({ω : ξ(ω) < x_{2}}) − P ({ω : ξ(ω) < x_{1}})

wegen der Substraktivität von P

= F (x_{2}) − F (x_{1})

1.7.1 Typen von Zufallsgrößen

1. diskrete Zufallsgrößen

ξ : Ω → \underbrace{\{x_{1}, x_{2}, …, x_{n}, …\}}_{abzählbare Teilmenge des R^{∞}} = W ⊂ R^{∞}
p_{i} = P ({ω : ξ(ω) = x_{i}}) = P (ξ = x_{i}) = P (A_{i})
ξ : ( \begin{matrix}x_{1} & x_{2} & x_{3} & … & x_{n} & … \\ p_{1} & p_{2} & p_{3} & … & p_{n} & … \end{matrix} )
A_{i} := {ω : ξ(ω) = x_{i}}
A_{i} ∩ A_{j} = ∅
P (ξ = x) = \{ \begin{matrix}p_{i} & x = x_{i} \\ 0 & x ≠ x_{i} ∀x_{i} ∈ W \end{matrix}
\underline{F (x)} = P (ξ < x) = P ( ⋃_{i:x_{i}<x} A_{i}) = ∑_{i:x_{i}<x} P (A_{i}) = \underline{∑_{i:x_{i}<x} p_{i}}
F (x) = \{ \begin{matrix}0  , falls & x ≤ x_{1}(x_{1} < x_{2} < x_{3} …) \\ ∑_{i:x_{i}<x} p_{i} , falls & x_{1} < x \end{matrix}

∑_{i} p_{i} = 1

1.18 Beispiel Für solche Funktionen F (x) mit diskreten Zufallsgrößen.

ξ : ( \begin{matrix}0 & 1 & 2 & … & n \\ p_{0} & p_{1} & p_{2} & … & p_{n} \end{matrix} ) ∼ B(p, n)

p_{i} = \binom{n}{i} · p^{i}(1 − p)^{n−i}, falls 0 < p < 1

∑_{i=0}^{n} p_{i} = ∑_{i=0}^{n} \binom{n}{i}p^{i}(1 − p)^{n−i} = (p + 1 − p)^{n} = 1

1.19 Beispiel

ξ : ( \begin{matrix}0 & 1 & 2 & … & n & … \\ p_{0} & p_{1} & p_{2} & … & p_{n} & … \end{matrix} ) ∼ PO(λ) — Poisson-verteilt

p_{n} = \frac{λ^{n}}{n!} e^{−λ}

∑_{n=0}^{∞} p_{n} = ∑_{n=0}^{∞} \frac{λ^{n}}{n!} e^{−λ} = e^{−λ} \underbrace{∑_{n=0}^{∞} \frac{λ^{n}}{n!}}_{e^{λ}} = 1

B ∈ B^{∞} : P(ξ^{−∞}B) = ∑_{⟩:§_{⟩}∈B} √_{⟩} (= ∫_{B} ⌈ F(§))

2. stetige Zufallsgrößen

P (ξ < x) = F (x) = ∫_{−∞}^{x} f(t) dt  (*)

1.10 Definition (stetig) Eine zufällige Variable ξ heißt stetig, falls eine nichtnegative Funktion f existiert, so daß für F (x) (*) (Seite 22) gilt.

Es gilt: lim_{x→∞} F (x) = ∫_{−∞}^{+∞} f(t) dt = 1

1.11 Definition (Dichtefunktion) Die Funktion f heißt Dichtefunktion, wenn

(a) f(x) ≥ 0 ∀x
(b) ∫_{R} f(x) dx = 1

P (ξ = x) = ∫_{x}^{x} f(t) dt = 0, sogar wenn x möglich ist

P (a ≤ ξ ≤ b) = ∫_{a}^{b} f(t) dt

1.7: Zufällige Variablen (Zufallsgrößen)

1.20 Beispiel Gleichverteilung über [0, 1)

ξ : Ω → [0, 1)

F (x) = P (ξ < x) = \{ \begin{matrix}0 , falls & x ≤ 0 \\ x , falls & 0 < x < 1 \\ 1 , falls & x ≥ 1 \end{matrix}
f(x) = \{ \begin{matrix}0 , falls & x ≤ 0 \\ 1 , falls & 0 < x < 1 \\ 0 , falls & x ≥ 1 \end{matrix}

siehe Abbildung 1.7

P (ξ < x) = P (ξ ≤ x) trifft im Gegensatz zu den diskreten Zufallsgößen zu
[figure: 1; 1; x; f(x); 1; 1; x; F (x)]

Abbildung 1.7: Die Funktionen f und F für Gleichverteilung über [0, 1) f(x) = \frac{d F (x)}{dx} , falls f(x) stetig ist

1.7.1.1 Veranschaulichen der Dichte-Funktion Teilen den Wertebereich von ξ in Intervalle I_{j} ein und beobachten für jeden der Versuche ξ_{i}, in welches I_{j} ξ_{i} (i = 1, 2, …, n) fällt.

n_{j} = #{ξ_{i} ∈ I_{j}}
Δ(I_{j}) = Δ_{j}  Länge von I_{j}

Δ_{0} = max_{j}{Δ_{j}}

femp.(x) = \frac{\frac{n_{i}}{n}}{Δ_{i}} für x ∈ I_{i}
lim_{{n→∞ \atop Δ_{0}→0}} femp.(x) = \underline{\underline{f(x)}}

siehe Abbildung 1.8

1.21 Beispiel

F (x) := F_{ξ}(x)

1: Wahrscheinlichkeitstheorie 23

[figure: a; b; I_{1}; I_{2}; …; I_{k}]

Abbildung 1.8: Durch Experiment ermittelte Dichtefunktion

= ∫_{−∞}^{x} \underbrace{\frac{1}{\sqrt{2π} σ} e^{− \frac{1}{2} ( \frac{t−μ}{σ})^{2}} dt}_{f(t)≥0(σ>0)}

zu zeigen:

I = ∫_{−∞}^{+∞} \frac{1}{\sqrt{2π} σ} e^{− \frac{1}{2} ( \frac{x−μ}{σ})^{2}} dx = 1

I^{2} = ∫ ∫_{−∞}^{+∞} \frac{1}{2πσ^{2}} e^{− \frac{1}{2} ( \frac{x−μ}{σ})^{2}} e^{− \frac{1}{2} ( \frac{y−μ}{σ})^{2}} dx dy

s = \frac{x − μ}{σ} dx = σ ds

t = \frac{y − μ}{σ} dy = σ dt

= \frac{σ^{2}}{2πσ^{2}} ∫ ∫_{−∞}^{+∞} e^{− \frac{1}{2} (s^{2}+t^{2})} ds dt

s = r cos φ, t = r sin φ 0 < r < ∞ 0 < φ < 2π

|J| = | \begin{matrix}\frac{∂s}{∂r} & \frac{∂s}{∂φ} \\ \frac{∂t}{∂r} & \frac{∂t}{∂φ} \end{matrix} | = | \begin{matrix}cos φ & −r sin φ \\ sin φ & r cos φ \end{matrix} |
= r cos^{2} φ + r sin^{2} φ
= \underline{\underline{r}}

I^{2} = \frac{1}{2π} ∫_{0}^{2π}∫_{0}^{∞} e^{− \frac{1}{2} r^{2}} |J| dr dφ

(s^{2} + t^{2} = r^{2})

I^{2} = \frac{1}{2π} ∫_{0}^{2π} (∫_{0}^{∞} r e^{− \frac{r^{2}}{2}} dr) dφ  (e^{− \frac{r^{2}}{2}} )′ = −r · e^{− \frac{r^{2}}{2}}
= \frac{1}{2π} ∫_{0}^{2π} [− e^{− \frac{r^{2}}{2}} ]_{0}^{∞} dφ
= \underline{\underline{\frac{1}{2π} ∫_{0}^{2π} dφ = 1}}

ξ  zufällige Variable
ξ  benutzt Dichte f_{μ,σ}(x)

ξ ∼ N(μ, σ) — Normalverteilung mit den Parametern μ und σ

σ ist ein Maß für die Streung von ξ um μ siehe Abbildung 1.9

\underbrace{ξ}_{Messung} = \underbrace{μ}_{Konstante} + \underbrace{ε}_{Meßfehler}

ϵ ∼ N(0, σ), σ beschreibt die Genauigkeit der Messung ξ

ξ besitzt eine Standardnormalverteilung, wenn

ξ ∼ N(0, 1)

F (x) = P (ξ < x) = Φ(x)
= \frac{1}{\sqrt{2π}} ∫_{−∞}^{x} e^{− \frac{t^{2}}{2}} dt
⇒ Gauß’sche Glockenkurve

\overline{}μ μ − x  μ + x σ_{1}σ_{2} < σ_{1}

Abbildung 1.9: Die Normalverteilung N(μ, σ_{1}) sowie N(μ, σ_{2})

1.7.2 Transformation zufälliger Variablen

Ω ⇒^{ξ} R^{∞} ⇒^{η=}(ξ)} R^{∞}

g — reellwertige Funktion

F_{ξ}(x) = P (ξ < x)
F_{η}(y) = P (η < y)

(Ω, E, P) ⇒^{ξ} (R^{∞}, B^{∞}, P_{ξ})

g — reellwertige Funktion

F_{ξ}(x) = P (ξ < x)

F_{η}(y) = P (η < y) = P (g(ξ) < y) = P (ξ ∈ \underbrace{\{x : g(x) < y\}}_{∈B^{∞}})

1.5 Satz ξ verteilt mit der stetigen Dichtefunktion f(x). g(x) sei differenzierbar und g′(x) ≠ 0 ∀x ∈ W_{ξ} (W_{ξ} ist der Wertevorrat von ξ). Dann hat die zufällige Variable η = g(ξ) die Dichtefunktion

h(y) = f (g^{−1}(y)) · | \frac{dg^{−1}(y)}{dy} |

Beweis:

Fall 1: g′(x) > 0

η = η(ω) = g(ξ(ω))
A = {ω : ξ(ω) < x} = {ω : η(ω) < y}
P (A) = F_{ξ}(x) = F_{η}(y)
F′_{ξ}(x) = f(x) = \frac{dF_{ξ}(x)}{dx} = \frac{dF_{η}(y)}{dy} · \frac{dy}{dx}
= h(y) \frac{dy}{dx}
f(x) = f (g^{−1}(y)) = h(y) \frac{dy}{dx}
h(y) = f (g^{−1}(y)) \frac{dx}{dy}
= f (g^{−1}(y)) \frac{dg^{−1}(y)}{dy}

da g streng monoton

= \underline{\underline{f (g^{−1}(y)) · | \frac{dg^{−1}(y)}{dx} |}}

Fall 2: g′(x) < 0

A = {ω : ξ(ω) < x} = {ω : y < η(ω) < ∞}
F_{ξ}(x) = P (\overline{\{ω : η(ω) ≤ y\}})
= P (\overline{\{ω : η(ω) < y\}})
= 1 − P ({ω : η(ω) < y})
= 1 − F_{η}(y)
\frac{dF_{ξ}(x)}{dx} = f(x) = \frac{d (1 − F_{η}(y))}{dx}
= −h(y) · \underbrace{\frac{dg^{−1}(y)}{dy}}_{<0}
= \underline{\underline{h(y) · | \frac{dg^{−1}(y)}{dy} |}}

1.7: Zufällige Variablen (Zufallsgrößen)

1.22 Beispiel ξ besitze Gleichverteilung über [a, b), d.h.

f(x) = \{ \begin{matrix}\frac{1}{b−a} , & falls x ∈ [a, b) \\ 0 , & sonst \end{matrix}

siehe Abbildung 1.10

[figure: f(x); \frac{1}{b−a}; a; b]

Abbildung 1.10: Die Dichtefunktion für Gleichverteilung in [a, b)

1.23 Beispiel ξ sei gleichverteilt über [0, \frac{π}{2} ]

f(x) = \{ \begin{matrix}\frac{2}{π} , & falls 0 ≤ x < \frac{π}{2} \\ 0 , & sonst \end{matrix}

y = g(x) = sin x
g(x) > 0 ∀x ∈ W_{ξ} = [0, \frac{π}{2} )
g^{−1}(y) = arcsin y
η = sin ξ
h(y) = f(arcsin y) \frac{d arcsin y}{dy}
h(y) = \{ \begin{matrix}\frac{2}{π} \frac{1}{\sqrt{1−y^{2}}} , & falls y ∈ [0, 1) \\ 0  , & sonst \end{matrix}

1.24 Beispiel ξ ist zufällige Variable

\begin{matrix}F (x) & − & Verteilungsfunktion, differenzierbar \\ F′(x) & = & f(x) — Dichtefunktion \\ & & f(x) > 0 \end{matrix} \} auf einem gewissen Intervall
P (ξ < x) = F (x)
η = F (ξ)
h(y) = f (F^{−1}(y)) \frac{dF^{−1}(y)}{dy} ≡ \{ \begin{matrix}1 , & falls y ∈ [0, 1] \\ 0 , & sonst \end{matrix}

1: Wahrscheinlichkeitstheorie 27 1.7: Zufällige Variablen (Zufallsgrößen)

F (F^{−1}(y)) = y
\frac{dF (F^{−1}(y)}{dy} = 1
F′(F^{−1}(y))F′(y) = 1
⇒  f(F^{−1}(y))F′(y) = 1
F′(y) = \frac{1}{f(F^{−1}(y))}
η = F (ξ) ist gleichverteilt über [0, 1)
U  gleichverteilt über [0, 1)
G − beliebige Verteilungsfunktion
G′ = g > 0

⇒ G^{−1}(U) besitzt die Verteilungsfunktion G

1.25 Beispiel η = aξ + b ist gegeben,

y = g(x) = ax + b; a ≠ 0

f(x) Dichte von ξ

Die Dichte von η berechnet sich dann wie folgt:

h(y) = f (g^{−1}(y)) · | \frac{dg^{−1}(y)}{dy} |
= f ( \frac{y − b}{a} ) · \frac{1}{|a|}
x = g^{−1}(y) = \frac{y − b}{a}

1.7.2.1 Anwendung Wir haben eine zufällige Variable ξ mit:

ξ ∼ N(μ, σ), σ > 0 Daraus folgt, die Dichtefunktion f ist wie folgt definiert:

f(x) = \frac{1}{\sqrt{2π} σ} e^{− \frac{1}{2}(\frac{x−μ}{σ})^{2}}

Wenn wir nun eine zweite zufällige Variable η haben, für die gilt:

η = \frac{ξ − μ}{σ}; y = g(x) = \frac{x − μ}{σ}

ergibt sich die Dichtefunktion h mit der Formel:

h(y) = f (g^{−1}(y)) · |\frac{dg^{−1}(y)}{dy}|

\overline{28} wobei

x = g^{−1}(y) = σy + μ
\frac{dx}{dy} = \frac{dg^{−1}(y)}{dy} = σ
h(y) = \frac{1}{\sqrt{2π} σ} e^{− \frac{1}{2}(\frac{σy+μ−μ}{σ})^{2}} · \underbrace{|σ|}_{=σ, da σ>0}

= \frac{1}{\sqrt{2π}} e^{− \frac{1}{2} y^{2}}
⇒ η ∼ N(0, 1)

Arbeit mit einer Tabelle von Wahrscheinlichkeiten Es ist ξ ∼ N(μ, σ) gegeben. Wir suchen die Wahrscheinlichkeit

P (ξ < x) = P (\frac{ξ − μ}{σ} < \frac{x − μ}{σ}) = P (η < \frac{x − μ}{σ})

Dabei ist η ∼ N(0, 1), d.h. η ist eine standardisierte, normalverteilte Zufallsgröße

• ξ ∼ N(0, 1)

P (ξ < 1) = 0, 841345
P (ξ < −1) = Φ(−1) = \underbrace{1 − Φ(1)}_{da Gesamtfläche = 1} ≈ 0, 15

P (−1 ≤ x ≤ 1) = Φ(1) − Φ(−1)
= 2Φ(1) − 1 ≈ 0, 68

• ξ ∼ N(1, 1)

P (ξ < 1) = P (η < \frac{1 − 1}{1}) = P (η < 0) = 0, 5

Die Umkehrung — Quantile Gesucht ist zu einem Wahrscheinlichkeitswert P (ξ < x_{p}) der entsprechende Wert von x_{p}.

z.B. für ξ ∼ N(0, 1) und p = 0, 95 ist der Wert von x_{p} ≈ 1, 645.

ξ ∼ N(μ, σ)
x_{p}(μ, σ) = σx_{p}(0, 1) + μ
P (ξ < x_{p}(μ, σ)) = p
= P (\frac{ξ − μ}{σ} < \underbrace{\frac{x_{p}(μ, σ) − μ}{σ}}_{=x_{p}(0,1)} ) = p

1.7: Zufällige Variablen (Zufallsgrößen)

1.12 Definition (k · σ-Intervall) Für ξ ∼ N(μ, σ) ist k · σ-Intervall die Wahrscheinlichkeit:

P (μ − kσ ≤ ξ ≤ μ + kσ)

Für diese k · σ-Intervalle gilt:

P (μ − kσ ≤ ξ ≤ μ + kσ)

= P (\frac{μ − kσ − μ}{σ} ≤ \frac{ξ − μ}{σ} ≤ \frac{μ + kσ − μ}{σ})
= P ( − k ≤ \underbrace{\frac{ξ − μ}{σ}}_{∼N(0,1)} 1 ≤ k)
= Φ(k) − \underbrace{Φ(−k)}_{1−Φ(k)}
= \underline{\underline{2Φ(k) − 1}}

Zum Beispiel gilt für das 3σ-Intervall:

2Φ(3) − 1 = 2 · 0, 999 − 1 = 0, 998

ξ : (Ω, E, P) ⇒ (R^{√}, B^{√})
B^{√} — σ-Algebra der Borelmengen im R^{√}
B^{√} — kleinste σ-Algebra über dem R^{\}

die alle offenen Intervalle enthält

1.7.3 Zufälliger Vektor

1.13 Definition (Zufälliger Vektor) Wenn ξ_{i}, i ∈ [1, p] reellwertige, zufällige Variablen sind, dann ist ξ, definiert durch ξ^{T} = (ξ_{1}, …, ξ_{p}) ein

zufälliger Vektor. Die ξ_{i} sind jeweils über dem Wahrscheinlichkeitsraum (Ω, E, P) definiert. 1.14 Definition (Verteilungsfunktion)

F_{ξ}(x_{1}, …, x_{p}) := P (ξ_{1} < x_{1}, …, ξ_{p} < x_{p}) heißt Verteilungsfunktion des zufälligen Vektors ξ. Sie wird auch mit F_{ξ_{1},...,ξ_{p}}(x_{1}, …, x_{p}) bezeichnet.

Es gilt:

F_{ξ_{1},...,ξ_{p}}(x_{1}, …, x_{p})
= P (ω : ξ_{1}(ω) < x_{1} ∧ … ∧ ξ_{p}(ω) < x_{p})
= \underline{P (⋂_{i=1}^{p} \{ω ∈ Ω : ξ_{i}(ω) < x_{i}\})}

\overline{30}

1.7: Zufällige Variablen (Zufallsgrößen)

1.7.3.1 Eigenschaften der Verteilungsfunktion

1.  F_{ξ}(x_{1}, …, x_{p}) = F_{ξ_{i_{1}} ,...,ξ_{ip}} (x_{i_{1}}, …, x_{i_{p}})
2.  lim_{x_{p}→−∞} F_{ξ}(x_{1}, …, x_{p}) = 0
3.  lim_{x_{p}→∞} F_{ξ}(x_{1}, …, x_{p}) = F_{ξ_{1},...,ξ_{p−1}}(x_{1}, …, x_{p−1})
4.  lim ; ⋮_{xp→∞}^{x_{1}→∞} F_{ξ}(x_{1}, …, x_{p}) = 1

5. F_{ξ}(x_{1}, …, x_{p}) ist in jedem Argument nichtfallend

6. F_{ξ}(x_{1}, …, x_{p}) ist in jedem Argument linksseitig stetig

1.15 Definition Der zufällige Vektor ξ^{T} = (ξ_{1}, …, ξ_{p}) heißt stetig verteilt, wenn

F_{ξ}(x_{1}, …, x_{p}) = ∫_{−∞}^{x_{1}} … ∫_{−∞}^{x_{p}} f(t_{1}, …, t_{p}) dt_{1} … dt_{p} wobei

1. f(x_{1}, …, x_{p}) ≥ 0 ∀x_{1}, …, x_{p}
2.  ∫_{R^{√}} f(x_{1}, …, x_{p}) dx_{1} … dx_{p} = 1

f(x_{1}, …, x_{p}) heißt dann Dichtefunktion von ξ.

Falls f(x_{1}, …, x_{p}) stetig ist, so gilt:

f(x_{1}, …, x_{p}) = \frac{∂^{p}F_{ξ}(x_{1}, …, x_{p})}{∂x_{1} … ∂x_{p}}

1.16 Definition (diskret) Ein zufälliger Vektor ξ mit ξ^{T} = (ξ_{1}, …, ξ_{p}) heißt diskret, falls der Wertevorrat für jedes ξ_{i} höchstens

abzählbar ist. 1.17 Definition (Verteilungsfunktion) ξ_{i} habe den Wertevorrat {x_{i_{1}}, …, x_{i_{k}}, …}. Dann ist die Wahrscheinlichkeit p als

p_{x_{1_{j}} ...x_{p_{k}}} = P (ξ_{1} = x_{1_{j}} , …, ξ_{p} = x_{p_{k}}) und die Verteilungsfunktion als

F_{ξ}(x_{1}, …, x_{p}) = ∑ ; ⋮_{k:xp_{k} <xp}^{j:x_{1_{j}} <x_{1}} p_{x_{1_{j}} ...x_{p_{k}}}

definiert.

1: Wahrscheinlichkeitstheorie 31

1.26 Beispiel (Würfel) Wir werfen zwei Würfel. ξ = (ξ_{1}, ξ_{2}), wobei ξ_{1} die Augenzahl des ersten Würfels ist und ξ_{2} die des zweiten.

Wir wollen nun wissen, wie groß die Wahrscheinlichkeit ist, daß der 1. Würfel weniger als 4 Augen zeigt und der 2. Würfel weniger als 3. Wir wissen bereits, daß die beiden Würfel voneinander unabhängig sind.

P (ξ_{1} < 4, ξ_{2} < 3) = ∑_{i<4;j<3} p_{ij} = \frac{6}{36} = \frac{1}{6}

Dabei gilt (da die Würfel voneinander unabhängig sind)

P (ξ_{1} = i, ξ_{2} = j) = p_{ij} = P (\{ξ_{1} = i\} ∩ \{ξ_{2} = j\}) = \frac{1}{6} · \frac{1}{6} = \frac{1}{36}

und

(p_{ij}) = ( \begin{matrix}\frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} \\ \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} \\ \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} \\ \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} \\ \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} \\ \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} & \frac{1}{36} \end{matrix} )

1.6 Satz (Randdichte) Wir haben mit f(x_{1}, x_{2}) eine beliebige Dichte für einen zufälligen Vektor ξ = \binom{ξ_{1}}{ξ_{2}}. Die Dichte von ξ_{1} (Randdichte) berechnet sich dann mit:

f_{ξ_{1}} = ∫_{−∞}^{∞} f(x_{1}, x_{2}) dx_{2}

Beweis: Wenn

F (x_{1}, x_{2}) = ∫_{−∞}^{x_{1}} ∫_{−∞}^{x_{2}} f(t_{1}, t_{2}) dt_{1} dt_{2}

die Verteilungsfunktion von f ist und wir den Grenzwert für x_{2} → ∞ berechnen, dann erhalten wir:

lim_{x_{2}→∞} F (x_{1}, x_{2}) = P (ξ_{1} < x_{1}) = ∫_{−∞}^{x_{1}} f_{1}(t_{1}) dt_{1}

Wir betrachten den zufälligen Vektor für den Fall: p = 2

1. ξ = \binom{ξ_{1}}{ξ_{2}} diskret (endlich)

P (ξ_{1} ∈ {x_{1}, …, x_{k}}) = 1
P (ξ_{2} ∈ {y_{1}, …, y_{l}}) = 1
X = {x_{1}, …, x_{k}}
Y = {y_{1}, …, y_{l}}
P (ξ ∈ X × Y) = 1
X × Y = {(x_{i}, y_{j}) : x_{i} ∈ X und y_{j} ∈ Y }
P (ξ = (x_{i}, y_{j})) = P (ξ_{1} = x_{i} ∧ ξ_{2} = y_{j})
= P (ξ_{1} = x_{i}, ξ_{2} = y_{j}) = p_{ij}

P = (p_{ij})_{{i=1,...,k \atop j=1,...,l}}
ξ_{1}\^{ξ_{2}} y_{1} y_{2} … y_{l}
x_{1} p_{11} p_{12} … p_{1l} p_{1·}
x_{2} p_{21} p_{22} … p_{2l} p_{2·}
⋮  ⋮  ⋮  ⋮  ⋮
x_{k} p_{k1} p_{k2} … p_{kl} p_{k·}
∑ p_{·1} p_{·2} … p_{·l} 1

p_{·j} = ∑_{i=1}^{k} p_{ij}

p_{i·} = ∑_{j=1}^{l} p_{ij}

Diese Werte sind die Randwahrscheinlichkeiten bezüglich ξ_{1} bzw. ξ_{2}. Für ξ_{1} und ξ_{2} gelten folgende Wertetabellen:

ξ_{1} : ( \begin{matrix}x_{1} & x_{2} & … & x_{k} \\ p_{1·} & p_{2·} & … & p_{k·} \end{matrix} )

ξ_{2} : ( \begin{matrix}y_{1} & y_{2} & … & y_{l} \\ p_{·1} & p_{·2} & … & p_{·l} \end{matrix} )

P_{·j} = ∑_{i=1}^{k} p_{ij}

= ∑_{i=1}^{k} P (ξ_{1} = x_{i}, ξ_{2} = y_{j})

= ∑_{i=1}^{k} P (ξ_{1} = x_{i} ∧ ξ_{2} = y_{j})

= ∑_{i=1}^{k} P ({ω : ξ_{1}(ω) = x_{i}} ∩ {ω : ξ_{2}(ω) = y_{j}})
= \underline{P (\{ω : ξ_{2}(ω) = y_{j}\})}

Diese Formel folgt aus der Formel der totalen Wahrscheinlichkeit auf der Seite 13, denn es gilt:

{ω : ξ_{1}(ω) = x_{i}} ∩ {ω : ξ_{1}(ω) = x_{j}} = ∅ ∀i ≠ j
⋃_{i=1}^{k}{ω : ξ_{1}(ω) = x_{i}} = Ω
d.h. {ω : ξ_{1}(ω) = x_{i}}_{i=1,...,n} ist vollständig

Ω ⇒^{ξ_{1}} {x_{1}, …, x_{k}}

∑_{i,j} p_{ij} = 1

1.27 Beispiel Zur Verdeutlichung ein konkretes Beispiel mit k = l = 2.

ξ_{1} = \{ \begin{matrix}1, falls & weiblich \\ 2, falls & männlich \end{matrix}
ξ_{2} = \{ \begin{matrix}1, falls & Raucher \\ 2, falls & Nichtraucher \end{matrix}

\begin{matrix}_{ξ_{1}}\^{ξ_{2}} & 1 & 2 \\ 1 & p_{11} & p_{12} \\ 2 & p_{21} & p_{22} \end{matrix}

Erstellen nun eine 2 × 2-Kontigenztafel. Dabei wird für jedes der 4 Felder anhand einer statistischen Erhebung die Anzahl der Personen ermittelt, für die die beiden Eigenschaften zutreffen.

ξ_{1}\^{ξ_{2}} 1  2
1  n_{11} n_{12} n_{1·}
2  n_{21} n_{22} n_{2·}
n_{·1} n_{·2} n_{··}

Dabei bedeuten:

n_{ij} Anzahl der Personen mit dem Geschlecht i und dem Raucherverhalten j n_{·1} Anzahl der Raucher n_{·2} Anzahl der Nichtraucher n_{1·} Anzahl der Frauen n_{2·} Anzahl der Männer n_{··} Gesamtzahl der Befragten

Mit p′_{ij} = \frac{n_{ij}}{n_{··}} ergibt sich eine Schätzung für p_{ij}.

2. ξ = \binom{ξ_{1}}{ξ_{2}} als stetige zufällige Variable Wir erhalten eine 2-dimensionale Dichtefunktion f(x, y), für die folgendes gilt:

(a)  ∫ ∫_{−∞}^{∞} f(x, y) dx dy = 1
(b)  f(x, y) ≥ 0 ∀(x, y) ∈ R^{∈}

Die Verteilungsfunktion ergibt sich dann durch:

F (x, y) = ∫_{−∞}^{x} ∫_{−∞}^{y} f(u, v) du dv = P (ξ_{1} < x, ξ_{2} < y)

da f(x,y) stetig ist, gilt weiterhin:

f(x, y) = \frac{∂^{2}F (x, y)}{∂x ∂y}

Randverteilung

lim_{y→∞} F (x, y) = \underbrace{F_{ξ}(x) = P (ξ < x)}_{Randverteilung von ξ}

f_{ξ_{1}}(x) = \frac{dF_{ξ_{1}}(x)}{dx} = ∫_{−∞}^{∞} f(x, y) dy
f_{ξ_{2}}(y) = ∫_{−∞}^{∞} f(x, y) dx
F_{ξ_{1}}(x) = ∫_{−∞}^{x} f_{ξ_{1}}(t) dt
F_{ξ_{2}}(y) = ∫_{−∞}^{y} f_{ξ_{2}}(t) dt

Dabei sind:

f_{ξ_{i}} Randdichte von ξ_{i}

F_{ξ_{i}} Randverteilung von ξ_{i}

1.7.4 Transformationsformel für zufällige Vektoren

Wir haben mit ξ = ( ξ_{1} ; ⋮ ; ξ_{p} ) einen zufälligen Vektor mit einer Dichtefunktion: f(x_{1}, …, x_{p}).

Weiterhin eine Menge B ∈ B^{∞} und eine Wahrscheinlichkeitsfunktion

P (ξ ∈ B) = ∫_{B} f(x_{1}, …, x_{p}) dx_{1} … dx_{p}

Eine Funktion g : R^{√} → R^{√} sei umkehrbar eindeutig und es soll für ein X gelten:

X = ( x_{1} ; ⋮ ; x_{p} ) ⟷^{g} Y = ( y_{1} ; ⋮ ; y_{p} )

Möglich wäre z.B. eine Funktion g(x) = A · x, wobei A eine reguläre (p, p)-Matrix ist.

Die Umkehrabbildung g^{−1} : R^{√} → R^{√} ist mittels Funktionen ψ_{i} definiert (diese existieren aufgrund der umkehrbar eindeutigen Funktion g), die y_{1}, …, y_{p} eine Zahl x_{i} zuordnet, d.h. x_{i} = ψ_{i}(y_{1}, …, y_{p}). Die Funktion g^{−1} ist dann folgendermaßen definiert:

g^{−1}(y) = ( ψ_{1}(y_{1}, …, y_{p}) ; ⋮ ; ψ_{p}(y_{1}, …, y_{p}) ) = ( x_{1} ; ⋮ ; x_{p} )

Wir betrachten nun η = ( η_{1} ; ⋮ ; η_{p} ) = g(ξ) und suchen die Dichtefunktion h_{η}. Dabei gehen wir (ohne

Beweis) formal wie bei den zufälligen Variablen vor.

h_{η}(y_{1}, …, y_{n}) = f(ψ_{1}(y_{1}, …, y_{p}), …, ψ_{p}(y_{1}, …, y_{p})) · |J|

wobei

J = |\frac{∂ψ_{i}}{∂y_{j}} |_{i,j:1,...,p}

obiger Ausdruck soll die Determinante dieser Matrix von partiellen Ableitungen sein

1.28 Beispiel Summe unabhängiger Zufallsgrößen

ξ = \binom{ξ_{1}}{ξ_{2}} ist ein zufälliger Vektor (p = 2), wobei ξ_{1}, ξ_{2} voneinander unabhängig sind. Bei gegebener Dichte von ξ suchen wir die Dichte von η = \binom{ξ_{1}+ξ_{2}}{ξ_{2}}.

f(x_{1}, x_{2}) = f_{1}(x_{1}) · f_{2}(x_{2})
gilt, da ξ_{1}, ξ_{2} unabhängig
g_{1}(ξ_{1}, ξ_{2}) = η_{1} = ξ_{1} + ξ_{2}
g_{2}(ξ_{1}, ξ_{2}) = η_{2} = ξ_{2}
⇒
x_{1} = ψ_{1}(y_{1}, y_{2}) = y_{1} − y_{2}
x_{2} = ψ_{2}(y_{1}, y_{2}) = y_{2}

J = | \begin{matrix}\frac{∂x_{1}}{∂y_{1}} & \frac{∂x_{1}}{∂y_{2}} \\ \frac{∂x_{2}}{∂y_{1}} & \frac{∂x_{2}}{∂y_{2}} \end{matrix} | = | \begin{matrix}1 & −1 \\ 0 & 1 \end{matrix} |
= 1
Dichte von η = \binom{η_{1}}{η_{2}}
h_{η}(y_{1}, y_{2}) = f(ψ_{1}(y_{1}, y_{2}), ψ_{2}(y_{1}, y_{2})) · |1|
= f_{1}(ψ_{1}(y_{1}, y_{2})) · f_{2}(ψ_{2}(y_{1}, y_{2}))
= \underline{f_{1}(y_{1} − y_{2}) · f_{2}(y_{2})}

Wir haben nun mit h_{η}(y_{1}, y_{2}) die gemeinsame Dichte von η_{1} = ξ_{1} + ξ_{2} und η_{2} = ξ_{2} berechnet. Wie bekommt man nun die Randdichte für η_{1} = ξ_{1} + ξ_{2} (Randdichte bzgl. der ersten Komponente)?

h_{η}(y_{1}) = ∫_{−∞}^{∞} h(y_{1}, y_{2}) dy_{2}

h_{ξ_{1}+ξ_{2}}(y_{1}) = ∫_{−∞}^{∞} f_{1}(y_{1} − y_{2}) · f_{2}(y_{2}) dy_{2}

Diese Formel wird auch Faltung aus f_{1} und f_{2} genannt, geschrieben wird dies f_{1} ∗ f_{2}. Hinweis: Faltung der Dichten ergibt Dichte der Summen.

1.29 Beispiel (Faltung) Es seien ξ_{1} und ξ_{2} über [0, 1) gleichverteilt und unabhängig. Die ξ_{i} besitzen jeweils die Dichte

f_{i}(x) = \{ \begin{matrix}1 , & falls 0 ≤ x < 1 \\ 0 , & sonst \end{matrix}

0 ≤ ξ_{i} ≤ 1 0 ≤ ξ_{1} + ξ_{2} ≤ 2

η_{1} = ξ_{1} + ξ_{2}
h_{η_{1}}(y) = ∫_{−∞}^{∞} f_{1}(y − x)f_{2}(x) dx
= ∫_{0}^{1} f_{1}(y − x) dx da f_{2}(x) = 1 ∀x : 0 ≤ x ≤ 1
f_{1}(y − x) = \{ \begin{matrix}1 , & falls 0 ≤ y − x ≤ 1 \\ 0 , & sonst \end{matrix}
(a) 0 ≤ y ≤ 1

f_{1}(y − x) = 1, falls 0 ≤ x ≤ y

(b) 1 < y ≤ 2

f_{1}(y − x) = 1, falls y − 1 ≤ x ≤ 1 siehe Abbildung 1.11

h_{η_{1}}(y) = ∫_{0}^{1} f_{1}(y − x) dx = \{ \begin{matrix}∫_{0}^{y} dx , & falls 0 ≤ y ≤ 1 \\ ∫_{y−1}^{1} dx , & falls 1 < y ≤ 2 \\ 0  , & sonst \end{matrix}

= \{ \begin{matrix}y  , falls & 0 ≤ y ≤ 1 \\ 2 − y , falls & 1 < y ≤ 2 \\ 0  , falls & y ∉ [0, 2] \end{matrix}

siehe Abbildung 1.12

[figure: f_{1}; 1; 1; 2; f_{1}; 1; 1; 2; y; y + 1; y − 1; y]

Abbildung 1.11: Die Dichte f_{1} für 0 ≤ y ≤ 1 und 1 < y ≤ 2

Wir betrachten nun die Addition von 3 solcher Werte, d.h. η_{3} = (ξ_{1} + ξ_{2}) + ξ_{3}. Die Dichtefunktion für ξ_{3} entspricht der von ξ_{i}.

h_{η_{3}}(z) = ∫_{−∞}^{+∞} h_{ξ_{1}+ξ_{2}}(z − x) · f_{3}(x) dx

1.8: Unabhängigkeit von Zufallsgrößen

[figure: h_{η}; 1; 1; 2; y − x]

Abbildung 1.12: Die Dichtefunktion von ξ_{1} + ξ_{2}

= h_{ξ_{1}+ξ_{2}} ∗ f_{3}(x)

h_{ξ_{1}+ξ_{2}}(z − x), 0 ≤ z ≤ 3

(a) 0 ≤ z ≤ 1
(b) 1 < z ≤ 2

siehe Abbildung 1.13

(c) 2 < z ≤ 3

siehe Abbildung 1.14

h_{ξ_{1}+ξ_{2}+ξ_{3}}(z) = \{ \begin{matrix}0 , falls & z ∉ [0, 3] \\ \frac{z^{2}}{2} , falls & 0 ≤ z ≤ 1 \\ 1 − \frac{(z−1)^{2}}{2} − \frac{(2−z)^{2}}{2} , falls & 1 < z ≤ 2 \\ \frac{(3−z)^{2}}{2} , falls & 2 < z ≤ 3 \end{matrix}

siehe Abbildung 1.15

[figure: z; 1; 2; h_{η}; 1; h_{η}; 1; 2; z; z − 1; Der interessante Bereich; z]

Abbildung 1.13: Die Dichte h_{η} für 0 ≤ z ≤ 1 und 1 < z ≤ 2

1.8 Unabhängigkeit von Zufallsgrößen

1.18 Definition (unabhängig) Wir haben mit ξ, η zwei zufällige Variablen auf (Ω, E, P). ξ und η heißen stochastik unabhängig genau dann, wenn für alle A, B ∈ B^{∞} gilt:

\overline{38}

1.8: Unabhängigkeit von Zufallsgrößen

[figure: 3; 2; 1; z-2; z-1; z; 1; h_{η}; Der interessante Bereich]

Abbildung 1.14: Die Dichte h_{η} für f_{1} für 2 < z ≤ 3

[figure: h_{η}; 1; 1; 2; 3]

Abbildung 1.15: Die Gesamtdichte für die Summe ξ_{1} + ξ_{2} + ξ_{3}

1: Wahrscheinlichkeitstheorie 39

1.9: Charakteristika von Verteilungsfunktionen

•  P (ξ ∈ A ∧ η ∈ B) = P (ξ ∈ A, η ∈ B) = P (ξ ∈ A) · P (η ∈ B)
•  P (A ∩ B) = P (A) · P (B)

äquivalent dazu ist

P (ξ ∈ A ∧ η ∈ B) = P ({ω : ξ(ω) ∈ A} ∩ {ω : η(ω) ∈ B})

Haben mit \binom{ξ}{η} einen zufälligen Vektor, dabei sind ξ und η unabhängig.

F (x, y) = P (ξ < x, η < y)
= P (ξ ∈ \underbrace{(−∞, x)}_{A∈B^{∞}} ∧η ∈ \underbrace{(−∞, y)}_{B∈B^{∞}})

= P (ξ ∈ (−∞, x)) · P (η ∈ (−∞, y))
= F_{ξ}(x) · F_{η}(y)
⟺  f(x, y) = f_{ξ}(x) · f_{η}(y)

1.7 Satz Die zufälligen Variablen ξ und η sind unabhängig genau dann, wenn für alle B^{∞}-meßbaren Funktionen φ und ψ gilt: φ(ξ) und ψ(η) sind unabhängig.

Beweis: φ, ψ sind auf R^{∞} definiert und reellwertig.

φ^{−1}(A) = {x : φ(x) ∈ A} ∈ B^{∞} ∀A ∈ B^{∞}
φ^{−1}(B) = {y : ψ(y) ∈ B} ∈ B^{∞} ∀B ∈ B^{∞}
⟺  φ und ψ B^{∞}-meßbar

(→)  ξ, η unabhängig

P (φ(ξ) ∈ A, ψ(η) ∈ B)

= P (ξ ∈ φ^{−1}(A), η ∈ ψ^{−1}(B))

Ω {→^{ξ} R^{∞} →^{φ} R^{∞} \atop →^{η} R^{∞} →^{ψ} R^{∞}}

= P (ξ ∈ φ^{−1}(A)) · P (η ∈ ψ^{−1}(B))
= P (φ(ξ) ∈ A) · P (ψ(η) ∈ B)

(←)  ∀φ, ψ (B^{∞}-meßbar)

φ(ξ), ψ(η) sind unabhängig

⇒ φ(x) ≡ ψ(x) ≡ x

d.h. ξ = f(ξ) und η = ψ(η) sind unabhängig

1.9 Charakteristika von Verteilungsfunktionen

1.9.1 Erwartungswert

1.30 Beispiel (Mittelwert) Wir betrachten einmal den Würfel.

ξ : ( 1 2 3 4 5 6_{\frac{1}{6}  \frac{1}{6}  \frac{1}{6}  \frac{1}{6}  \frac{1}{6}  \frac{1}{6}} )

1.9: Charakteristika von Verteilungsfunktionen

Mittelwert: \frac{1 + 2 + 3 + 4 + 5 + 6}{6} = 1 · \frac{1}{6} + 2 · \frac{1}{6} + ⋯ = 3, 5

Allgemeiner:

Mittelwert: x_{1} · p_{1} + ⋯ + x_{n} · p_{n}

p_{i} = P (ξ = x_{i}); ∑_{i=1}^{k} p_{i} = 1; p_{i} ≥ 0

1.19 Definition (Erwartungswert, diskret) Falls ξ eine diskrete zufällige Variable ist und ∑_{i} |x_{i}|·p_{i} < ∞, so heißt Eξ = ∑_{i} x_{i} ·p_{i} der Erwartungswert

von ξ. 1.31 Beispiel (Binomialverteilt) Wir betrachten B(p, 1):

ξ ∼ B(p, 1)  ξ : ( \begin{matrix}0 & 1 \\ 1 − p & p \end{matrix} )
Eξ = 0 · (1 − p) + 1 · p = p

1.32 Beispiel (Binomialverteilt) Wir betrachten B(p, n):

ξ ∼ B(p, n)  ξ = ∑_{i=0}^{n} ξ_{i}; ξ_{i} ∼ B(p, 1) und unabhängig

ξ : ( \begin{matrix}0 & 1 & … & n \\ p_{0} & p_{1} & … & p_{n} \end{matrix} )

p_{i} = \binom{n}{i}p^{i}(1 − p)^{n−i}
Ist Eξ = n · p?
Eξ = ∑_{i=0}^{n} i · p_{i} = ∑_{i=0}^{n} i\binom{n}{i}p^{i}(1 − p)^{n−i}
= ∑_{i=1}^{n} i\binom{n}{i}p^{i}(1 − p)^{n−i}
= n · p ∑_{i=1}^{n} \binom{n − 1}{i − 1}p^{i−1}(1 − p)^{n−i}

da i\binom{n}{i} = n\binom{n − 1}{i − 1}

= n · p ∑_{i=0}^{n−1} \binom{n − 1}{i}p^{i}(1 − p)^{n−(i+1)}
= n · p \underbrace{∑_{i=0}^{n−1} \binom{n − 1}{i}p^{i}(1 − p)^{(n−1)−i}}_{(p+1−p)^{n−1}=1}
= n · p

1: Wahrscheinlichkeitstheorie 41

1.9: Charakteristika von Verteilungsfunktionen

1.33 Beispiel (Poissonverteilt) Wir betrachten eine Poisson-verteilte zufällige Variable ξ, d.h.

p_{i} = P (ξ = i) = \frac{λ^{i}}{i!} e^{−λ} ≥ 0; ∑_{i} p_{i} = 1

Eξ = ∑_{i=0}^{∞} i \frac{λ^{i}}{i!} e^{−λ} = ∑_{i=0}^{∞} i \frac{λ^{i}}{i!} e^{−λ}
= λ · e^{−λ} ∑_{i=1}^{∞} \frac{λ^{i−1}}{(i − 1)!} = λ e^{−λ} \underbrace{∑_{i=0}^{∞} i \frac{λ^{i}}{i!}}_{e^{λ}}
= λ

Wir realisieren eine Folge ξ_{k} ∼ B(p, 1) und definieren

η = inf_{k}{k : ξ_{k} = 1}

Wie ist hier Eη?

η = ( \begin{matrix}1 & 2 & 3 & … & k & … \\ p & p · q & q^{2}p & … & q^{k−1}p & … \end{matrix} )
P (η = 2) = P (ξ_{1} = 0 ∧ ξ_{2} = 1)
= P (ξ_{1} = 0) · P (ξ_{2} = 1)
= \underbrace{(1 − p)}_{q} ·p
= p · q
P (η = k) = p · q^{k−1}

Geometrische Verteilung

∑_{k=1}^{∞} p · q^{k−1} = p ∑_{k=0}^{∞} q^{k} = \frac{p}{1 − q} = 1

Eη = ∑_{k=1}^{∞} k · pq^{k−1} = p ∑_{k=1}^{∞} k · q^{k−1} = \frac{p}{(1 − q)^{2}}

Beweis:

s_{n} = ∑_{k=1}^{n} kq^{k−1} = \frac{1 − (n + 1)q^{n} + nq^{n+1}}{(1 − q)^{2}}

vollständige Induktion

lim_{n→∞} s_{n} = \frac{1}{(1 − q)^{2}}

\overline{42}

1.20 Definition (Erwartungswert, stetig) Falls f(x) die Dichtefunktion der zufälligen Variablen ξ ist und

∫_{−∞}^{+∞} |x|f(x) dx < ∞ dann heißt

Eξ = ∫_{−∞}^{+∞} xf(x) dx Erwartungswert von ξ.

1.34 Beispiel (Gleichverteilung) Haben ein gleichverteiltes ξ, d.h. ξ ∼ R(0, 1). Daraus folgt für f:

f(x) = \{ \begin{matrix}1 , & falls 0 ≤ x < 1 \\ 0 , & sonst \end{matrix} Die Dichtefunktion ist in Abbildung 1.7 auf Seite 23 abgebildet.

Eξ = ∫_{0}^{1} x dx = \frac{x^{2}}{2} ]_{0}^{1} = \frac{1}{2}

Dieser Wert entspricht voll dem Erwartetem. 1.35 Beispiel (Normalverteilt) Die zufällige Variable ist normalverteilt, d.h. ξ ∼ N(μ, σ), der Kurvenverlauf der Normalverteilung ist in

Abbildung 1.9 auf Seite 25 zu sehen.

f(x) = \frac{1}{\sqrt{2π} σ} e^{− \frac{1}{2} ( \frac{x−μ}{σ})^{2}}
Eξ = ∫_{−∞}^{+∞} \frac{1}{\sqrt{2π} σ} e^{− \frac{1}{2} ( \frac{x−μ}{σ})^{2}} dx

z = \frac{x − μ}{σ}

dx = σ dz x = z · σ + μ

Eξ = ∫_{−∞}^{+∞} \frac{1 · σ}{\sqrt{2π} σ} · (zσ + μ) · e^{− \frac{z^{2}}{2}} dz
= \frac{σ}{\sqrt{2π}} ∫_{−∞}^{+∞} z · e^{− \frac{z^{2}}{2}} dz + \underbrace{\frac{μ}{\sqrt{2π}} ∫_{−∞}^{+∞} e^{− \frac{z^{2}}{2}} dz}_{μ}
= \frac{σ}{\sqrt{2π}} \underbrace{[− e^{− \frac{z^{2}}{2}} ]_{−∞}^{+∞}}_{0} +μ = \underline{\underline{μ}}

1.21 Definition (Modalwert) Der Modalwert ist der Punkt größter Dichte, d.h. max_{x} f(x) 1.36 Beispiel Bei der Normalverteilung ist μ der Modalwert und der Erwartungswert. Zur Veranschaulichung siehe

Abbildung 1.9 auf Seite 25.

1: Wahrscheinlichkeitstheorie 43 1.9: Charakteristika von Verteilungsfunktionen Eigenschaften des Erwartungswertes Nachfolgend sind ξ, ξ_{1}, ξ_{2} zufällige Variablen und a, b, c ∈ R^{∞}.

•  E(c · ξ) = c · Eξ
•  E(ξ_{1} + ξ_{2}) = Eξ_{1} + Eξ_{2}
•  E(aξ_{1} + bξ_{2}) = aEξ_{1} + bEξ_{2}
•  P (ξ = c) = 1 ⇒ Eξ = Ec = c
•  P (ξ ≥ c) = 1 ⇒ Eξ ≥ c

1.37 Beispiel ξ habe die Dichte f(x), d.h.

P (ξ ≥ c) = ∫_{c}^{∞} f(x) dx = 1
P (ξ < c) = ∫_{−∞}^{c} f(x) dx = 0
Eξ = ∫_{c}^{∞} xf(x) dx ≥ c \underbrace{∫_{c}^{∞} f(x) dx}_{1}

1.9.2 Höhere Momente von ξ, Streuung und Varianz

1.22 Definition (Moment) Eξ^{p} heißt p-tes Moment der zufälligen Variablen ξ, falls E|ξ|^{p} existiert.

Eξ^{p} = \{ \begin{matrix}∫_{−∞}^{+∞} x^{p}f(x) dx, falls ξ & stetig \\ ∑_{i} x_{i}^{p}p_{i} , falls ξ & diskret \end{matrix}

1.23 Definition (zentrales Moment) E(ξ − Eξ)^{p} heißt p-tes zentrales Moment von ξ.

E(ξ − Eξ)^{2} heißt auch Streuung bzw. Varianz von ξ: σ_{ξ}^{2}.

1.38 Beispiel (Varianz) ξ ∼ B(p, 1)

⇒ ξ : ( \begin{matrix}0 & 1 \\ 1 − p & p \end{matrix} ); Eξ = p

σ_{ξ}^{2} = p^{2}(1 − p) + (1 − p)^{2} · p
= p^{2} − p^{3} + p − 2p^{2} + p^{3}
= \underline{p(1 − p)}

Es gilt allgemein:

E(ξ − Eξ)^{2} = E(ξ^{2} − 2ξEξ + (Eξ)^{2})
= Eξ^{2} − E(2ξEξ) + E(Eξ)^{2}
= Eξ^{2} − 2Eξ · Eξ + (Eξ)^{2}
= \underline{Eξ^{2} − (Eξ)^{2}}

\overline{44}

1.9: Charakteristika von Verteilungsfunktionen

1.39 Beispiel (Varianz) ξ ∼ P O(λ) — Poisson-verteilt

Eξ = λ
σ_{ξ}^{2} = Eξ^{2} − λ^{2}
Eξ^{2} = ∑_{i=0}^{∞} i^{2} \frac{λ^{i}}{i!} e^{−λ}

ξ^{2} : ( \begin{matrix}0 & 1 & 4 & 9 & … \\ p_{0} & p_{1} & p_{2} & p_{3} & … \end{matrix} )

i^{2} = i(i − 1) + i
Eξ^{2} = ∑_{i=0}^{∞} i(i − 1) \frac{λ^{i}}{i!} e^{−λ} + ∑_{i=0}^{∞} i \frac{λ^{i}}{i!} e^{−λ}
= ∑_{i=2}^{∞} i(i − 1) \frac{λ^{i}}{i!} e^{−λ} +λ
= λ^{2} ∑_{i=2}^{∞} \frac{λ^{i−2}}{(i − 2)!} e^{−λ} +λ
= λ^{2} \underbrace{∑_{i=0}^{∞} \frac{λ^{i}}{i!} e^{−λ}}_{1} +λ
= \underline{λ^{2} + λ}
σ_{ξ^{2}} = Eξ^{2} − (Eξ)^{2} = λ^{2} + λ − λ^{2} = λ

Wir betrachten ein ξ ∼ R(0, 1), d.h.

f(x) = \{ \begin{matrix}1, & falls 0 ≤ x < 1 \\ 0, & sonst \end{matrix} Dann ist:

Eξ = ∫_{0}^{1} x dx = \frac{1}{2}
Eξ^{2} = ∫_{0}^{1} x^{2} dx = \frac{x^{3}}{3} ]_{0}^{1} = \frac{1}{3}
σ_{ξ}^{2} = \frac{1}{3} − (\frac{1}{2})^{2} = \frac{1}{12}

Haben nun ein normalverteiltes ξ, d.h. ξ ∼ N(μ, σ).

Eξ = μ
Eξ^{2} = \frac{1}{\sqrt{2π} σ} ∫_{−∞}^{+∞} x^{2} e^{− \frac{1}{2} ( \frac{x−μ}{σ})^{2}} dx

t = \frac{x − μ}{σ}

x = σt + μ dx = σ dt

Eξ^{2} = \frac{1σ}{\sqrt{2π} σ} ∫_{−∞}^{+∞}(σt + μ)^{2} e^{− \frac{1}{2} t^{2}} dt

1: Wahrscheinlichkeitstheorie 45

= \underbrace{\frac{1σ^{2}}{\sqrt{2π}} ∫_{−∞}^{+∞} t^{2} e^{− \frac{1}{2} t^{2}} dt}_{σ^{2}} + \underbrace{\frac{2σμ}{\sqrt{2π}} ∫_{−∞}^{+∞} t e^{− \frac{t^{2}}{2}} dt}_{0} + \underbrace{\frac{1μ^{2}}{\sqrt{2π}} ∫_{−∞}^{+∞} e^{− \frac{t^{2}}{2}} dt}_{μ^{2}}
= \underline{σ^{2} + μ^{2}}
σ_{ξ}^{2} = Eξ^{2} − (Eξ)^{2} = σ^{2} + μ^{2} − μ^{2} = σ^{2}

Dabei sind σ_{ξ}^{2} = σ^{2} die Streuung oder Varianz und σ_{ξ} = ^{+} \sqrt{σ_{ξ}^{2}} die Standardabweichung. 1.9.2.1 Eigenschaften der Streuung

1.  P (ξ = c) = 1 ⟺ σ_{ξ}^{2} = 0

Beweis:

P (ξ = c) = 1 ⇒ Eξ = c
σ_{ξ}^{2} = E(ξ − c)^{2}
= E(c − c)^{2} = 0
σ_{ξ}^{2} = 0 ⇒ \underbrace{E(ξ − c)^{2}}_{≥0} = 0
⇒ P (ξ − c = 0) = 1
2.  σ_{ξ+b}^{2} = σ_{ξ}^{2}; b ∈ R^{∞}

Beweis:

σ_{ξ+b}^{2} = E(ξ + b − E(ξ + b))^{2} = E(ξ + b − Eξ − Eb)^{2}
= E(ξ + b − Eξ − b)^{2} = E(ξ − Eξ)^{2}
= σ_{ξ}^{2}
3. min_{c∈R^{∞}} E(ξ − c)^{2} = E(ξ − Eξ)^{2} = σ_{ξ}^{2}

min_{c} ∑_{i=1}^{n}(x_{i} − c)^{2} = ∑_{i=1}^{n}(x_{i} − x̄)^{2}, x̄ = \frac{1}{n} ∑_{i=1}^{n} x_{i} (analog)

Beweis:

E(ξ − c)^{2} = E(ξ − Eξ + Eξ − c)^{2}
= \underbrace{E(ξ − Eξ)^{2}}_{σ_{ξ}^{2}} +2E((Eξ − c)(ξ − Eξ))
= σ_{ξ}^{2} + 2(Eξ − c)E(ξ − Eξ) + (Eξ − c)^{2}
E(ξ − Eξ) = Eξ − E(Eξ) = Eξ − Eξ = 0
= σ_{ξ}^{2} + (Eξ − c)^{2} ≥ σ_{ξ}^{2}

4. ξ_{1}, ξ_{2} unabhängig ⇒ σ_{ξ_{1}+ξ_{2}}^{2} = σ_{ξ_{1}}^{2} + σ_{ξ_{2}}^{2} \overline{46}

1.9: Charakteristika von Verteilungsfunktionen

Beweis:

σ_{ξ_{1}+ξ_{2}}^{2} = E((ξ_{1} + ξ_{2}) − E(ξ_{1} + ξ_{2}))^{2}
= E((ξ_{1} − Eξ_{1}) + (ξ_{2} − Eξ_{2}))^{2}
= E((ξ_{1} − Eξ_{1})^{2} + 2(ξ_{1} − Eξ_{1})(ξ_{2} − Eξ_{2}) + (ξ_{2} − Eξ_{2})^{2})
= E(ξ_{1} − Eξ_{1})^{2} + 2E((ξ_{1} − Eξ_{1})(ξ_{2} − Eξ_{2})) + E(ξ_{2} − Eξ_{2})^{2}
= σ_{ξ_{1}}^{2} + \underbrace{2m_{11}}_{0} +σ_{ξ_{2}}^{2}
= σ_{ξ_{1}}^{2} + σ_{ξ_{2}}^{2}

da m_{1}1 = 0 wegen der Unabhängigkeit von ξ_{1} und ξ_{2}, siehe Lemma 1.8

5.  σ_{aξ}^{2} = a^{2} · σ_{ξ}^{2}

1.24 Definition (Kovarianz) Für einen zufälligen Vektor ξ = \binom{ξ_{1}}{ξ_{2}} ist

m_{11} = E((ξ_{1} − Eξ_{1})(ξ − Eξ_{2})) die Kovarianz zwischen ξ_{1} und ξ_{2}.

1.8 Lemma Wenn ξ_{1} und ξ_{2} unabhängig sind, dann gilt: m_{11} = 0.

Beweis: f(x_{1}, x_{2}) sei die Dichte von ξ.

m_{11} = ∫∫_{−∞}^{+∞}(x_{1} − μ_{1})(x_{2} − μ_{2})f(x_{1}, x_{2}) dx_{1} dx_{2}

wobei μ_{i} = Eξ_{i}

ξ_{1}, ξ_{2}  unabhängig ⟺

f(x_{1}, x_{2}) = f_{1}(x_{1}) · f_{2}(x_{2}) f_{i}(x_{i}) — Randdichte von ξ_{i}

m_{11} = ∫_{−∞}^{+∞}(x_{1} − μ_{1})f_{1}(x_{1}) dx_{1} · ∫_{−∞}^{+∞}(x_{2} − μ_{2})f_{2}(x_{2}) dx_{2}
= E(ξ_{1} − Eξ_{1}) · E(ξ_{2} − Eξ_{2})

E(ξ_{i} − Eξ_{i}) = 0

⇒ m_{11} = 0

Man kann sich nun fragen, ob m_{11} = 0 ⇒ ξ_{1}, ξ_{2} unabhängig gilt? Gegenbeispiel:

ξ_{1} ∼ R(0, π)

f(x) = \{ \begin{matrix}\frac{1}{π}, & 0 ≤ x ≤ π \\ 0, & sonst \end{matrix}

1: Wahrscheinlichkeitstheorie 47 1.9: Charakteristika von Verteilungsfunktionen Setzen ξ_{2} = sin ξ_{1}, d.h. ξ_{1}, ξ_{2} sind streng abhängig.

m_{11} = E((ξ_{1} − Eξ_{1})(ξ_{2} − Eξ_{2}))
= E(ξ_{1}ξ_{2} − ξ_{1}Eξ_{2} − ξ_{2}Eξ_{1} + Eξ_{1}Eξ_{2})
= E(ξ_{1}ξ_{2}) − E(ξ_{1}Eξ_{2}) − E(ξ_{2}Eξ_{1}) + Eξ_{1}Eξ_{2}
= E(ξ_{1}ξ_{2}) − Eξ_{1}Eξ_{2}
Eξ_{1} = ∫_{0}^{π} x\frac{1}{π} dx = \frac{1}{π} \frac{π^{2}}{2} = \frac{π}{2}
Eξ_{2} = ∫_{0}^{π} sin x\frac{1}{π} dx = \frac{1}{π} [− cos x]_{0}^{π} = \frac{1}{π} (1 + 1) = \frac{2}{π}
ξ_{2} = g(ξ_{1}) = sin ξ_{1}
Eg(ξ_{1}) = ∫ g(x)f(x) dx
x_{1}x_{2} = x sin x = g(x)
E(ξ_{1}ξ_{2}) = \frac{1}{π} ∫_{0}^{π} x sin x dx
= [−\frac{1}{π} x cos x]_{0}^{π} + \underbrace{\frac{1}{π} ∫_{0}^{π} cos x dx}_{0}
= −\frac{1}{π} (−π) = 1
m_{11} = E(ξ_{1}ξ_{2}) − \underbrace{\frac{π}{2} \frac{2}{π}}_{1} = 0

1.9.3 Korrelation

1.25 Definition (Korrelationskoeffizient) Wenn ξ_{1}, ξ_{2} zufällige Variablen sind, heißt

ϱ(ξ_{1}, ξ_{2}) = \frac{m_{11}}{σ_{ξ_{1}}σ_{ξ_{2}}}

Korrelationskoeffizient zwischen ξ_{1} und ξ_{2}. 0 < σ_{ξ_{1}}, σ_{ξ_{2}} < ∞

ξ_{1}, ξ_{2} unabhängig ⇒ ϱ(ξ_{1}, ξ_{2}) = 0. Die Umkehrung gilt im allgemeinen nicht.

1.9 Satz Für zufällige Variablen ξ_{1} und ξ_{2} gilt:

−1 ≤ ϱ(ξ_{1}, ξ_{2}) ≤ 1 Beweis: Definieren hierzu eine Funktion A:

A(t, u) := E[\underbrace{t(ξ_{1} − Eξ_{1}) + u(ξ_{2} − Eξ_{2})}_{≥0}]^{2} ≥ 0

\overline{48}

A(t, u) = E(t^{2}(ξ_{1} − Eξ_{1})^{2} + 2tu(ξ_{1} − Eξ_{1}) · (ξ_{2} − Eξ_{2}) + u^{2}(ξ_{2} − Eξ_{2})^{2})
= t^{2}σ_{ξ_{1}}^{2} + 2tum_{11} + u^{2}σ_{ξ_{2}}^{2} ≥ 0  ∀t, u ∈ R^{∞}
\frac{A(σ_{ξ_{2}}, σ_{ξ_{1}})}{σ_{ξ_{1}}σ_{ξ_{2}}} = \frac{σ_{ξ_{2}}^{2} · σ_{ξ_{1}}^{2} + 2σ_{ξ_{1}}σ_{ξ_{2}}m_{11} + σ_{ξ_{1}}^{2}σ_{ξ_{2}}^{2}}{σ_{ξ_{1}}σ_{ξ_{2}}}
= σ_{ξ_{1}}σξ_{2} + 2m_{11} + σ_{ξ_{1}}σ_{ξ_{2}}
⇒ σ_{ξ_{1}}σ_{ξ_{2}} + m_{11} ≥ 0
\frac{A(−σ_{ξ_{2}}, σ_{ξ_{1}})}{σ_{ξ_{1}}σ_{ξ_{2}}} ≥ 0
⇒ σ_{ξ_{1}}σ_{ξ_{2}} − m_{11} ≥ 0
⇒ −σ_{ξ_{1}}σ_{ξ_{2}} ≤ m_{11} ≤ σ_{ξ_{1}}σ_{ξ_{2}}
⇒ −1 ≤ \underbrace{\frac{m_{11}}{σ_{ξ_{1}}σ_{ξ_{2}}}}_{ϱ(ξ_{1},ξ_{2})} ≤ +1

1.10 Satz Es gilt:

|ϱ(ξ_{1}, ξ_{2})| = 1 ⟺ P (ξ_{1} = aξ_{2} + b) = 1 a, b ∈ R^{∞}

Beweis: (⇒)P (ξ_{1} = aξ_{2} + b) = 1 Es gelten für Eξ_{1} und σ_{ξ_{1}}:

Eξ_{1} = E(aξ_{2} + b) = aEξ_{2} + b

σ_{ξ_{1}}^{2} = σ_{aξ_{2}+b}^{2} = σ_{aξ_{2}}^{2} = a^{2}σ_{ξ_{2}}^{2}

ϱ(ξ_{1}, ξ_{2}) = \frac{m_{11}}{σ_{ξ_{1}}σ_{ξ_{2}}} = \frac{E((ξ_{1} − Eξ_{1})(ξ_{2} − Eξ_{2}))}{aσ_{ξ_{2}} · σ_{ξ_{2}}}
= \frac{E(((aξ_{2} + b) − (aEξ_{2} + b))(ξ_{2} − Eξ_{2})}{|a| · σ_{ξ_{2}}^{2}}
= \frac{E(a(ξ_{2} − Eξ_{2})(ξ_{2} − Eξ_{2}))}{|a|σ_{ξ_{2}}^{2}}
= \frac{a · σ_{ξ_{2}}^{2}}{|a|σ_{ξ_{2}}^{2}} = \underline{sgn(a)}, d.h. |σ| = 1

(⟵)ϱ^{2}(ξ_{1}, ξ_{2}) = 1

ϱ(ξ_{1}, ξ_{2}) = \frac{E(ξ_{1} − Eξ_{1})(ξ_{2} − Eξ_{2})}{σ_{ξ_{1}}σ_{ξ_{2}}}
= E( \underbrace{\frac{ξ_{1} − Eξ_{1}}{σ_{ξ_{1}}}}_{ξ_{1}^{∗}} \underbrace{\frac{ξ_{2} − Eξ_{2}}{σ_{ξ_{2}}}}_{ξ_{2}^{∗}} )

σ_{ξ_{i}^{∗}}^{2} = σ ( \frac{ξ − Eξ_{i}}{σ_{ξ_{i}}} )
= \frac{1}{σ_{ξ_{i}}^{2}} σ_{(ξ_{i}−Eξ_{i})}^{2}
= \frac{1}{σ_{ξ_{i}}^{2}} σ_{ξ_{i}}^{2} = 1

1.10: Einfache Lineare Regression

E ( \frac{1}{σ_{ξ_{i}}} (ξ_{i} − Eξ_{i})) = \frac{1}{σ_{ξ_{i}}} (Eξ_{i} − E(Eξ_{i}))
= \frac{1}{σ_{ξ_{i}}} (Eξ_{1} − Eξ_{i}) = 0

Eξ_{i}^{∗} = 0; σ_{ξ_{i}^{∗}} = 1 — solche Zufallsgrößen heißen standardisiert

ϱ(ξ_{1}, ξ_{2}) = E(ξ_{1}^{∗}ξ_{2}^{∗})

1. ϱ(ξ_{1}, ξ_{2}) = 1

σ_{ξ_{1}^{∗}−ξ_{2}^{∗}}^{2} = E((ξ_{1}^{∗} − ξ_{2}^{∗}) − \underbrace{E(ξ_{1}^{∗} − ξ_{2}^{∗})}_{0})^{2}
= E(ξ_{1}^{∗} − ξ_{2}^{∗})^{2}
= Eξ_{1}^{∗}^{2} − 2Eξ_{1}^{∗}ξ_{2}^{∗} + Eξ_{2}^{∗}^{2}
Eξ_{i}^{∗}^{2} = E(ξ_{i}^{∗} − Eξ_{i}^{∗})^{2}
= σ_{i^{∗}}^{2} = 1
⇒
σ_{ξ_{1}^{∗}−ξ_{2}^{∗}}^{2} = 2 − 2ϱ(ξ_{1}, ξ_{2}) = 0

σ_{ξ_{1}^{∗}−ξ_{2}^{∗}}^{2} = 0 ⟺ P (ξ_{1}^{∗} − ξ_{2}^{∗} = const) = 1 Da Eξ_{1}^{∗} = Eξ_{2}^{∗} ⇒ const = 0 ⇒ P (ξ_{1}^{∗} = ξ_{2}^{∗}) = 1.

P (ξ_{1}^{∗} = ξ_{2}^{∗}) = P ( \frac{ξ_{1} − Eξ_{1}}{σ_{ξ_{1}}} = \frac{ξ_{2} − Eξ_{2}}{σ_{ξ_{2}}} )
= P (ξ_{1} = \frac{σ_{ξ_{1}}ξ_{2} − σ_{ξ_{1}}Eξ_{2}}{σ_{ξ_{2}}} + Eξ_{1})
= P (ξ_{1} = \underbrace{\frac{σ_{ξ_{1}}}{σξ_{2}}}_{a>0} ξ_{2} − \underbrace{\frac{σ_{ξ_{1}}}{σ_{ξ_{2}}} Eξ_{2} + Eξ_{1}}_{−b} )
= \underline{1}

2. ϱ(ξ_{1}, ξ_{2}) = −1 ⇒ σ_{ξ_{1}^{∗}+ξ_{2}^{∗}} = 0 ⇒ P (ξ_{1} = aξ_{2} + b) = 1, a < 0

ansonsten wie oben zu beweisen.

1.10 Einfache Lineare Regression

Es sei

V (a, b) = E(ξ_{1} − (aξ_{2} + b))^{2} Gesucht sind a^{∗}, b^{∗}, so daß

min_{a,b} V (a, b) = V (a^{∗}, b^{∗}).

a^{∗} - heißt Regressionskoeffizient von ξ_{2} bzgl. ξ_{1}
b^{∗} - heißt Regressionskonstante

1.10: Einfache Lineare Regression

\overline{50} Bestimmung von a^{∗}, b^{∗}:

\frac{∂V}{∂a} = 0 \frac{∂V}{∂b} = 0

\frac{∂V}{∂a} = 2E((ξ_{1} − aξ_{2} − b)ξ_{2}) = 0
\frac{∂V}{∂b} = 2E(ξ_{1} − aξ_{2} − b) = 0
= Eξ_{1} − a^{∗}Eξ_{2} − b^{∗} = 0

b^{∗} = Eξ_{1} − a^{∗}Eξ_{2}

E((ξ_{1} − a^{∗}ξ_{2} − b^{∗})ξ_{2}) = 0

E(ξ_{1}, ξ_{2}) − a^{∗}Eξ_{2}^{2} − b^{∗}Eξ_{2}

= E(ξ_{1}, ξ_{2}) − a^{∗}Eξ_{2}^{2} − (Eξ_{1} − a^{∗}Eξ_{2})Eξ_{2}
= E(ξ_{1}, ξ_{2}) − Eξ_{1}Eξ_{2} − a^{∗}(Eξ_{2}^{2} − (Eξ_{2})^{2})
= m_{11} − a^{∗}σ_{ξ_{2}}^{2} = 0

a^{∗} = \frac{m_{11}}{σ_{ξ_{2}}^{2}} = \frac{m_{11}}{σ_{ξ_{1}}σ_{ξ_{2}}} \frac{σ_{ξ_{1}}}{σ_{ξ_{2}}} = \underline{ϱ\frac{σ_{ξ_{1}}}{σ_{ξ_{2}}}}

1.10.1 Anwendung in der Statistik — Methode der kleinsten Quadrate

Gegeben ist eine Punktmenge (x_{i}, y_{i}). Hierzu ist eine Gerade y = ax + b gesucht, die

∑_{i=1}^{n}(y_{i} − ax_{i} − b)^{2}

minimiert. (x_{i}, y_{i}) können wir als Beobachtungen zweier zufälliger Variablen ξ und η auffassen, wobei wir in Übereinstimmung mit der Bestimmung von a^{∗}, b^{∗} vereinbaren: η = ξ_{1}; ξ := ξ_{2}.. Lineare Regression

â_{0} = \frac{\frac{1}{n} ∑_{i=1}^{n}(x_{i} − x̄)(y_{i} − ȳ)}{\frac{1}{n} ∑_{i=1}^{n}(x_{i} − x̄)^{2}}
b̂_{0} = ȳ − â_{0}x̄
x̄ = \frac{1}{n} ∑_{i=1}^{n} x_{i} (≈ Eξ)  ȳ = \frac{1}{n} ∑_{i=1}^{n} y_{i} (≈ Eη)
ϱ(ξ, η) = \frac{cov(ξ, η)}{σ_{ξ}σ_{η}} ≈ r = \frac{∑_{i=1}^{n}(x_{i} − x̄)(y_{i} − ȳ)}{\sqrt{∑_{i=1}^{n}(x_{i} − x̄)^{2} ∑_{i=1}^{n}(y_{i} − ȳ)}}

1.11: Ungleichungen

[figure]

Abbildung 1.16: Darstellung der Punktmenge und durchgehende Gerade

Multiple Lineare Regression

min ∑_{i=1}^{p} (y_{i} − a_{0} − ∑_{j=1}^{n} a_{j}x_{ij})^{2}

x_{ij} = x_{i}^{j}

min ∑_{i=1}^{p} (y_{i} − a_{0} − ∑_{j=1}^{n} a_{j}x_{i}^{j})^{2}

Polynomialregression als Spezialfall der multiplen Regression

Spezialfall einer nichtlinearen Regression:

f(x) = (ln(ax + b))^{c}
∑_{i=1}^{n}(y_{i} − f(x_{i}))^{2} = ∑_{i=1}^{n}(y_{i} − (ln(ax_{i} + b))^{c})^{2}

ist zu minimieren über a, b und c

Hierbei muß im Gegensatz zur linearen Regression ein nichtlinerares Gleichungssystem zur Bestimmung von a, b, c gelöst werden.

1.11 Ungleichungen

1.11.1 Ungleichung von Jensen

1.11 Satz Wenn g eine konvexe Funktion ist (g′′(x) > 0) und ξ eine zufällige Variable, dann gilt:

Eg(ξ) ≥ g(Eξ)

\overline{52}

[figure: g(x); x; y_{0}]

Abbildung 1.17: Verdeutlichung der Ungleichung von Jensen

Beweis:

g(x) ≥ g(y_{0}) + (x − y_{0})m_{y_{0}}  m_{y_{0}} = g′(y_{0})
y_{0} = Eξ, x = ξ
g(ξ) ≥ g(Eξ) + (ξ − Eξ)m_{Eξ}
Eg(ξ) ≥ E(g(Eξ) + (ξ − Eξ)m_{Eξ}) = g(Eξ) + m_{Eξ}E(ξ − Eξ)
= g(Eξ) + m_{Eξ} \underbrace{(Eξ − E(Eξ))}_{0}

1.40 Beispiel

1. g(x) = x^{2}

Eξ^{2} ≥ (Eξ)^{2} σ_{ξ}^{2} = E(ξ − Eξ)^{2} = Eξ^{2} − (Eξ)^{2} ≥ 0

2.  g(x) = |x|

E|ξ| ≥ |Eξ|

3.  g(x) = ln x — eine konkave Funktion

E(ln ξ) ≤ ln(Eξ)

1.11.2 Markoff’sche Ungleichung

1.12 Satz Es gilt:

P (|ξ| > c) ≤ \frac{E|ξ|}{c} c > 0

Beweis:

ξ : (Ω, E, P) → (R^{∞}, B^{∞}, P_{ξ})
P_{ξ}(B) = P (ξ^{−1}(B)) ∀B ∈ B^{∞}
η(ω) = cI_{\{ω_{i}:|ξ(ω)|>c\}} = \{ \begin{matrix}c, falls |ξ(ω)| > c \\ 0 sonst \end{matrix}
0 ≤ η(ω) ≤ |ξ(ω)|

1: Wahrscheinlichkeitstheorie 53 1.11: Ungleichungen

⇒ Eη ≤ E|ξ|
η : ( \begin{matrix}0 & c \\ \underbrace{P (|ξ| ≤ c)}_{p_{0}} & \underbrace{P (|ξ| > c)}_{p_{1}} \end{matrix} )
P (η = 0) = p_{0}, P (η = c) = p_{1}
Eη = 0 · p_{0} + c · p_{1}
= c · P (|ξ| > 0) ≤ E|ξ|

P (|ξ| > c) ≤ \frac{E|ξ|}{c}

1.11.3 Tschebyscheff’sche Ungleichung

Ersetzen ξ durch (ξ − Eξ)^{2i}, i = 1, 2, 3, … Ersetzen c durch ε^{2i}; ε > 0

P ((ξ − Eξ)^{2i} > ε^{2i}) ≤ \frac{E(ξ − Eξ)^{2i}}{ε^{2i}}

⟺ P (|ξ − Eξ| > ε) ≤ \frac{E(ξ − Eξ)^{2i}}{ε^{2i}}

i = 1

P (|ξ − Eξ| > ε) ≤ \frac{σ_{ξ}^{2}}{ε^{2}} , 0 < σ_{ξ}^{2} < ∞

1.13 Satz (Das schwache Gesetz der großen Zahlen) Es seien ξ_{1}, ξ_{2}, …, ξ_{n} unabhängige zufällige Variable mit Eξ_{i} = μ und varξ_{i} = σ^{2}.

ξ̄ = \frac{1}{n} ∑_{i=1}^{n} ξ_{i}

Dann gilt:

lim_{n→∞} P (|ξ̄− μ| > ε) = 0 ∀ε > 0

Beweis: Unter Verwendung der Tschebyscheff’schen Ungleichung:

P (|ξ − Eξ| > ε) ≤ \frac{σ_{ξ}^{2}}{ε^{2}}

Eξ̄ = E ( \frac{1}{n} ∑_{i=1}^{n} ξ_{i}) = \frac{1}{n} ∑_{i=1}^{n} Eξ_{i}
= \frac{1}{n} ∑_{i=1}^{n} μ = \underline{μ}
σξ̄^{2} = E(ξ̄− Eξ̄)^{2} = E(ξ̄− μ)^{2}
= var ( \frac{1}{n} ∑_{i=1}^{n} ξ_{i}) = ( \frac{1}{n})^{2} · var (∑_{i=1}^{n} ξ_{i})

\overline{54}

= \frac{1}{n^{2}} ∑_{i=1}^{n} var(ξ_{i}), da ξ_{i} unabhängig

= \frac{1}{n^{2}} nσ^{2} = \frac{σ^{2}}{n}

P (|ξ̄− μ| > ϵ) ≤ \frac{σξ̄^{2}}{ε^{2}} = \frac{σ^{2}}{nε^{2}} ⇒^{n→∞} 0

Die Vorraussetzung: ”ξ_{1}, …, ξ_{n} unabhängig“ kann zu ”ξ_{1}, …, ξ_{n} unkorrelliert“ abgeschwächt werden.

unkorrelliert: cov(ξ_{i}, ξ_{j}) = 0 i ≠ j

1.41 Beispiel Ereignis A, p = P (A) ist unbekannt. Zur Schätzung von P (A) führen wir eine Reihe von unabhängigen Experimenten durch. Es tritt entweder A oder Ā ein.

n – Anzahl der Experimente
n(A) – Häufigkeit des Auftretens von A
p̂_{n} = \frac{n(A)}{n} – relative Häufigkeit von A bei n Versuchen

Frage: p̂_{n} → p

Definieren ξ_{i} = \{ \begin{matrix}1, & falls A im i-ten Experiment eintritt \\ 0, & falls A im i-ten Experiment nicht eintritt \end{matrix}

⇒ ξ_{i} ∼ B(1, p); P (ξ_{i} = 1) = p, P (ξ_{i} = 0) = 1 − p
V arξ_{i} = p(1 − p)
Eξ_{i} = p
ξ̄_{n} = \frac{1}{n} ∑_{i=1}^{n} ξ_{i} = \frac{1}{n} n(A) = p̂_{n}
lim_{n→∞} P (|p̂_{n} − p| > ε) = 0  ∀ε > 0
P (|p̂_{n} − p| > ε) ≤ \frac{p(1 − p)}{nε^{2}} ≤ \frac{1}{4nε^{2}}
da p(1 − p) ≤ \frac{1}{4} , siehe Abbildung 1.18

1.42 Beispiel 1. Wir haben ξ_{1}, …, ξ_{n}, die unkorreliert sind. Die Verteilungsfunktion F (x) mit

F (x) = P (ξ_{i} < x) ∀i = 1, 2, …, n ∀x ∈ R

soll durch

F_{n}(x) := \frac{#\{ξ_{i} : ξ_{i} < x\}}{n}

approximiert werden. F_{n}(x) ist die empirische Verteilungsfunktion. ξ_{(1)} sei der kleinste Wert der ξ_{i}, ξ_{(2)} ≥ ξ_{(1)} der zweitkleinste Wert usw., d.h. ξ_{(1)} ≤ ξ_{(2)} ≤ … ≤ ξ_{(n)} Es gilt:

lim_{n→∞} P (|F_{n}(x) − F (x)| > ε) = 0 ∀ε > 0

1.12: Grenzwerte

[figure: p(1 − p); 1; \frac{1}{2}; \frac{1}{2}; \frac{1}{4}; p]

Abbildung 1.18: Veranschaulichung von p(1-p)

[figure: \frac{1}{2}; \frac{1}{4}; \frac{3}{4}; 1; ξ_{(1)}; ξ_{(2)}; ξ_{(3)}; ξ_{(4)}; x]

Abbildung 1.19: Vergleich von F_{n}(x) und F (x) für n = 4

2. ξ_{1}, …, ξ_{n} sind unabhängig

F (x) = P (ξ_{i} < x) ⇒ P ( lim_{n→∞} F_{n}(x) = F (x)) = 1

3. weitere Verschärfung, auch mit ξ_{1}, …, ξ_{n} sind unabhängig

P ( lim_{n→∞} sup_{x} |F_{n}(x) − F (x)| = 0) = 1

Dies ist der Satz von Glivenko-Cantelli, auch genannt Hauptsatz der Stochastik

1.12 Grenzwerte

1.26 Definition (stochastische Konvergenz) Eine Folge {ξ_{n}} zufälliger Variablen konvergiert stochastisch gegen eine zufällige Variable ξ_{0}, falls

lim_{n→∞} P (|ξ_{n} − ξ_{0}| > ε) = 0 ∀ε > 0

Dies wird symbolisch mit

p-lim ξ_{n} = ξ_{0}

bezeichnet.

\overline{56}

1.12: Grenzwerte

Das Schwache Gesetz der großen Zahlen {ξ_{n}} ist eine Folge zufälliger Variablen mit

cov(ξ_{i}, ξ_{j}) = δ_{ij} · σ^{2} = \{ \begin{matrix}σ^{2}, & falls i = j \\ 0 , & sonst \end{matrix}

Eξ_{i} = μ ⇒ p-lim ξ̄_{n} = μ

1.27 Definition (fast sichere Konvergenz) Eine Folge {ξ_{n}} heißt fast sicher konvergent gegen ξ_{0}, falls

P ({ω : lim_{n→∞} ξ_{n}(ω) = ξ_{0}(ω)}) = 1

Dies wird symbolisch mit

lim ξ_{n} = ξ_{0} f.s. bezeichnet (für f.s. – fast sicher kann auch a.e. – almost everywhere stehen).

1.43 Beispiel Wir konstruieren eine Folge mit p-lim ξ_{n} = 0 aber P (ω : lim ξ_{n} = 0) = 0.

Ω = [0, 1]
E = [0, 1] ∩ B^{∞}
0 ≤ P (A) = ∫_{A} 1 dx ≤ 1  A ⊆ [0, 1]
A_{n} ∈ E
A_{n} = [k · 2^{−h}, (k + 1) · 2^{−h}]  h, k ∈ Z^{+} ∪ {0}

n = 2^{h} + k 0 ≤ k < 2^{h}

ξ_{n}(ω) = \{ \begin{matrix}1, & falls ω ∈ A_{n} \\ 0, & sonst \end{matrix}
p-lim ξ_{n} = 0
⇔ lim_{n→∞} P (|ξ_{n} − 0| > ε) = 0 ∀0 < ε ≤ 1
⇔ lim_{n→∞} P (|ξ_{n}| > ε) = 0
P (|ξ_{n}| > ε) = P (|ξ_{n}| = 1) = P (A_{n}) = 2^{−h} < \frac{2}{n} ⇒^{n→∞} 0

d.h. p-lim ξ_{n} = 0 n < 2^{h} + 2^{h} = 2 · 2^{h}

2^{h} > \frac{n}{2}

2^{−h} < \frac{2}{n}

\begin{matrix}1= & 2^{0} + 0→ & h = k = 0 , & A_{1} = [0, 1] \\ 2= & 2^{1} + 0→ & h = 1, k = 0, & A_{2} = [0, \frac{1}{2} ] \\ 3= & 2^{1} + 1→ & h = k = 1 , & A_{3} = [ \frac{1}{2} , 1] \\ 4= & 2^{2} + 0→ & h = 2, k = 0, & A_{4} = [0, \frac{1}{4} ] \\ 5= & 2^{2} + 1→ & h = 2, k = 1, & A_{5} = [ \frac{1}{4} , \frac{1}{2} ] \\ 6= & 2^{2} + 2→ & h = k = 2 , & A_{6} = [ \frac{1}{2} , \frac{3}{4} ] \\ 7= & 2^{2} + 3→ & h = 2, k = 3, & A_{7} = [ \frac{3}{4} , 1] \\ 8= & 2^{3} + 0→ & h = 3, k = 0, & A_{8} = [0, \frac{1}{8} ] \end{matrix}

Der Grenzwert lim_{n→∞} A_{n} existiert nicht, ξ_{n} konvergiert nirgends.

1: Wahrscheinlichkeitstheorie 57

1.12: Grenzwerte

1.14 Satz Wir haben ξ_{0} = p-lim ξ_{n} und η_{0} = p-lim ξ_{n}. Daraus folgt:

P (ξ_{0} = η_{0}) = 1 Beweis: Wir nehmen ein ε > 0 beliebig. P (ω : |ξ_{0}(ω) − η_{0}(ω)| > ε)

= P (ω : |ξ_{0}(ω) − ξ_{n}(ω) + ξ_{n}(ω) − η_{0}(ω)| > ε)
≤ P (ω : \underbrace{|ξ_{0} − ξ_{n}|}_{a} + \underbrace{|ξ_{n} − η_{0}|}_{b} > ε)

siehe Abbildung 1.20

≤ P (\{ω : |ξ_{n} − ξ_{0}| > \frac{ε}{2} \} ∪ \{ω|ξ_{n} − η_{0}| > \frac{ε}{2} \})
≤ P (ω : |ξ_{n} − ξ_{0}| > \frac{ε}{2} ) + P (ω : |ξ_{n} − η_{0}| > \frac{ε}{2} ) ⟶^{n→∞} 0
⇒ \underline{P (ω : ξ_{0}(ω) = η_{0}(ω)) = 1}

[figure: ε; ε; ^{ε}/_{2}; a > \frac{ε}{2}; b > \frac{ε}{2}; a + b > \frac{ε}{2}; a; b]

Abbildung 1.20: Geometrischer Beweis für \{a + b > ε\} ⊂ \{a > \frac{ε}{2}\} ∪ \{b > \frac{ε}{2}\}

1.44 Beispiel (Fast sichere Konvergenz) {A_{n}} ist eine Folge von Ereignissen, wir definieren

lim_{n→∞} sup A_{n} := lim_{n→∞} ( \underbrace{⋃_{k=n}^{∞} A_{k}}_{B_{n}} ) = ⋂_{n=1}^{∞} ( ⋃_{k=n}^{∞} A_{k})

B_{n+1} ⊆ B_{n}, B_{n} ↓

1.15 Lemma (von Borel-Cantelli) {A_{n}} ist eine Folge von Ereignissen aus einem Wahrscheinlichkeitsraum (Ω, E, P). Dann gilt:

∑_{n=1}^{∞} P (A_{n}) < ∞ ⇒ P ( lim_{n→∞} sup A_{n}) = 0

\overline{58}

1.12: Grenzwerte

Beweis:

P ( ⋃_{k=n}^{∞} A_{k}) ≤ ∑_{k=n}^{∞} P (A_{n}) ⟶^{n→∞} 0
( ∑_{k=1}^{∞} a_{n} < ∞ ⇒ ∑_{k=n}^{∞} a_{n} < ε; sofern n hinreichend groß)
P ( lim_{n→∞} sup A_{n}) = P ( lim_{n→∞} ⋃_{k=n}^{∞} A_{k}) = lim_{n→∞} P ( ⋃_{k=n}^{∞} A_{k}) = 0

1.12.1 Übersicht über die Konvergenzen

Es gilt

lim_{n→∞} ξ(ω) = ξ(ω) f.s.

⟺ P ({ω : lim_{n→∞} ξ_{n}(ω) = ξ_{0}(ω)}) = 1

fast sichere Konvergenz

⟺ P ( ⋂_{k=n}^{∞}{ω : |ξ_{k}(ω) − ξ_{0}(ω)| < ε}) ⟶^{n→∞} 1

(Konvergenz (modifiziert) der Analysis, Cauchy-Kriterium)

⟺ P ( ⋃_{k=n}^{∞}{ω : |ξ_{k}(ω) − ξ_{0}(ω)| ≥ ε}) ⟶^{n→∞} 0

Morgansche Gesetze

⟺ P ( lim_{n→∞} sup B_{n}) = lim_{n→∞} P (B_{n}) = 0, wobei

B_{n} = ⋃_{k=n}^{∞}{ω : |ξ_{k}(ω) − ξ_{0}(ω)| ≥ ε} ↓

1.16 Satz Wenn lim_{n→∞} ξ_{n} = ξ_{0} f.s., so gilt auch

p- lim_{n→∞} ξ_{n} = ξ_{0}

Beweis:

0 ≤ lim_{n→∞} P ({ω : |ξ_{n}(ω) − ξ_{0}(ω)| > ε})
≤ lim_{n→∞} P ( ⋃_{k=n}^{∞}{ω : |ξ_{k}(ω) − ξ_{0}(ω)| > ε}) = 0
da lim ξ_{n} = ξ_{0} f.s.

1.12.2 Verteilungskonvergenz

1.28 Definition (Verteilungskonvergenz) {ξ_{n}} ist eine Folge von zufälligen Variablen, ξ_{0} ist eine zufällige Variable mit P (ξ_{0} < x) = F (x). ξ_{n} konvergiert der Verteilung nach gegen ξ_{0}, wenn

lim_{n→∞} P (ξ_{n} < x) = F (x), für alle x, in denen F (x) stetig ist symbolisch: ξ_{n} ⟶^{D} ξ_{0} (D-Distribution)

1: Wahrscheinlichkeitstheorie 59 1.12: Grenzwerte Es gilt:

lim_{n→∞} ξ_{n} = ξ_{0} f.s. ⇒ p- lim ξ_{n} = ξ_{0} ⇒ ξ_{n} ⟶^{D} ξ_{0}

Da die Verteilungskonvergenz in dieser Kette die schwächste ist, heißt sie auch schwache Konvergenz.

1.17 Satz (Der zentrale Grenzwertsatz) ξ_{1}, …, ξ_{n}, … sind unabhängige Variablen mit:

P (ξ_{i} < x) = F (x)

(d.h. insbesondere: Eξ_{i} = μ, varξ_{i} = σ^{2})
mit z_{n} := ∑_{i=1}^{n} ξ_{i} und z̄_{n} = \frac{z_{n}}{n} = ξ̄_{n} gilt:

lim_{n→∞} P ( \frac{z_{n} − nμ}{\sqrt{n} σ} < x) = Φ(x) = \frac{1}{\sqrt{2π}} ∫_{−∞}^{x} e^{− \frac{t^{2}}{2}} dt

Eine äquivalente Formulierung für diesen Satz ist:

\begin{matrix}η_{n} := \frac{z_{n} − nμ}{\sqrt{n} σ}, ξ_{0} ∼ N(0, 1) \\ η_{n} ⟶^{D} ξ_{0} \end{matrix}  \begin{aligned}\frac{z_{n} − nμ}{\sqrt{n} σ} & = & \frac{n(z̄_{n} − μ)}{\sqrt{n} σ} \\ & = & \sqrt{n} \frac{z̄_{n} − μ}{σ} ⟶^{D} ξ_{0} ∼ N(0, 1) \end{aligned}

1.18 Satz (von Berry-Esséen) Es gilt:

|P ( \frac{z_{n} − nμ}{\sqrt{n} σ} ) − Φ(x)| < K, mit K = \frac{0, 8 · M}{σ^{3}\sqrt{n}}

0 < M < ∞ muß jeweils konkret bestimmt werden:

M = E|ξ_{i} − μ|^{3}

1.45 Beispiel (gleichverteilt) Wir haben über [0, 1) gleichverteilte ξ_{i}, d.h. ξ_{i} ∼ R(0, 1).

μ = Eξ_{i} = ∫_{0}^{1} x dx = \frac{1}{2}
σ^{2} = Eξ_{i}^{2} − μ^{2} = ∫_{0}^{1} x^{2} dx − \frac{1}{4} = \frac{1}{3} − \frac{1}{4} = − \frac{1}{12}
M = ∫_{0}^{1} |x − \frac{1}{2} |^{3} dx = 2 ∫ 1_{\frac{1}{2}}(x − \frac{1}{2} )^{3} dx = \frac{1}{32}

Berry-Esséen-Schranke

n K
12 0,3
100 0,104
1000 0,033

\overline{60}

1.12: Grenzwerte

1.46 Beispiel (binomialverteilt) Wir haben binomialverteilte ξ_{i} ∼ B(1, p).

z_{n} = ∑_{i=1}^{n} ξ_{i} ∼ B(n, p)
Eξ_{i} = μ = p
σ^{2} = p(1 − p)

Wenden nun auf z_{n} den Grenzwertsatz an:

P ( \frac{z_{n} − np}{\sqrt{np(1 − p)}} < x) ≈ Φ(x) = \frac{1}{\sqrt{2π}} ∫_{−∞}^{x} e^{− \frac{t^{2}}{2}} dt
P (z_{n} < x) = ∑_{i<x} \binom{n}{i}p^{2}(1 − p)^{n−i}
= P ( \frac{z_{n} − np}{\sqrt{np(1 − p)}} < \frac{x − np}{\sqrt{np(1 − p)}} ) ≈ Φ ( \frac{x − np}{\sqrt{np(1 − p)}} )

Der Satz von De Moivre-Laplace sagt aus, daß für große n die Binomialverteilung durch die (einfachere) Normalverteilung ersetzt werden kann.

1.12: Grenzwerte \overline{98}