Bernoulli-Verteilung

In der Wahrscheinlichkeitstheorie und Statistik ist die Bernoulli-Verteilung , benannt nach dem Schweizer Mathematiker Jacob Bernoulli ^{[ 1 ]} , die diskrete Wahrscheinlichkeitsverteilung einer Zufallsvariablen , die mit Wahrscheinlichkeit p den Wert 1 und mit Wahrscheinlichkeit p den Wert 0 annimmt . Vereinfacht ausgedrückt, kann sie als Modell für die Menge aller möglichen Ergebnisse eines Experiments mit einer Ja/Nein-Frage verstanden werden . Solche Fragen führen zu Ergebnissen mit booleschen Werten: einem einzelnen Bit , dessen Wert mit Wahrscheinlichkeit p Erfolg/ Ja / Wahr / Eins und mit Wahrscheinlichkeit q Misserfolg/Nein/ Falsch / Null ist . Sie kann verwendet werden, um einen (möglicherweise manipulierten) Münzwurf darzustellen , wobei 1 und 0 für „Kopf“ bzw. „Zahl“ stehen und p die Wahrscheinlichkeit für Kopf (oder umgekehrt, wobei 1 für Zahl und p die Wahrscheinlichkeit für Zahl) angibt. Insbesondere unfaire Münzen hätten${\displaystyle p}$${\displaystyle q=1-p}$${\displaystyle p\neq 1/2.}$

Die Bernoulli-Verteilung ist ein Spezialfall der Binomialverteilung, bei dem nur ein einziger Versuch durchgeführt wird ( n wäre also 1 für eine solche Binomialverteilung). Sie ist auch ein Spezialfall der Zwei-Punkt-Verteilung , bei der die möglichen Ergebnisse nicht 0 und 1 sein müssen. ^{[ 2 ]}

Wenn es sich um eine Zufallsvariable mit Bernoulli-Verteilung handelt, dann gilt: ${\displaystyle X}$

$${\displaystyle {\begin{aligned}\Pr(X{=}1)&=p,\\\Pr(X{=}0)&=q=1-p.\end{aligned}}}$$

Die Wahrscheinlichkeitsfunktion dieser Verteilung über alle möglichen Ergebnisse k ist ^{[ 3 ].}${\displaystyle f}$

$${\displaystyle f(k;p)={\begin{cases}p&{\text{if }}k=1,\\q=1-p&{\text{if }}k=0.\end{cases}}}$$

Dies lässt sich auch wie folgt ausdrücken:

$${\displaystyle f(k;p)=p^{k}(1-p)^{1-k}\quad {\text{for }}k\in \{0,1\}}$$

oder als

$${\displaystyle f(k;p)=pk+(1-p)(1-k)\quad {\text{for }}k\in \{0,1\}.}$$

Die Bernoulli-Verteilung ist ein Spezialfall der Binomialverteilung mit ^{[ 4 ]}${\displaystyle n=1.}$

Die Kurtosis strebt für hohe und niedrige Werte von gegen unendlich, aber die Zwei-Punkt-Verteilungen einschließlich der Bernoulli-Verteilung haben eine geringere Exzesskurtosis , nämlich −2, als jede andere Wahrscheinlichkeitsverteilung. ${\displaystyle p,}$${\displaystyle p=1/2}$

Die Bernoulli-Verteilungen bilden eine Exponentialfamilie . ${\displaystyle 0\leq p\leq 1}$

Der Maximum-Likelihood-Schätzer basierend auf einer Zufallsstichprobe ist der Stichprobenmittelwert . ${\displaystyle p}$

Der Erwartungswert einer Bernoulli-Zufallsvariablen ist ${\displaystyle X}$

$${\displaystyle \operatorname {E} [X]=p}$$

Dies liegt daran, dass wir für eine Bernoulli-verteilte Zufallsvariable mit und finden ^{[ 3 ].}${\displaystyle X}$${\displaystyle \Pr(X{=}1)=p}$${\textstyle \Pr(X{=}0)=q}$

$${\displaystyle {\begin{aligned}\operatorname {E} [X]&=\Pr(X{=}1)\cdot 1+\Pr(X{=}0)\cdot 0\\[1ex]&=p\cdot 1+q\cdot 0\\[1ex]&=p.\end{aligned}}}$$

Die Varianz einer Bernoulli-Verteilung ist ${\displaystyle X}$

$${\displaystyle \operatorname {Var} [X]=pq=p(1-p)}$$

Wir stellen zunächst fest:

$${\displaystyle {\begin{aligned}\operatorname {E} [X^{2}]&=\Pr(X{=}1)\cdot 1^{2}+\Pr(X{=}0)\cdot 0^{2}\\&=p\cdot 1^{2}+q\cdot 0^{2}\\&=p=\operatorname {E} [X]\end{aligned}}}$$

Daraus folgt ^{[ 3 ]}

$${\displaystyle {\begin{aligned}\operatorname {Var} [X]&=\operatorname {E} [X^{2}]-\operatorname {E} [X]^{2}=\operatorname {E} [X]-\operatorname {E} [X]^{2}\\[1ex]&=p-p^{2}=p(1-p)=pq\end{aligned}}}$$

Mit diesem Ergebnis lässt sich leicht beweisen, dass die Varianz jeder Bernoulli-Verteilung einen Wert innerhalb von hat . ${\displaystyle [0,1/4]}$

Die Schiefe beträgt . Betrachtet man die standardisierte Bernoulli-verteilte Zufallsvariable, so stellt man fest, dass diese Zufallsvariable mit Wahrscheinlichkeit den Wert annimmt und mit Wahrscheinlichkeit den Wert annimmt . Somit erhalten wir ${\displaystyle {\frac {q-p}{\sqrt {pq}}}={\frac {1-2p}{\sqrt {pq}}}}$${\displaystyle {\frac {X-\operatorname {E} [X]}{\sqrt {\operatorname {Var} [X]}}}}$${\displaystyle {\frac {q}{\sqrt {pq}}}}$${\displaystyle p}$${\displaystyle -{\frac {p}{\sqrt {pq}}}}$${\displaystyle q}$

$${\displaystyle {\begin{aligned}\gamma _{1}&=\operatorname {E} \left[\left({\frac {X-\operatorname {E} [X]}{\sqrt {\operatorname {Var} [X]}}}\right)^{3}\right]\\&=p\cdot \left({\frac {q}{\sqrt {pq}}}\right)^{3}+q\cdot \left(-{\frac {p}{\sqrt {pq}}}\right)^{3}\\&={\frac {1}{{\sqrt {pq}}^{3}}}\left(pq^{3}-qp^{3}\right)\\&={\frac {pq}{{\sqrt {pq}}^{3}}}(q^{2}-p^{2})\\&={\frac {(1-p)^{2}-p^{2}}{\sqrt {pq}}}\\&={\frac {1-2p}{\sqrt {pq}}}={\frac {q-p}{\sqrt {pq}}}.\end{aligned}}}$$

Die Rohmomente sind alle gleichwertig, weil und . ${\displaystyle 1^{k}=1}$${\displaystyle 0^{k}=0}$

$${\displaystyle \operatorname {E} [X^{k}]=\Pr(X{=}1)\cdot 1^{k}+\Pr(X{=}0)\cdot 0^{k}=p\cdot 1+q\cdot 0=p=\operatorname {E} [X].}$$

Das zentrale Moment erster Ordnung ist gegeben durch: Die ersten sechs zentralen Momente sind: Die höheren zentralen Momente lassen sich kompakter durch und ausdrücken: Die ersten sechs Kumulanten sind: ${\displaystyle k}$$${\displaystyle \mu _{k}=(1-p)(-p)^{k}+p(1-p)^{k}.}$$$${\displaystyle {\begin{aligned}\mu _{1}&=0,\\\mu _{2}&=p(1-p),\\\mu _{3}&=p(1-p)(1-2p),\\\mu _{4}&=p(1-p)(1-3p(1-p)),\\\mu _{5}&=p(1-p)(1-2p)(1-2p(1-p)),\\\mu _{6}&=p(1-p)(1-5p(1-p)(1-p(1-p))).\end{aligned}}}$$${\displaystyle \mu _{2}}$${\displaystyle \mu _{3}}$$${\displaystyle {\begin{aligned}\mu _{4}&=\mu _{2}(1-3\mu _{2}),\\\mu _{5}&=\mu _{3}(1-2\mu _{2}),\\\mu _{6}&=\mu _{2}(1-5\mu _{2}(1-\mu _{2})).\end{aligned}}}$$$${\displaystyle {\begin{aligned}\kappa _{1}&=p,\\\kappa _{2}&=\mu _{2},\\\kappa _{3}&=\mu _{3},\\\kappa _{4}&=\mu _{2}(1-6\mu _{2}),\\\kappa _{5}&=\mu _{3}(1-12\mu _{2}),\\\kappa _{6}&=\mu _{2}(1-30\mu _{2}(1-4\mu _{2})).\end{aligned}}}$$

Entropie ist ein Maß für Unsicherheit oder Zufälligkeit in einer Wahrscheinlichkeitsverteilung. Für eine Bernoulli-Zufallsvariable mit Erfolgswahrscheinlichkeit und Misserfolgswahrscheinlichkeit ist die Entropie wie folgt definiert: ${\displaystyle X}$${\displaystyle p}$${\displaystyle q=1-p}$${\displaystyle H(X)}$

$${\displaystyle {\begin{aligned}H(X)&=\mathbb {E} _{p}\ln {\frac {1}{\Pr(X)}}\\[1ex]&=-\Pr(X{=}0)\ln \Pr(X{=}0)-\Pr(X{=}1)\ln \Pr(X{=}1)\\[1ex]&=-(q\ln q+p\ln p).\end{aligned}}}$$

Die Entropie ist maximal, wenn , was die höchste Unsicherheit anzeigt, wenn beide Ergebnisse gleich wahrscheinlich sind. Die Entropie ist null, wenn oder , wobei ein Ergebnis sicher ist. ${\displaystyle p=0.5}$${\displaystyle p=0}$${\displaystyle p=1}$

Die Fisher-Information misst den Informationsgehalt einer beobachtbaren Zufallsvariablen bezüglich eines unbekannten Parameters, von dem die Wahrscheinlichkeit abhängt. Für die Bernoulli-Verteilung ist die Fisher-Information bezüglich des Parameters gegeben durch: ${\displaystyle X}$${\displaystyle p}$${\displaystyle X}$${\displaystyle p}$

$${\displaystyle I(p)={\frac {1}{pq}}}$$

Nachweisen:

• Die Likelihood-Funktion für eine Bernoulli-Zufallsvariable lautet: Sie stellt die Wahrscheinlichkeit dar, dass man den Parameter x beobachtet .${\displaystyle X}$$${\displaystyle L(p;X)=p^{X}(1-p)^{1-X}}$$${\displaystyle X}$${\displaystyle p}$
• Die Log-Likelihood-Funktion lautet:$${\displaystyle \ln L(p;X)=X\ln p+(1-X)\ln(1-p)}$$
• Die Score-Funktion (die erste Ableitung der Log-Likelihood nach ) ist:${\displaystyle p}$$${\displaystyle {\frac {\partial }{\partial p}}\ln L(p;X)={\frac {X}{p}}-{\frac {1-X}{1-p}}}$$
• Die zweite Ableitung der Log-Likelihood-Funktion lautet:$${\displaystyle {\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)=-{\frac {X}{p^{2}}}-{\frac {1-X}{(1-p)^{2}}}}$$
• Die Fisher-Information wird als negativer Erwartungswert der zweiten Ableitung der Log-Likelihood berechnet:$${\displaystyle {\begin{aligned}I(p)=-E\left[{\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)\right]=-\left(-{\frac {p}{p^{2}}}-{\frac {1-p}{(1-p)^{2}}}\right)={\frac {1}{p(1-p)}}={\frac {1}{pq}}\end{aligned}}}$$

Sie ist maximal, wenn , was maximale Unsicherheit und somit maximale Information über den Parameter widerspiegelt . ${\displaystyle p=0.5}$${\displaystyle p}$

• Sind es unabhängige, identisch verteilte ( iid ) Zufallsvariablen, so ist die Summe aller Bernoulli-Versuche mit Erfolgswahrscheinlichkeit  p gemäß einer Binomialverteilung mit den Parametern n und p verteilt : ${\displaystyle X_{1},\dots ,X_{n}}$

  ${\displaystyle \sum _{k=1}^{n}X_{k}\sim \operatorname {B} (n,p)}$( Binomialverteilung ). ^{[ 3 ]}

Die Bernoulli-Verteilung ist einfach , auch geschrieben als${\displaystyle \operatorname {B} (1,p)}$${\textstyle \mathrm {Bernoulli} (p).}$

• Die kategoriale Verteilung ist die Verallgemeinerung der Bernoulli-Verteilung für Variablen mit einer beliebigen konstanten Anzahl diskreter Werte.
• Die Beta-Verteilung ist die konjugierte A-priori-Verteilung der Bernoulli-Verteilung. ^{[ 5 ]}
• Die geometrische Verteilung modelliert die Anzahl unabhängiger und identischer Bernoulli-Versuche, die nötig sind, um einen Erfolg zu erzielen.
• Wenn , dann hat eine Rademacher-Verteilung .${\textstyle Y\sim \mathrm {Bernoulli} \left({\frac {1}{2}}\right)}$${\textstyle 2Y-1}$

• Bernoulli-Prozess , ein Zufallsprozess, der aus einer Folge unabhängiger Bernoulli-Versuche besteht
• Bernoulli-Stichprobe
• Binäre Entropiefunktion
• Binäres Entscheidungsdiagramm

• Abhirath, Dwivedi ; Kotz, Samuel ; Kemp, Adrienne W. (1993). Univariate diskrete Verteilungen (2. Aufl.). Wiley. ISBN 0-471-54897-9Die
• Peatman, John G. (1963). Einführung in die angewandte Statistik . New York: Harper & Row. S.  162–171 .

• „Binomialverteilung“ , Enzyklopädie der Mathematik , EMS Press , 2001 [1994]Die
• Weisstein, Eric W. „Bernoulli-Verteilung“ . MathWorld .
• Interaktive Grafik: Univariate Verteilungsbeziehungen .