\[\newcommand{\N}{\mathbb N} \newcommand{\Z}{\mathbb Z} \newcommand{\Q}{\mathbb Q} \newcommand{\R}{\mathbb R} \renewcommand{\C}{\mathbb C} \newcommand{\ba}{\mathbf{a}} \newcommand{\bb}{\mathbf{b}} \newcommand{\bc}{\mathbf{c}} \newcommand{\bd}{\mathbf{d}} \newcommand{\be}{\mathbf{e}} \newcommand{\bbf}{\mathbf{f}} \newcommand{\bh}{\mathbf{h}} \newcommand{\bi}{\mathbf{i}} \newcommand{\bj}{\mathbf{j}} \newcommand{\bk}{\mathbf{k}} \newcommand{\bN}{\mathbf{N}} \newcommand{\bn}{\mathbf{n}} \newcommand{\bo}{\mathbf{0}} \newcommand{\bp}{\mathbf{p}} \newcommand{\bq}{\mathbf{q}} \newcommand{\br}{\mathbf{r}} \newcommand{\bs}{\mathbf{s}} \newcommand{\bT}{\mathbf{T}} \newcommand{\bu}{\mathbf{u}} \newcommand{\bv}{\mathbf{v}} \newcommand{\bw}{\mathbf{w}} \newcommand{\bx}{\mathbf{x}} \newcommand{\by}{\mathbf{y}} \newcommand{\bz}{\mathbf{z}} \newcommand{\bzero}{\mathbf{0}} \newcommand{\cA}{\mathcal{A}} \newcommand{\cB}{\mathcal{B}} \newcommand{\cC}{\mathcal{C}} \newcommand{\cD}{\mathcal{D}} \newcommand{\cE}{\mathcal{E}} \newcommand{\cF}{\mathcal{F}} \newcommand{\cG}{\mathcal{G}} \newcommand{\cH}{\mathcal{H}} \newcommand{\cI}{\mathcal{I}} \newcommand{\cJ}{\mathcal{J}} \newcommand{\cK}{\mathcal{K}} \newcommand{\cL}{\mathcal{L}} \newcommand{\cM}{\mathcal{M}} \newcommand{\cN}{\mathcal{N}} \newcommand{\cO}{\mathcal{O}} \newcommand{\cP}{\mathcal{P}} \newcommand{\cQ}{\mathcal{Q}} \newcommand{\cR}{\mathcal{R}} \newcommand{\cS}{\mathcal{S}} \newcommand{\cT}{\mathcal{T}} \newcommand{\cU}{\mathcal{U}} \newcommand{\cV}{\mathcal{V}} \newcommand{\cW}{\mathcal{W}} \newcommand{\cX}{\mathcal{X}} \newcommand{\cY}{\mathcal{Y}} \newcommand{\cZ}{\mathcal{Z}} \newcommand{\rA}{\mathrm{A}} \newcommand{\rB}{\mathrm{B}} \newcommand{\rC}{\mathrm{C}} \newcommand{\rD}{\mathrm{D}} \newcommand{\rE}{\mathrm{E}} \newcommand{\rF}{\mathrm{F}} \newcommand{\rG}{\mathrm{G}} \newcommand{\rH}{\mathrm{H}} \newcommand{\rI}{\mathrm{I}} \newcommand{\rJ}{\mathrm{J}} \newcommand{\rK}{\mathrm{K}} \newcommand{\rL}{\mathrm{L}} \newcommand{\rM}{\mathrm{M}} \newcommand{\rN}{\mathrm{N}} \newcommand{\rO}{\mathrm{O}} \newcommand{\rP}{\mathrm{P}} \newcommand{\rQ}{\mathrm{Q}} \newcommand{\rR}{\mathrm{R}} \newcommand{\rS}{\mathrm{S}} \newcommand{\rT}{\mathrm{T}} \newcommand{\rU}{\mathrm{U}} \newcommand{\rV}{\mathrm{V}} \newcommand{\rW}{\mathrm{W}} \newcommand{\rX}{\mathrm{X}} \newcommand{\rY}{\mathrm{Y}} \newcommand{\rZ}{\mathrm{Z}} \newcommand{\re}{\operatorname{Re}} \newcommand{\im}{\operatorname{Im}} \newcommand{\arsinh}{\operatorname{ar\,sinh}} \newcommand{\arcosh}{\operatorname{ar\,cosh}} \newcommand{\artanh}{\operatorname{ar\,tanh}} \newcommand{\diag}{\operatorname{diag}} \newcommand{\proj}{\operatorname{proj}} \newcommand{\rref}{\operatorname{rref}} \newcommand{\rank}{\operatorname{rank}} \newcommand{\Span}{\operatorname{span}} \renewcommand{\dim}{\operatorname{dim}} \newcommand{\alg}{\operatorname{alg}} \newcommand{\geom}{\operatorname{geom}} \newcommand{\id}{\operatorname{id}} \newcommand{\Var}{\operatorname{Var}} \newcommand{\Cov}{\operatorname{Cov}} \newcommand{\Corr}{\operatorname{Corr}} \newcommand{\Tasd}{\operatorname{Tasd}} \newcommand{\Ber}{\operatorname{Ber}} \newcommand{\Bin}{\operatorname{Bin}} \newcommand{\Geom}{\operatorname{Geom}} \newcommand{\Poi}{\operatorname{Poi}} \newcommand{\Hyperg}{\operatorname{Hyperg}} \newcommand{\Tas}{\operatorname{Tas}} \newcommand{\Exp}{\operatorname{Exp}} \newcommand{\tdist}{\operatorname{t}} \newcommand{\rd}{\mathrm{d}} \newcommand{\sij}[2]{\bigg/_{\mspace{-10mu}\,#1}^{\,#2}} \newcommand{\qedhere}{}\]

Todennäköisyysjakaumia

Seuraavassa tiivistetään kurssilla esillä olleet diskreetit ja jatkuvat todennäköisyysjakaumat. Jokaisesta esitellään hyödyllisin osin otosavaruus, tiheysfunktio, odotusarvo, varianssi, momentit generoiva funktio, esimerkkikuvaajia ja lisätietoja.

Diskreetti tasajakauma, \(\Tasd(a, b)\)

Otosavaruus: \(\Omega = [a, b] \cap \Z = \{i \in \Z : a \leq i \leq b\}\)

Tiheysfunktio: \(P(X = x) = f(x) = \dfrac{1}{b-a+1}\)

Odotusarvo: \(\rE(X) = \dfrac{a + b}{2}\)

Varianssi: \(\Var(X) = \dfrac{(b - a + 1)^2 - 1}{12}\)

Momentit generoiva funktio: \(M(t) = \begin{cases}1, & \text{kun } t = 0 \\ \dfrac{1}{b - a + 1}\dfrac{e^{ta} - e^{t(b + 1)}}{1 - e^{t}}, & \text{kun } t \not= 0\end{cases}\)

Lisätietoja:

• Englanniksi discrete uniform distribution, \(\mathrm{Unifd}(a, b)\).
• Jos otosavaruuden alkeistapahtumat ovat symmetriset (klassinen todennäköisyys), niin niistä muodostuva satunnaismuuttuja noudattaa diskreettiä tasajakaumaa.
• Esimerkiksi nopan- tai kolikonheiton tulosten todennäköisyydet saadaan diskreetistä tasajakaumasta.
• \(\Tasd(0, 1) = \Ber(0{,}5)\).

Bernoullin jakauma, \(\Ber(p)\)

Otosavaruus: \(\Omega = \{0, 1\}\)

Tiheysfunktio: \(P(X = x) = f(x) = p^x(1-p)^{1-x}\)

Odotusarvo: \(\rE(X) = p\)

Varianssi: \(\Var(X) = p(1 - p)\)

Momentit generoiva funktio: \(M(t) = pe^t + 1 - p\)

Lisätietoja:

• Englanniksi Bernoulli distribution.
• Bernoullin jakaumaa noudattava satunnaismuuttuja \(X\) saa toisen kahdesta arvosta, jotka on koodattu luvuiksi \(0\) ja \(1\). Tapauksen \(X = 1\) (onnistuminen) todennäköisyys on \(p\) ja tapauksen \(X = 0\) (epäonnistuminen) \(1 - p\).
• Esimerkiksi syntyvän lapsen sukupuoli tai tentissä onnistuminen voidaan esittää Bernoullin jakaumaa noudattavalla satunnaismuuttujalla.
• Bernoullin kokeella tarkoitetaan Bernoullin jakaumaa noudattavan satunnaismuuttujan koetta.
• \(\Ber(0{,}5) = \Tasd(0, 1)\) ja \(\Ber(p) = \Bin(1, p)\).

Binomijakauma, \(\Bin(n, p)\)

Otosavaruus: \(\Omega = \{0, 1, 2, \ldots, n\}\)

Tiheysfunktio: \(\displaystyle P(X = x) = f(x) = \binom{n}{x} p^x(1-p)^{n-x}\)

Odotusarvo: \(\rE(X) = np\)

Varianssi: \(\Var(X) = np(1 - p)\)

Momentit generoiva funktio: \(M(t)=(pe^t+1-p)^n\)

Lisätietoja:

• Englanniksi binomial distribution.
• \(f(x)\) kuvaa yhteensä \(x\) onnistumisen todennäköisyyttä \(n\) riippumattomassa jakaumaa \(\Ber(p)\) noudattavassa Bernoullin kokeessa.
• Esimerkiksi viiden klaavan saaminen 10 kolikonheiton sarjassa.
• Jos \(X_1 \sim \Bin(n, p)\) ja \(X_2 \sim \Bin(m, p)\) ovat riippumattomia, niin niiden summa \(X_1 + X_2 \sim \Bin(n + m, p)\).
• \(\Bin(1, p) = \Ber(p)\).
• \(\Bin(n, p) \approx \Poi(np)\), kun \(n\) on suuri, \(p\) pieni ja \(np \ll n\).
• \(\Bin(n, p) \approx \rN(np, np(1 - p))\), kun \(np \geq 5\) ja \(n(1 - p) \geq 5\).

Poissonin jakauma, \(\Poi(\lambda)\)

Otosavaruus: \(\Omega = \N \cup \{0\} = \{0, 1, 2, \ldots\}\)

Tiheysfunktio: \(P(X = x) = f(x)=\dfrac{\lambda ^x}{x!}e^{-\lambda}\)

Odotusarvo: \(\rE(X) = \lambda\)

Varianssi: \(\Var(X) = \lambda\)

Momentit generoiva funktio: \(M(t)=e^{-\lambda}e^{\lambda e^t}\)

Lisätietoja:

• Englanniksi Poisson distribution.
• Harvinaisten, riippumattomien ja keskimäärin vakiotahdilla esiintyvien tapahtumien todennäköisyysjakauma.
• Jos suoritetaan suuri määrä \(n\) jakaumaa \(\Ber(p)\) noudattavia Bernoullin kokeita ja \(p\) on pieni, niin onnistumisien lukumäärä noudattaa likimain Poissonin jakaumaa ja \(\lambda \approx np\).
• Esimerkiksi tuotantovirheiden esiintyminen tai fotonien osuminen sensorille.
• \(\Poi(np) \approx \Bin(n, p)\), kun \(n\) on suuri, \(p\) on pieni ja \(np \ll n\).
• Jos \(X_1 \sim \Poi(\lambda_1)\) ja \(X_2 \sim \Poi(\lambda_2)\) ovat riippumattomia, niin \(X_1 + X_2 \sim \Poi(\lambda_1 + \lambda_2)\).

Geometrinen jakauma, \(\Geom(p)\)

Otosavaruus: \(\Omega = \Z_+ = \{1, 2, 3, \ldots\}\)

Tiheysfunktio: \(P(X = x) = f(x) = p(1 - p)^{x - 1}\)

Odotusarvo: \(\rE(X) = \dfrac{1}{p}\)

Varianssi: \(\Var(X) = \dfrac{1 - p}{p^2}\)

Momentit generoiva funktio: \(M(t) = \dfrac{pe^t}{1-(1-p)e^t}\)

Lisätietoja:

• Englanniksi geometric distribution.
• \(f(x)\) kuvaa todennäköisyyttä, että ensimmäinen onnistuminen osuu \(x\):lle yrittämälle jonossa riippumattomia jakaumaa \(\Ber(p)\) noudattavia Bernoullin kokeita.
• Esimerkiksi ensimmäisen klaavan saaminen seitsemännellä yrittämällä kolikonheittojen sarjassa.

Hypergeometrinen jakauma, \(\Hyperg(N, m, n)\)

Otosavaruus: \(\Omega = \{x \in \Z : \max\{0, n - (N - m)\} \leq x \leq \min\{n, m\}\}\)

Tiheysfunktio: \(\displaystyle P(X = x) = f(x) = \frac{\binom{m}{x}\binom{N - m}{n - x}}{\binom{N}{n}}\)

Odotusarvo: \(\rE(X) = \dfrac{nm}{N}\)

Varianssi: \(\Var(X) = \frac{nm(N - m)(N - n)}{N^3 - N}\)

Lisätietoja:

• Englanniksi hypergeometric distribution.
• Lähtötilanteessa joukossa on \(N\) alkiota, joista \(m\) ovat halutunlaisia ja loput eivät. Kokeessa poimitaan palauttamatta \(n\) alkion otos. \(f(x)\) kuvaa todennäköisyyttä, jolla otokseen valikoituu \(x\) kappaletta halutunlaisia alkioita.
• Esimerkiksi eri väristen pallojen poimiminen laatikosta.
• Jos \(N \gg n\), niin palauttamatta tehty otanta on likimain sama kuin palauttaen tehty otanta.
• \(\Hyperg(N, m, n) \approx \Bin\left(n, \frac{m}{N}\right)\), kun \(n \leq \frac{N}{10}\).

Jatkuva tasajakauma, \(\Tas(a, b)\)

Otosavaruus: \(\Omega = [a, b]\)

Tiheysfunktio: \(f(x)=\frac{1}{b-a}\)

Odotusarvo: \(\rE(X) = \dfrac{a + b}{2}\)

Varianssi: \(\Var(X) = \dfrac{(b - a)^2}{12}\)

Momentit generoiva funktio: \(M(t) = \begin{cases} 1, & \text{kun } t = 0 \\ \dfrac{e^{bt} - e^{at}}{t(b - a)}, & \text{kun } t \not= 0\end{cases}\)

Lisätietoja:

• Englanniksi (continuous) uniform distribution, \(\mathrm{Unif}(a, b)\).
• Monissa tietokoneohjelmissa satunnaisluvulla (random number) tarkoitetaan satunnaismuuttujan \(X \sim \Tas(a, b)\) realisoitunutta arvoa. Muiden jatkuvien satunnaislukugeneraattoreiden toteutukset nojaavat jatkuvaan tasajakaumaan.

Eksponenttijakauma, \(\Exp(\lambda)\)

Otosavaruus: \(\Omega = [0, \infty)\)

Tiheysfunktio: \(f(x) = \lambda e^{-\lambda x}\)

Odotusarvo: \(\rE(X) = \dfrac{1}{\lambda}\)

Varianssi: \(\Var(X) = \dfrac{1}{\lambda^2}\)

Momentit generoiva funktio: \(M(t) = \dfrac{\lambda}{\lambda - t},\) kun \(0 \leq t < \lambda\)

Lisätietoja:

• Englanniksi exponential distribution.

• Geometrisen jakauman jatkuva vastine.

• Unohtuvaisuusominaisuus (memorylessness): jos \(X \sim \Exp(\lambda)\), niin

  \[P(X > x_1 + x_2 \mid X > x_1) = P(X > x_2).\]

• Esimerkiksi elektronisen komponentin ikä.

Normaalijakauma, \(\rN(\mu, \sigma^2)\)

Otosavaruus: \(\Omega = \R\)

Tiheysfunktio: \(\displaystyle f(x) = \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{1}{2}\left( \frac{x-\mu}{\sigma} \right)^2}\)

Odotusarvo: \(\rE(X) = \mu\)

Varianssi: \(\Var(X) = \sigma^2\)

Momentit generoiva funktio: \(\displaystyle M(t)=e^{\mu t+\frac{1}{2}t^2\sigma^2}\)

Lisätietoja:

• Englanniksi normal distribution tai Gaussian distribution.

• Jos \(X \sim \rN(\mu, \sigma^2)\), niin \(aX + b \sim \rN(a\mu + b, a^2\sigma^2)\).

• Jos \(X_1 \sim \rN(\mu_1, \sigma_1^2)\) ja \(X_2 \sim \rN(\mu_2, \sigma_2^2)\) ovat riippumattomia, niin

  \[X_1 + X_2 \sim \rN(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2).\]

• Keskeisen raja-arvolauseen perusteella usean satunnaismuuttujan summa (ja täten myös otoskeskiarvo) on likimain normaalisti jakautunut riippumatta niiden alkuperäisistä jakaumista.

• \(\rN(np, np(1 - p)) \approx \Bin(n, p)\), kun \(np \geq 5\) ja \(n(1 - p) \geq 5\).

• Jos \(Z_i \sim \rN(0, 1)\), \(i = 1, 2, \ldots, n\) ovat riippumattomia, niin \(\sum\limits_{i = 1}^n Z_i^2 \sim \chi^2(n)\).

\(\chi^2\)-jakauma, \(\chi^2(n)\)

Otosavaruus: \(\Omega = [0, \infty)\)

Tiheysfunktio: \(f(x)=\dfrac{1}{2^{\frac{n}{2}}\Gamma\left(\frac{n}{2}\right)}x^{\frac{n}{2}-1}e^{-\frac{x}{2}}\), missä \(\Gamma\) on Eulerin gammafunktio

Odotusarvo: \(\rE(X) = n\)

Varianssi: \(\Var(X) = 2n\)

Momentit generoiva funktio: \(M(t) = (1 - 2t)^{-\frac{n}{2}}\), kun \(t < \frac{1}{2}\)

Lisätietoja:

• Englanniksi chi-squared distribution.

• Jos \(X \sim \chi^2(n)\), niin satunnaismuuttuja \(X\) on \(\chi^2\)-jakautunut vapausastein \(n\) (degrees of freedom, df).

• Jos \(Z_i \sim \rN(0, 1)\), \(i = 1, 2, \ldots, n\) ovat riippumattomia, niin \(\sum\limits_{i = 1}^n Z_i^2 \sim \chi^2(n)\).

• Jos \(X_i \sim \rN(\mu, \sigma^2)\), \(i = 1, 2, \ldots, n\) ovat riippumattomia, niin

  \[\dfrac{(n - 1)S^2}{\sigma^2} \sim \chi^2(n - 1).\]

Studentin \(t\)-jakauma, \(t(n)\)

Otosavaruus: \(\Omega = \R\)

Tiheysfunktio: \(f(x)=\dfrac{1}{\sqrt{n\pi}}\dfrac{\Gamma\left(\frac{n+1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}\left(1+\dfrac{x^2}{n}\right)^{-\frac{n+1}{2}}\), missä \(\Gamma\) on Eulerin gammafunktio

Odotusarvo: \(\rE(X) = 0\), kun \(n > 1\)

Varianssi: \(\Var(X) = \dfrac{n}{n - 2}\), kun \(n > 2\)

Lisätietoja:

• Englanniksi Student’s \(t\)-distribution.

• Jos \(X \sim t(n)\), niin satunnaismuuttuja \(X\) on \(\tdist\)-jakautunut vapausastein \(n\) (degrees of freedom, df).

• \(t\)-jakauma lähestyy standardinormaalijakaumaa \(\rN(0, 1)\), kun \(n\) kasvaa rajatta.

• Jos \(X_1, X_2, \ldots, X_n\) on otos muuttujasta \(X \sim \rN(\mu, \sigma^2)\), niin

  \[\frac{\overline{X} - \mu}{s/\sqrt{n}} \sim t(n - 1).\]

\(\rF\)-jakauma, \(\rF(n_1, n_2)\)

Otosavaruus: \(\Omega = [0, \infty)\)

Tiheysfunktio: \(f(x)=\dfrac{\Gamma\left(\frac{n_1+n_2}{2}\right)}{\Gamma\left(\frac{n_1}{2}\right)\Gamma\left(\frac{n_2}{2}\right)}\left(\dfrac{n_1}{n_2}\right)^{\frac{n_1}{2}}x^{\frac{n_1 - 2}{2}}\left(1 + \dfrac{n_1}{n_2}x\right)^{-\frac{n_1+n_2}{2}}\), missä \(\Gamma\) on Eulerin gammafunktio

Odotusarvo: \(\rE(X) = \dfrac{n_2}{n_2 - 2}\), kun \(n_2 > 2\)

Varianssi: \(\Var(X) = \dfrac{2n_2^2(n_1 + n_2 - 2)}{n_1(n_2 - 2)^2(n_2 - 4)}\), kun \(n_2 > 4\)

Lisätietoja:

• Englanniksi \(\rF\)-distribution. Myös Fisherin jakauma tai Snedecorin jakauma.

• Jos \(X \sim \rF(n_1, n_2)\), niin satunnaismuuttuja \(X\) on \(\rF\)-jakautunut vapausastein \(n_1\) ja \(n_2\) (degrees of freedom, df).

• Jos \(X_1 \sim \chi^2(n_1)\) ja \(X_2 \sim \chi^2(n_2)\), niin

  \[F = \frac{X_1/n_1}{X_2/n_2} \sim \rF(n_1, n_2)\qquad\text{ja}\qquad \frac{1}{F} \sim \rF(n_2, n_1).\]

Palautusta lähetetään...