$$\newcommand{\N}{\mathbb N} \newcommand{\Z}{\mathbb Z} \newcommand{\Q}{\mathbb Q} \newcommand{\R}{\mathbb R} \newcommand{\C}{\mathbb C} \newcommand{\ba}{\mathbf{a}} \newcommand{\bb}{\mathbf{b}} \newcommand{\bc}{\mathbf{c}} \newcommand{\bd}{\mathbf{d}} \newcommand{\be}{\mathbf{e}} \newcommand{\bff}{\mathbf{f}} \newcommand{\bh}{\mathbf{h}} \newcommand{\bi}{\mathbf{i}} \newcommand{\bj}{\mathbf{j}} \newcommand{\bk}{\mathbf{k}} \newcommand{\bN}{\mathbf{N}} \newcommand{\bn}{\mathbf{n}} \newcommand{\bo}{\mathbf{0}} \newcommand{\bp}{\mathbf{p}} \newcommand{\bq}{\mathbf{q}} \newcommand{\br}{\mathbf{r}} \newcommand{\bs}{\mathbf{s}} \newcommand{\bT}{\mathbf{T}} \newcommand{\bu}{\mathbf{u}} \newcommand{\bv}{\mathbf{v}} \newcommand{\bw}{\mathbf{w}} \newcommand{\bx}{\mathbf{x}} \newcommand{\by}{\mathbf{y}} \newcommand{\bz}{\mathbf{z}} \newcommand{\bzero}{\mathbf{0}} \newcommand{\nv}{\mathbf{0}} \newcommand{\cA}{\mathcal{A}} \newcommand{\cB}{\mathcal{B}} \newcommand{\cC}{\mathcal{C}} \newcommand{\cD}{\mathcal{D}} \newcommand{\cE}{\mathcal{E}} \newcommand{\cF}{\mathcal{F}} \newcommand{\cG}{\mathcal{G}} \newcommand{\cH}{\mathcal{H}} \newcommand{\cI}{\mathcal{I}} \newcommand{\cJ}{\mathcal{J}} \newcommand{\cK}{\mathcal{K}} \newcommand{\cL}{\mathcal{L}} \newcommand{\cM}{\mathcal{M}} \newcommand{\cN}{\mathcal{N}} \newcommand{\cO}{\mathcal{O}} \newcommand{\cP}{\mathcal{P}} \newcommand{\cQ}{\mathcal{Q}} \newcommand{\cR}{\mathcal{R}} \newcommand{\cS}{\mathcal{S}} \newcommand{\cT}{\mathcal{T}} \newcommand{\cU}{\mathcal{U}} \newcommand{\cV}{\mathcal{V}} \newcommand{\cW}{\mathcal{W}} \newcommand{\cX}{\mathcal{X}} \newcommand{\cY}{\mathcal{Y}} \newcommand{\cZ}{\mathcal{Z}} \newcommand{\rA}{\mathrm{A}} \newcommand{\rB}{\mathrm{B}} \newcommand{\rC}{\mathrm{C}} \newcommand{\rD}{\mathrm{D}} \newcommand{\rE}{\mathrm{E}} \newcommand{\rF}{\mathrm{F}} \newcommand{\rG}{\mathrm{G}} \newcommand{\rH}{\mathrm{H}} \newcommand{\rI}{\mathrm{I}} \newcommand{\rJ}{\mathrm{J}} \newcommand{\rK}{\mathrm{K}} \newcommand{\rL}{\mathrm{L}} \newcommand{\rM}{\mathrm{M}} \newcommand{\rN}{\mathrm{N}} \newcommand{\rO}{\mathrm{O}} \newcommand{\rP}{\mathrm{P}} \newcommand{\rQ}{\mathrm{Q}} \newcommand{\rR}{\mathrm{R}} \newcommand{\rS}{\mathrm{S}} \newcommand{\rT}{\mathrm{T}} \newcommand{\rU}{\mathrm{U}} \newcommand{\rV}{\mathrm{V}} \newcommand{\rW}{\mathrm{W}} \newcommand{\rX}{\mathrm{X}} \newcommand{\rY}{\mathrm{Y}} \newcommand{\rZ}{\mathrm{Z}} \newcommand{\pv}{\overline} \newcommand{\iu}{\mathrm{i}} \newcommand{\ju}{\mathrm{j}} \newcommand{\im}{\mathrm{i}} \newcommand{\e}{\mathrm{e}} \newcommand{\real}{\operatorname{Re}} \newcommand{\imag}{\operatorname{Im}} \newcommand{\Arg}{\operatorname{Arg}} \newcommand{\Ln}{\operatorname{Ln}} \DeclareMathOperator*{\res}{res} \newcommand{\re}{\operatorname{Re}} \newcommand{\im}{\operatorname{Im}} \newcommand{\arsinh}{\operatorname{ar\,sinh}} \newcommand{\arcosh}{\operatorname{ar\,cosh}} \newcommand{\artanh}{\operatorname{ar\,tanh}} \newcommand{\sgn}{\operatorname{sgn}} \newcommand{\diag}{\operatorname{diag}} \newcommand{\proj}{\operatorname{proj}} \newcommand{\rref}{\operatorname{rref}} \newcommand{\rank}{\operatorname{rank}} \newcommand{\Span}{\operatorname{span}} \newcommand{\vir}{\operatorname{span}} \renewcommand{\dim}{\operatorname{dim}} \newcommand{\alg}{\operatorname{alg}} \newcommand{\geom}{\operatorname{geom}} \newcommand{\id}{\operatorname{id}} \newcommand{\norm}[1]{\lVert #1 \rVert} \newcommand{\tp}[1]{#1^{\top}} \renewcommand{\d}{\mathrm{d}} \newcommand{\sij}[2]{\bigg/_{\mspace{-15mu}#1}^{\,#2}} \newcommand{\abs}[1]{\lvert#1\rvert} \newcommand{\pysty}[1]{\left[\begin{array}{@{}r@{}}#1\end{array}\right]} \newcommand{\piste}{\cdot} \newcommand{\qedhere}{} \newcommand{\taumatrix}[1]{\left[\!\!#1\!\!\right]} \newenvironment{augmatrix}[1]{\left[\begin{array}{#1}}{\end{array}\right]} \newenvironment{vaugmatrix}[1]{\left|\begin{array}{#1}}{\end{array}\right|} \newcommand{\trans}{\mathrm{T}} \newcommand{\EUR}{\text{\unicode{0x20AC}}} \newcommand{\SI}[3][]{#2\,\mathrm{#3}} \newcommand{\si}[2][]{\mathrm{#2}} \newcommand{\num}[2][]{#2} \newcommand{\ang}[2][]{#2^{\circ}} \newcommand{\meter}{m} \newcommand{\metre}{\meter} \newcommand{\kilo}{k} \newcommand{\kilogram}{kg} \newcommand{\gram}{g} \newcommand{\squared}{^2} \newcommand{\cubed}{^3} \newcommand{\minute}{min} \newcommand{\hour}{h} \newcommand{\second}{s} \newcommand{\degreeCelsius}{^{\circ}C} \newcommand{\per}{/} \newcommand{\centi}{c} \newcommand{\milli}{m} \newcommand{\deci}{d} \newcommand{\percent}{\%} \newcommand{\Var}{\operatorname{Var}} \newcommand{\Cov}{\operatorname{Cov}} \newcommand{\Corr}{\operatorname{Corr}} \newcommand{\Tasd}{\operatorname{Tasd}} \newcommand{\Ber}{\operatorname{Ber}} \newcommand{\Bin}{\operatorname{Bin}} \newcommand{\Geom}{\operatorname{Geom}} \newcommand{\Poi}{\operatorname{Poi}} \newcommand{\Hyperg}{\operatorname{Hyperg}} \newcommand{\Tas}{\operatorname{Tas}} \newcommand{\Exp}{\operatorname{Exp}} \newcommand{\tdist}{\operatorname{t}} \newcommand{\rd}{\mathrm{d}}$$

Todennäköisyysjakaumia

Seuraavassa tiivistetään kurssilla esillä olleet diskreetit ja jatkuvat todennäköisyysjakaumat. Jokaisesta esitellään hyödyllisin osin otosavaruus, tiheysfunktio, odotusarvo, varianssi, momentit generoiva funktio, esimerkkikuvaajia ja lisätietoja.

Diskreetti tasajakauma, $\Tasd(a, b)$

Otosavaruus: $\Omega = [a, b] \cap \Z = \{i \in \Z : a \leq i \leq b\}$

Tiheysfunktio: $P(X = x) = f(x) = \dfrac{1}{b-a+1}$

Odotusarvo: $\rE(X) = \dfrac{a + b}{2}$

Varianssi: $\Var(X) = \dfrac{(b - a + 1)^2 - 1}{12}$

Momentit generoiva funktio: $M(t) = \begin{cases}1, & \text{kun } t = 0 \\ \dfrac{1}{b - a + 1}\dfrac{e^{ta} - e^{t(b + 1)}}{1 - e^{t}}, & \text{kun } t \not= 0\end{cases}$

Lisätietoja:

• Englanniksi discrete uniform distribution, $\mathrm{Unifd}(a, b)$.
• Jos otosavaruuden alkeistapahtumat ovat symmetriset (klassinen todennäköisyys), niin niistä muodostuva satunnaismuuttuja noudattaa diskreettiä tasajakaumaa.
• Esimerkiksi nopan- tai kolikonheiton tulosten todennäköisyydet saadaan diskreetistä tasajakaumasta.
• $\Tasd(0, 1) = \Ber(0{,}5)$.

Bernoullin jakauma, $\Ber(p)$

Otosavaruus: $\Omega = \{0, 1\}$

Tiheysfunktio: $P(X = x) = f(x) = p^x(1-p)^{1-x}$

Odotusarvo: $\rE(X) = p$

Varianssi: $\Var(X) = p(1 - p)$

Momentit generoiva funktio: $M(t) = pe^t + 1 - p$

Lisätietoja:

• Englanniksi Bernoulli distribution.
• Bernoullin jakaumaa noudattava satunnaismuuttuja $X$ saa toisen kahdesta arvosta, jotka on koodattu luvuiksi $0$ ja $1$. Tapauksen $X = 1$ (onnistuminen) todennäköisyys on $p$ ja tapauksen $X = 0$ (epäonnistuminen) $1 - p$.
• Esimerkiksi syntyvän lapsen sukupuoli tai tentissä onnistuminen voidaan esittää Bernoullin jakaumaa noudattavalla satunnaismuuttujalla.
• Bernoullin kokeella tarkoitetaan Bernoullin jakaumaa noudattavan satunnaismuuttujan koetta.
• $\Ber(0{,}5) = \Tasd(0, 1)$ ja $\Ber(p) = \Bin(1, p)$.

Binomijakauma, $\Bin(n, p)$

Otosavaruus: $\Omega = \{0, 1, 2, \ldots, n\}$

Tiheysfunktio: $\displaystyle P(X = x) = f(x) = \binom{n}{x} p^x(1-p)^{n-x}$

Odotusarvo: $\rE(X) = np$

Varianssi: $\Var(X) = np(1 - p)$

Momentit generoiva funktio: $M(t)=(pe^t+1-p)^n$

Lisätietoja:

• Englanniksi binomial distribution.
• $f(x)$ kuvaa yhteensä $x$ onnistumisen todennäköisyyttä $n$ riippumattomassa jakaumaa $\Ber(p)$ noudattavassa Bernoullin kokeessa.
• Esimerkiksi viiden klaavan saaminen 10 kolikonheiton sarjassa.
• Jos $X_1 \sim \Bin(n, p)$ ja $X_2 \sim \Bin(m, p)$ ovat riippumattomia, niin niiden summa $X_1 + X_2 \sim \Bin(n + m, p)$.
• $\Bin(1, p) = \Ber(p)$.
• $\Bin(n, p) \approx \Poi(np)$, kun $n$ on suuri, $p$ pieni ja $np \ll n$.
• $\Bin(n, p) \approx \rN(np, np(1 - p))$, kun $np \geq 5$ ja $n(1 - p) \geq 5$.

Poissonin jakauma, $\Poi(\lambda)$

Otosavaruus: $\Omega = \N \cup \{0\} = \{0, 1, 2, \ldots\}$

Tiheysfunktio: $P(X = x) = f(x)=\dfrac{\lambda ^x}{x!}e^{-\lambda}$

Odotusarvo: $\rE(X) = \lambda$

Varianssi: $\Var(X) = \lambda$

Momentit generoiva funktio: $M(t)=e^{-\lambda}e^{\lambda e^t}$

Lisätietoja:

• Englanniksi Poisson distribution.
• Harvinaisten, riippumattomien ja keskimäärin vakiotahdilla esiintyvien tapahtumien todennäköisyysjakauma.
• Jos suoritetaan suuri määrä $n$ jakaumaa $\Ber(p)$ noudattavia Bernoullin kokeita ja $p$ on pieni, niin onnistumisien lukumäärä noudattaa likimain Poissonin jakaumaa ja $\lambda \approx np$.
• Esimerkiksi tuotantovirheiden esiintyminen tai fotonien osuminen sensorille.
• $\Poi(np) \approx \Bin(n, p)$, kun $n$ on suuri, $p$ on pieni ja $np \ll n$.
• Jos $X_1 \sim \Poi(\lambda_1)$ ja $X_2 \sim \Poi(\lambda_2)$ ovat riippumattomia, niin $X_1 + X_2 \sim \Poi(\lambda_1 + \lambda_2)$.

Geometrinen jakauma, $\Geom(p)$

Otosavaruus: $\Omega = \Z_+ = \{1, 2, 3, \ldots\}$

Tiheysfunktio: $P(X = x) = f(x) = p(1 - p)^{x - 1}$

Odotusarvo: $\rE(X) = \dfrac{1}{p}$

Varianssi: $\Var(X) = \dfrac{1 - p}{p^2}$

Momentit generoiva funktio: $M(t) = \dfrac{pe^t}{1-(1-p)e^t}$

Lisätietoja:

• Englanniksi geometric distribution.
• $f(x)$ kuvaa todennäköisyyttä, että ensimmäinen onnistuminen osuu $x$:lle yrittämälle jonossa riippumattomia jakaumaa $\Ber(p)$ noudattavia Bernoullin kokeita.
• Esimerkiksi ensimmäisen klaavan saaminen seitsemännellä yrittämällä kolikonheittojen sarjassa.

Hypergeometrinen jakauma, $\Hyperg(N, m, n)$

Otosavaruus: $\Omega = \{x \in \Z : \max\{0, n - (N - m)\} \leq x \leq \min\{n, m\}\}$

Tiheysfunktio: $\displaystyle P(X = x) = f(x) = \frac{\binom{m}{x}\binom{N - m}{n - x}}{\binom{N}{n}}$

Odotusarvo: $\rE(X) = \dfrac{nm}{N}$

Varianssi: $\Var(X) = \frac{nm(N - m)(N - n)}{N^3 - N}$

Lisätietoja:

• Englanniksi hypergeometric distribution.
• Lähtötilanteessa joukossa on $N$ alkiota, joista $m$ ovat halutunlaisia ja loput eivät. Kokeessa poimitaan palauttamatta $n$ alkion otos. $f(x)$ kuvaa todennäköisyyttä, jolla otokseen valikoituu $x$ kappaletta halutunlaisia alkioita.
• Esimerkiksi eri väristen pallojen poimiminen laatikosta.
• Jos $N \gg n$, niin palauttamatta tehty otanta on likimain sama kuin palauttaen tehty otanta.
• $\Hyperg(N, m, n) \approx \Bin\left(n, \frac{m}{N}\right)$, kun $n \leq \frac{N}{10}$.

Jatkuva tasajakauma, $\Tas(a, b)$

Otosavaruus: $\Omega = [a, b]$

Tiheysfunktio: $f(x)=\frac{1}{b-a}$

Odotusarvo: $\rE(X) = \dfrac{a + b}{2}$

Varianssi: $\Var(X) = \dfrac{(b - a)^2}{12}$

Momentit generoiva funktio: $M(t) = \begin{cases} 1, & \text{kun } t = 0 \\ \dfrac{e^{bt} - e^{at}}{t(b - a)}, & \text{kun } t \not= 0\end{cases}$

Lisätietoja:

• Englanniksi (continuous) uniform distribution, $\mathrm{Unif}(a, b)$.
• Monissa tietokoneohjelmissa satunnaisluvulla (random number) tarkoitetaan satunnaismuuttujan $X \sim \Tas(a, b)$ realisoitunutta arvoa. Muiden jatkuvien satunnaislukugeneraattoreiden toteutukset nojaavat jatkuvaan tasajakaumaan.

Eksponenttijakauma, $\Exp(\lambda)$

Otosavaruus: $\Omega = [0, \infty)$

Tiheysfunktio: $f(x) = \lambda e^{-\lambda x}$

Odotusarvo: $\rE(X) = \dfrac{1}{\lambda}$

Varianssi: $\Var(X) = \dfrac{1}{\lambda^2}$

Momentit generoiva funktio: $M(t) = \dfrac{\lambda}{\lambda - t},$ kun $0 \leq t < \lambda$

Lisätietoja:

• Englanniksi exponential distribution.

• Geometrisen jakauman jatkuva vastine.

• Unohtuvaisuusominaisuus (memorylessness): jos $X \sim \Exp(\lambda)$, niin

  $$P(X > x_1 + x_2 \mid X > x_1) = P(X > x_2).$$

• Esimerkiksi elektronisen komponentin ikä.

Normaalijakauma, $\rN(\mu, \sigma^2)$

Otosavaruus: $\Omega = \R$

Tiheysfunktio: $\displaystyle f(x) = \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{1}{2}\left( \frac{x-\mu}{\sigma} \right)^2}$

Odotusarvo: $\rE(X) = \mu$

Varianssi: $\Var(X) = \sigma^2$

Momentit generoiva funktio: $\displaystyle M(t)=e^{\mu t+\frac{1}{2}t^2\sigma^2}$

Lisätietoja:

• Englanniksi normal distribution tai Gaussian distribution.

• Jos $X \sim \rN(\mu, \sigma^2)$, niin $aX + b \sim \rN(a\mu + b, a^2\sigma^2)$.

• Jos $X_1 \sim \rN(\mu_1, \sigma_1^2)$ ja $X_2 \sim \rN(\mu_2, \sigma_2^2)$ ovat riippumattomia, niin

  $$X_1 + X_2 \sim \rN(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2).$$

• Keskeisen raja-arvolauseen perusteella usean satunnaismuuttujan summa (ja täten myös otoskeskiarvo) on likimain normaalisti jakautunut riippumatta niiden alkuperäisistä jakaumista.

• $\rN(np, np(1 - p)) \approx \Bin(n, p)$, kun $np \geq 5$ ja $n(1 - p) \geq 5$.

• Jos $Z_i \sim \rN(0, 1)$, $i = 1, 2, \ldots, n$ ovat riippumattomia, niin $\sum\limits_{i = 1}^n Z_i^2 \sim \chi^2(n)$.

$\chi^2$-jakauma, $\chi^2(n)$

Otosavaruus: $\Omega = [0, \infty)$

Tiheysfunktio: $f(x)=\dfrac{1}{2^{\frac{n}{2}}\Gamma\left(\frac{n}{2}\right)}x^{\frac{n}{2}-1}e^{-\frac{x}{2}}$, missä $\Gamma$ on Eulerin gammafunktio

Odotusarvo: $\rE(X) = n$

Varianssi: $\Var(X) = 2n$

Momentit generoiva funktio: $M(t) = (1 - 2t)^{-\frac{n}{2}}$, kun $t < \frac{1}{2}$

Lisätietoja:

• Englanniksi chi-squared distribution.

• Jos $X \sim \chi^2(n)$, niin satunnaismuuttuja $X$ on $\chi^2$-jakautunut vapausastein $n$ (degrees of freedom, df).

• Jos $Z_i \sim \rN(0, 1)$, $i = 1, 2, \ldots, n$ ovat riippumattomia, niin $\sum\limits_{i = 1}^n Z_i^2 \sim \chi^2(n)$.

• Jos $X_i \sim \rN(\mu, \sigma^2)$, $i = 1, 2, \ldots, n$ ovat riippumattomia, niin

  $$\dfrac{(n - 1)S^2}{\sigma^2} \sim \chi^2(n - 1).$$

Studentin $t$-jakauma, $t(n)$

Otosavaruus: $\Omega = \R$

Tiheysfunktio: $f(x)=\dfrac{1}{\sqrt{n\pi}}\dfrac{\Gamma\left(\frac{n+1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}\left(1+\dfrac{x^2}{n}\right)^{-\frac{n+1}{2}}$, missä $\Gamma$ on Eulerin gammafunktio

Odotusarvo: $\rE(X) = 0$, kun $n > 1$

Varianssi: $\Var(X) = \dfrac{n}{n - 2}$, kun $n > 2$

Lisätietoja:

• Englanniksi Student’s $t$-distribution.

• Jos $X \sim t(n)$, niin satunnaismuuttuja $X$ on $\tdist$-jakautunut vapausastein $n$ (degrees of freedom, df).

• $t$-jakauma lähestyy standardinormaalijakaumaa $\rN(0, 1)$, kun $n$ kasvaa rajatta.

• Jos $X_1, X_2, \ldots, X_n$ on otos muuttujasta $X \sim \rN(\mu, \sigma^2)$, niin

  $$\frac{\overline{X} - \mu}{s/\sqrt{n}} \sim t(n - 1).$$

$\rF$-jakauma, $\rF(n_1, n_2)$

Otosavaruus: $\Omega = [0, \infty)$

Tiheysfunktio: $f(x)=\dfrac{\Gamma\left(\frac{n_1+n_2}{2}\right)}{\Gamma\left(\frac{n_1}{2}\right)\Gamma\left(\frac{n_2}{2}\right)}\left(\dfrac{n_1}{n_2}\right)^{\frac{n_1}{2}}x^{\frac{n_1 - 2}{2}}\left(1 + \dfrac{n_1}{n_2}x\right)^{-\frac{n_1+n_2}{2}}$, missä $\Gamma$ on Eulerin gammafunktio

Odotusarvo: $\rE(X) = \dfrac{n_2}{n_2 - 2}$, kun $n_2 > 2$

Varianssi: $\Var(X) = \dfrac{2n_2^2(n_1 + n_2 - 2)}{n_1(n_2 - 2)^2(n_2 - 4)}$, kun $n_2 > 4$

Lisätietoja:

• Englanniksi $\rF$-distribution. Myös Fisherin jakauma tai Snedecorin jakauma.

• Jos $X \sim \rF(n_1, n_2)$, niin satunnaismuuttuja $X$ on $\rF$-jakautunut vapausastein $n_1$ ja $n_2$ (degrees of freedom, df).

• Jos $X_1 \sim \chi^2(n_1)$ ja $X_2 \sim \chi^2(n_2)$, niin

  $$F = \frac{X_1/n_1}{X_2/n_2} \sim \rF(n_1, n_2)\qquad\text{ja}\qquad \frac{1}{F} \sim \rF(n_2, n_1).$$

Palautusta lähetetään...