$$\newcommand{\N}{\mathbb N} \newcommand{\Z}{\mathbb Z} \newcommand{\Q}{\mathbb Q} \newcommand{\R}{\mathbb R} \renewcommand{\C}{\mathbb C} \newcommand{\ba}{\mathbf{a}} \newcommand{\bb}{\mathbf{b}} \newcommand{\bc}{\mathbf{c}} \newcommand{\bd}{\mathbf{d}} \newcommand{\be}{\mathbf{e}} \newcommand{\bbf}{\mathbf{f}} \newcommand{\bh}{\mathbf{h}} \newcommand{\bi}{\mathbf{i}} \newcommand{\bj}{\mathbf{j}} \newcommand{\bk}{\mathbf{k}} \newcommand{\bN}{\mathbf{N}} \newcommand{\bn}{\mathbf{n}} \newcommand{\bo}{\mathbf{0}} \newcommand{\bp}{\mathbf{p}} \newcommand{\bq}{\mathbf{q}} \newcommand{\br}{\mathbf{r}} \newcommand{\bs}{\mathbf{s}} \newcommand{\bT}{\mathbf{T}} \newcommand{\bu}{\mathbf{u}} \newcommand{\bv}{\mathbf{v}} \newcommand{\bw}{\mathbf{w}} \newcommand{\bx}{\mathbf{x}} \newcommand{\by}{\mathbf{y}} \newcommand{\bz}{\mathbf{z}} \newcommand{\bzero}{\mathbf{0}} \newcommand{\cA}{\mathcal{A}} \newcommand{\cB}{\mathcal{B}} \newcommand{\cC}{\mathcal{C}} \newcommand{\cD}{\mathcal{D}} \newcommand{\cE}{\mathcal{E}} \newcommand{\cF}{\mathcal{F}} \newcommand{\cG}{\mathcal{G}} \newcommand{\cH}{\mathcal{H}} \newcommand{\cI}{\mathcal{I}} \newcommand{\cJ}{\mathcal{J}} \newcommand{\cK}{\mathcal{K}} \newcommand{\cL}{\mathcal{L}} \newcommand{\cM}{\mathcal{M}} \newcommand{\cN}{\mathcal{N}} \newcommand{\cO}{\mathcal{O}} \newcommand{\cP}{\mathcal{P}} \newcommand{\cQ}{\mathcal{Q}} \newcommand{\cR}{\mathcal{R}} \newcommand{\cS}{\mathcal{S}} \newcommand{\cT}{\mathcal{T}} \newcommand{\cU}{\mathcal{U}} \newcommand{\cV}{\mathcal{V}} \newcommand{\cW}{\mathcal{W}} \newcommand{\cX}{\mathcal{X}} \newcommand{\cY}{\mathcal{Y}} \newcommand{\cZ}{\mathcal{Z}} \newcommand{\rA}{\mathrm{A}} \newcommand{\rB}{\mathrm{B}} \newcommand{\rC}{\mathrm{C}} \newcommand{\rD}{\mathrm{D}} \newcommand{\rE}{\mathrm{E}} \newcommand{\rF}{\mathrm{F}} \newcommand{\rG}{\mathrm{G}} \newcommand{\rH}{\mathrm{H}} \newcommand{\rI}{\mathrm{I}} \newcommand{\rJ}{\mathrm{J}} \newcommand{\rK}{\mathrm{K}} \newcommand{\rL}{\mathrm{L}} \newcommand{\rM}{\mathrm{M}} \newcommand{\rN}{\mathrm{N}} \newcommand{\rO}{\mathrm{O}} \newcommand{\rP}{\mathrm{P}} \newcommand{\rQ}{\mathrm{Q}} \newcommand{\rR}{\mathrm{R}} \newcommand{\rS}{\mathrm{S}} \newcommand{\rT}{\mathrm{T}} \newcommand{\rU}{\mathrm{U}} \newcommand{\rV}{\mathrm{V}} \newcommand{\rW}{\mathrm{W}} \newcommand{\rX}{\mathrm{X}} \newcommand{\rY}{\mathrm{Y}} \newcommand{\rZ}{\mathrm{Z}} \newcommand{\re}{\operatorname{Re}} \newcommand{\im}{\operatorname{Im}} \newcommand{\arsinh}{\operatorname{ar\,sinh}} \newcommand{\arcosh}{\operatorname{ar\,cosh}} \newcommand{\artanh}{\operatorname{ar\,tanh}} \newcommand{\diag}{\operatorname{diag}} \newcommand{\proj}{\operatorname{proj}} \newcommand{\rref}{\operatorname{rref}} \newcommand{\rank}{\operatorname{rank}} \newcommand{\Span}{\operatorname{span}} \renewcommand{\dim}{\operatorname{dim}} \newcommand{\alg}{\operatorname{alg}} \newcommand{\geom}{\operatorname{geom}} \newcommand{\id}{\operatorname{id}} \newcommand{\Var}{\operatorname{Var}} \newcommand{\Cov}{\operatorname{Cov}} \newcommand{\Corr}{\operatorname{Corr}} \newcommand{\Tasd}{\operatorname{Tasd}} \newcommand{\Ber}{\operatorname{Ber}} \newcommand{\Bin}{\operatorname{Bin}} \newcommand{\Geom}{\operatorname{Geom}} \newcommand{\Poi}{\operatorname{Poi}} \newcommand{\Hyperg}{\operatorname{Hyperg}} \newcommand{\Tas}{\operatorname{Tas}} \newcommand{\Exp}{\operatorname{Exp}} \newcommand{\tdist}{\operatorname{t}} \newcommand{\rd}{\mathrm{d}} \newcommand{\sij}[2]{\bigg/_{\mspace{-10mu}\,#1}^{\,#2}} \newcommand{\qedhere}{}$$

Kovarianssi, korrelaatio ja summan varianssi

Olkoot $X$ ja $Y$ sitten kaksi samaan satunnaiskokeeseen liittyvää satunnaismuuttujaa ja jatketaan niiden riippumattomuuden tutkimista. Jos muuttujat riippuvat toisistaan, niin sovelluksen kannalta on tärkeää tietää minkälainen ja kuinka voimakas riippuvuus on kyseessä. Seuraavassa rajoitutaan vain lineaarisen riippuvuuden tarkastelemiseen. Oletetaan, että satunnaismuuttujilla on odotusarvot

$$\rE(X) = \mu_X\qquad\text{ja}\qquad\rE(Y) = \mu_Y.$$

Muuttujien $X$ ja $Y$ välistä lineaarista riippuvuutta kuvataan tulon $(X-\mu_X)(Y-\mu_Y)$ odotusarvon avulla.

Määritelmä 3.4.1

Satunnaismuuttujien $X$ ja $Y$ kovarianssi (covariance)

$$\Cov(X,Y) = \sigma_{XY} = \rE((X-\mu_X)(Y-\mu_Y)).$$

Määritelmästä nähdään välittömästi, että $\Cov(X,X)=\rE((X-\mu_X)^2)=\Var(X)$, eli kovarianssi ikään kuin laajentaa varianssin käsitteen kahdelle satunnaismuuttujalle.

Lause 3.4.2

Satunnaismuuttujien $X$ ja $Y$ kovarianssi

$$\Cov(X,Y) = \rE(XY)-\rE(X)\rE(Y).$$

Näytä/piilota todistus

Väite seuraa kovarianssin määritelmästä ja odotusarvon lineaarisuudesta:

$$\begin{split}\begin{aligned} \Cov(X,Y) &= \rE((X-\mu_X)(Y-\mu_Y)) = \rE(XY-X\mu_Y-\mu_XY+\mu_X\mu_Y) \\ &= \rE(XY)-\rE(X)\mu_Y-\mu_X\rE(Y)+\mu_X\mu_Y = \rE(XY)-\mu_X\mu_Y, \end{aligned}\end{split}$$

missä $\mu_X = \rE(X)$ ja $\mu_Y = \rE(Y)$.

Question 1

Satunnaisvektori $(X,Y)$ saa arvoja $(1,0)$, $(0,1)$, $(-1,0)$ ja $(0,-1)$. Jokaisen arvon todennäköisyys on $1/4$. Mikä on kovarianssin $\Cov(X,Y)$ merkki?

$\Cov(X,Y)<0$

$\Cov(X,Y)=0$

$\Cov(X,Y)>0$

Question 2

Ovatko satunnaismuuttujat $X$ ja $Y$ riippumattomia?

Kyllä

Ei

Lause 3.4.3

Jos satunnaismuuttujat $X$ ja $Y$ ovat riippumattomia, niin $\Cov(X,Y)=0$.

Näytä/piilota todistus

Lauseessa 3.3.5 osoitettiin, että riippumattomille muuttujille $X$ ja $Y$ on voimassa $\rE(XY) = \rE(X)\rE(Y)$, joten väite seuraa suoraan edellisestä lauseesta.

Kuten aikaisemminkin, tätä lausetta ei voi yleisesti kääntää: ehdon $\Cov(X,Y)=0$ toteutuminen ei takaa satunnaismuuttujien $X$ ja $Y$ riippumattomuutta.

Question 1

Jos satunnaismuuttujat $X$ ja $Y$ ovat riippumattomia, niin $\Cov(X,Y) = 0$.

Väärin

Oikein

Question 2

Jos satunnaismuuttujille $X$ ja $Y$ on voimassa $\rE(XY) - \rE(X)\rE(Y) = 0$, niin ne ovat riippumattomia.

Väärin

Oikein

On tärkeää muistaa, että kovarianssin avulla voidaan ilmaista vain lineaarista riippuvuutta. Jos muuttujien $X$ ja $Y$ kovarianssi $\Cov(X,Y)>0$, poikkeamien $(X-\mu_X)$ ja $(Y-\mu_Y)$ voidaan tulkita olevan tyypillisesti samanmerkkisiä. Tällöin siis satunnaismuuttujille $X$ ja $Y$ realisoituvat arvot yleisesti ottaen kasvavat tai vähenevät samanaikaisesti. Lisäksi tällöin satunnaisvektorin $(X, Y)$ havaintoarvoja $(x, y)$ esiintyy yleensä eniten $xy$-tason siinä osassa, jossa $(X-\mu_X)(Y-\mu_Y)>0$.

Kovarianssin suuruus riippuu myös muuttujien $X$ ja $Y$ keskihajonnoista $\sqrt{\mathrm{Var}(X)}=\sigma_X$ ja $\sqrt{\mathrm{Var}(Y)}=\sigma_Y$, minkä vuoksi $\Cov(X,Y)$ ei kelpaa eri muuttujaparien välisten lineaaristen riippuvuuksien voimakkuuden vertailemiseen. Ongelma saadaan korjattua siirtymällä tutkimaan keskihajonnan suhteen normeerattujen satunnaismuuttujien $\hat{X} = \frac{1}{\sigma_X}X$ ja $\hat{Y} = \frac{1}{\sigma_Y}Y$ kovarianssia

$$\Cov(\hat{X}, \hat{Y}) = \rE(\hat{X}\hat{Y}) - \rE(\hat{X})\rE(\hat{Y}) = \frac{\rE(XY) - \rE(X)\rE(Y)}{\sigma_X\sigma_Y} = \frac{\Cov(X, Y)}{\sigma_X\sigma_Y}.$$

Määritelmä 3.4.4

Satunnaismuuttujien $X$ ja $Y$ välinen (lineaarinen) korrelaatio ((linear) correlation)

$$\Corr(X,Y)=\rho_{XY}=\frac{\Cov(X,Y)}{\sqrt{\Var(X)\Var(Y)}}.$$

Esimerkki 3.4.5

Esimerkin 3.3.2 satunnaisvektorin $(X,Y)$ tiheysfunktio on $f(x,y)=8xy$ otosavaruudessa $0<x<y<1$. Laske komponenttien $X$ ja $Y$ kovarianssi ja korrelaatio.

Näytä/piilota ratkaisu

Esimerkissä 3.3.2 laskettiin, että $\rE(XY)=\frac{4}{9}$, ja lisäksi

$$\begin{split}\begin{aligned} \rE(X) &= \int_0^1\int_0^{y}x8xy\,\rd x\rd y =\int_0^1\left(\sij{0}{y}\frac{8}{3}x^3y\right)\rd y \\ &=\int_0^1\frac{8}{3}y^4\,\rd y = \sij{0}{1}\frac{8}{15}y^5 = \frac{8}{15} \\ \rE(Y) &= \int_0^1\int_0^{y}y8xy\,\rd x\rd y = \int_0^1\left(\sij{0}{y}4x^2y^2\right)\rd y \\ &=\int_0^14y^4\,\rd y = \sij{0}{1}\frac{4}{5}y^5 = \frac{4}{5}. \end{aligned}\end{split}$$

Täten

$$\Cov(X,Y) = \rE(XY) - \rE(X)\rE(Y) = \frac{4}{9} - \frac{8}{15}\cdot\frac{4}{5} = \frac{4}{225}.$$

Seuraavaksi lasketaan tulosten $\rE(X^2) = \frac{1}{3}$ ja $\rE(Y^2) = \frac{2}{3}$ (tarkista!) avulla, että

$$\begin{split}\begin{aligned} \Var(X) &= \rE(X^2) - \rE(X)^2 = \frac{1}{3} - \left(\frac{8}{15}\right)^2 = \frac{11}{225} \\ \Var(Y) &= \rE(Y^2) - \rE(Y)^2 = \frac{2}{3} - \left(\frac{12}{15}\right)^2 = \frac{6}{225}, \end{aligned}\end{split}$$

jolloin

$$\Corr(X,Y)=\frac{\Cov(X,Y)}{\sqrt{\Var(X)\Var(Y)}} = \frac{\frac{4}{225}}{{\sqrt{\frac{11}{225} \cdot \frac{6}{225}}}} = \frac{4}{\sqrt{66}} \approx 0{,}4924.\qedhere$$

Lause 3.4.6

Satunnaismuuttujien $X$ ja $Y$ korrelaatio toteuttaa seuraavat väitteet.

1. $-1 \leq \Corr(X,Y) \leq 1$.
2. $\left|\Corr(X, Y)\right| = 1$ jos ja vain jos $P(Y = aX + b) = 1$ joillakin vakioilla $a \not= 0$ ja $b$. Tässä $a > 0$ jos $\Corr(X, Y) = 1$, ja $a < 0$ jos $\Corr(X, Y) = -1$.

Mitä suurempi $\left|\Corr(X,Y)\right|$ on, sen voimakkaammasta lineaarisesta riippuvuudesta on kyse, eli sitä tiiviimmin satunnaisvektorin $(X, Y)$ havaintoarvot $(x, y)$ osuvat suoran kuvaajalle. Korrelaation arvot $\Corr(X,Y)=\pm1$ kuvaavat täydellistä lineaarista riippuvuutta. Arvosta $\Corr(X,Y)=0$ voidaan päätellä vain, että muuttujien $X$ ja $Y$ välillä ei ole lineaarista riippuvuutta. Sen sijaan muun luonteista riippuvuutta voi olla.

Korrelaatiokertoimen arvosta voidaan tehdä esimerkiksi seuraavanlaisia sanallisia tulkintoja. Muuttujien $X$ ja $Y$ välinen lineaarinen riippuvuus on

• voimakas, jos $|\rho_{XY}| \geq 0{,}8$,
• huomattava, jos $0{,}6\leq |\rho_{XY}| < 0{,}8$,
• kohtalainen, jos $0{,}3\leq |\rho_{XY}| < 0{,}6$,
• merkityksetön, jos $|\rho_{XY}| < 0{,}3$.

Kun korrelaatiota mitataan satunnaismuuttujiin $X$ ja $Y$ liittyvästä empiirisestä aineistosta, on aina suotavaa muodostaa ensin havaintoaineiston pisteparvi, eli sirontakuvio (scatter plot), jossa havaintoarvoparit $(x,y)$ piirretään $xy$-koordinaatistoon. Sirontakuvion avulla voidaan arvioida, onko lineaarisen riippuvuuden mittaaminen edes järkevää, sekä havaita mahdolliset poikkeavat tulokset, joille korrelaatio on herkkä. Alla on kuvattu joitakin sirontakuvioita ja korrelaatiokertoimia.

Regressioanalyysissa (regression analysis) tutkitaan tarkemmin havaintoaineiston muuttujien lineaarisia riippuvuuksia, mutta siihen palataan vasta myöhemmällä opintojaksolla.

Lause 3.4.7

Satunnaismuuttujien $X$ ja $Y$ lineaarisen lausekkeen varianssi

$$\Var(aX+bY)=a^2\Var(X)+b^2\Var(Y)+2ab\Cov(X,Y).$$

Erityisesti, jos $X$ ja $Y$ ovat riippumattomia, niin

$$\Var(aX+bY)=a^2\Var(X)+b^2\Var(Y).$$

Näytä/piilota todistus

Tuloksen $\Var(X)=\rE(X^2)-(\rE(x))^2$ ja odotusarvon lineaarisuuden, lause 3.3.4 nojalla

$$\begin{split}\begin{aligned} \Var(aX + bY) &= \rE((aX + bY)^2) - \rE(aX + bY)^2 \\ &= \rE(a^2X^2 + 2abXY + b^2\rE(Y^2)) - (a\rE(X) + b\rE(Y))^2 \\ &= a^2(\rE(X^2) - \rE(X)^2) + b^2(\rE(Y^2) - \rE(Y)^2) + 2ab(\rE(XY) - \rE(X)\rE(Y)) \\ &= a^2\Var(X) + b^2\Var(Y) + 2ab\Cov(X, Y), \end{aligned}\end{split}$$

kuten väitettiinkin. Jos muuttujat $X$ ja $Y$ ovat riippumattomia, niin $\Cov(X, Y) = 0$, ja varianssi sievenee toisen väitteen muotoon.

Tämä tulos yleistyy induktiolla useamman kuin kahden satunnaismuuttujan lineaarisille lausekkeille.

Lause 3.4.8

Jos satunnaismuuttujat $X_1,X_2,\ldots,X_n$ ovat riippumattomia ja $a_1, a_2, \ldots, a_n$ vakioita, niin

$$\Var(a_1X_1+a_2X_2+\ldots+a_nX_n)= a_1^2\Var(X_1)+a_2^2\Var(X_2)+\cdots+a_n^2\Var(X_n).$$

Esimerkki 3.4.9

Jos muuttujien $X$ ja $Y$ varianssit ovat $\sigma_X^2=2$ ja $\sigma_Y^2=4$, sekä niiden kovarianssi $\sigma_{XY}=-2$, niin satunnaismuuttujan $U=3X-4Y+8$ varianssi

$$\begin{aligned} \sigma_U^2 &= \Var(3X-4Y+8) = \Var(3X-4Y) = 3^2\sigma_X^2+(-4)^2\sigma_Y^2+2\cdot3\cdot(-4)\sigma_{XY}=130. \end{aligned}$$

Palautusta lähetetään...