\[% MATHEMATICAL SYMBOLS --------------------------------------------------
% Lukualueet
\newcommand{\N}{\mathbb N}
\newcommand{\Z}{\mathbb Z}
\newcommand{\Q}{\mathbb Q}
\newcommand{\R}{\mathbb R}
\renewcommand{\C}{\mathbb C}
% Lihavoidut vektorit.
\newcommand{\ba}{\mathbf{a}}
\newcommand{\bb}{\mathbf{b}}
\newcommand{\bc}{\mathbf{c}}
\newcommand{\bd}{\mathbf{d}}
\newcommand{\be}{\mathbf{e}}
\newcommand{\bbf}{\mathbf{f}}
\newcommand{\bh}{\mathbf{h}}
\newcommand{\bi}{\mathbf{i}}
\newcommand{\bj}{\mathbf{j}}
\newcommand{\bk}{\mathbf{k}}
\newcommand{\bN}{\mathbf{N}}
\newcommand{\bn}{\mathbf{n}}
\newcommand{\bo}{\mathbf{0}}
\newcommand{\bp}{\mathbf{p}}
\newcommand{\bq}{\mathbf{q}}
\newcommand{\br}{\mathbf{r}}
\newcommand{\bs}{\mathbf{s}}
\newcommand{\bT}{\mathbf{T}}
\newcommand{\bu}{\mathbf{u}}
\newcommand{\bv}{\mathbf{v}}
\newcommand{\bw}{\mathbf{w}}
\newcommand{\bx}{\mathbf{x}}
\newcommand{\by}{\mathbf{y}}
\newcommand{\bz}{\mathbf{z}}
\newcommand{\bzero}{\mathbf{0}}
% Kaunokirjaimet
\newcommand{\cA}{\mathcal{A}}
\newcommand{\cB}{\mathcal{B}}
\newcommand{\cC}{\mathcal{C}}
\newcommand{\cD}{\mathcal{D}}
\newcommand{\cE}{\mathcal{E}}
\newcommand{\cF}{\mathcal{F}}
\newcommand{\cG}{\mathcal{G}}
\newcommand{\cH}{\mathcal{H}}
\newcommand{\cI}{\mathcal{I}}
\newcommand{\cJ}{\mathcal{J}}
\newcommand{\cK}{\mathcal{K}}
\newcommand{\cL}{\mathcal{L}}
\newcommand{\cM}{\mathcal{M}}
\newcommand{\cN}{\mathcal{N}}
\newcommand{\cO}{\mathcal{O}}
\newcommand{\cP}{\mathcal{P}}
\newcommand{\cQ}{\mathcal{Q}}
\newcommand{\cR}{\mathcal{R}}
\newcommand{\cS}{\mathcal{S}}
\newcommand{\cT}{\mathcal{T}}
\newcommand{\cU}{\mathcal{U}}
\newcommand{\cV}{\mathcal{V}}
\newcommand{\cW}{\mathcal{W}}
\newcommand{\cX}{\mathcal{X}}
\newcommand{\cY}{\mathcal{Y}}
\newcommand{\cZ}{\mathcal{Z}}
% Pystykirjaimet
\newcommand{\rA}{\mathrm{A}}
\newcommand{\rB}{\mathrm{B}}
\newcommand{\rC}{\mathrm{C}}
\newcommand{\rD}{\mathrm{D}}
\newcommand{\rE}{\mathrm{E}}
\newcommand{\rF}{\mathrm{F}}
\newcommand{\rG}{\mathrm{G}}
\newcommand{\rH}{\mathrm{H}}
\newcommand{\rI}{\mathrm{I}}
\newcommand{\rJ}{\mathrm{J}}
\newcommand{\rK}{\mathrm{K}}
\newcommand{\rL}{\mathrm{L}}
\newcommand{\rM}{\mathrm{M}}
\newcommand{\rN}{\mathrm{N}}
\newcommand{\rO}{\mathrm{O}}
\newcommand{\rP}{\mathrm{P}}
\newcommand{\rQ}{\mathrm{Q}}
\newcommand{\rR}{\mathrm{R}}
\newcommand{\rS}{\mathrm{S}}
\newcommand{\rT}{\mathrm{T}}
\newcommand{\rU}{\mathrm{U}}
\newcommand{\rV}{\mathrm{V}}
\newcommand{\rW}{\mathrm{W}}
\newcommand{\rX}{\mathrm{X}}
\newcommand{\rY}{\mathrm{Y}}
\newcommand{\rZ}{\mathrm{Z}}
% Operaattorit
\newcommand{\re}{\operatorname{Re}}
\newcommand{\im}{\operatorname{Im}}
\newcommand{\arsinh}{\operatorname{ar\,sinh}}
\newcommand{\arcosh}{\operatorname{ar\,cosh}}
\newcommand{\artanh}{\operatorname{ar\,tanh}}
%\newcommand{\dist}{\operatorname{d}}
\newcommand{\diag}{\operatorname{diag}}
\newcommand{\proj}{\operatorname{proj}}
\newcommand{\rref}{\operatorname{rref}}
\newcommand{\rank}{\operatorname{rank}}
\newcommand{\Span}{\operatorname{span}}
\renewcommand{\dim}{\operatorname{dim}}
\newcommand{\alg}{\operatorname{alg}}
\newcommand{\geom}{\operatorname{geom}}
\newcommand{\id}{\operatorname{id}}
% Todennäköisyyslaskenta
\newcommand{\Var}{\operatorname{Var}}
\newcommand{\Cov}{\operatorname{Cov}}
\newcommand{\Corr}{\operatorname{Corr}}
\newcommand{\Tasd}{\operatorname{Tasd}}
\newcommand{\Ber}{\operatorname{Ber}}
\newcommand{\Bin}{\operatorname{Bin}}
\newcommand{\Geom}{\operatorname{Geom}}
\newcommand{\Poi}{\operatorname{Poi}}
\newcommand{\Hyperg}{\operatorname{Hyperg}}
\newcommand{\Tas}{\operatorname{Tas}}
\newcommand{\Exp}{\operatorname{Exp}}
\newcommand{\tdist}{\operatorname{t}}
% Pysty-d differentiaaliin
\newcommand{\rd}{\mathrm{d}}
% Sijoitus integraaliin
\newcommand{\sij}[2]{\bigg/_{\mspace{-10mu}\,#1}^{\,#2}}\]
Kovarianssi, korrelaatio ja summan varianssi
Olkoot \(X\) ja \(Y\) sitten kaksi samaan satunnaiskokeeseen liittyvää satunnaismuuttujaa ja jatketaan niiden riippumattomuuden tutkimista. Jos muuttujat riippuvat toisistaan, niin sovelluksen kannalta on tärkeää tietää minkälainen ja kuinka voimakas riippuvuus on kyseessä. Seuraavassa rajoitutaan vain lineaarisen riippuvuuden tarkastelemiseen. Oletetaan, että satunnaismuuttujilla on odotusarvot
\[\rE(X) = \mu_X\qquad\text{ja}\qquad\rE(Y) = \mu_Y.\]
Muuttujien \(X\) ja \(Y\) välistä lineaarista riippuvuutta kuvataan tulon \((X-\mu_X)(Y-\mu_Y)\) odotusarvon avulla.
Määritelmästä nähdään välittömästi, että \(\Cov(X,X)=\rE((X-\mu_X)^2)=\Var(X)\), eli kovarianssi ikään kuin laajentaa varianssin käsitteen kahdelle satunnaismuuttujalle.
Lause 4.4.2
Satunnaismuuttujien \(X\) ja \(Y\) kovarianssi
\[\Cov(X,Y) = \rE(XY)-\rE(X)\rE(Y).\]
Todistus
Väite seuraa kovarianssin määritelmästä ja odotusarvon lineaarisuudesta:
\[\begin{split}\begin{aligned}
\Cov(X,Y) &= \rE((X-\mu_X)(Y-\mu_Y)) = \rE(XY-X\mu_Y-\mu_XY+\mu_X\mu_Y) \\
&= \rE(XY)-\rE(X)\mu_Y-\mu_X\rE(Y)+\mu_X\mu_Y = \rE(XY)-\mu_X\mu_Y,
\end{aligned}\end{split}\]
missä \(\mu_X = \rE(X)\) ja \(\mu_Y = \rE(Y)\).
Lause 4.4.3
Jos satunnaismuuttujat \(X\) ja \(Y\) ovat riippumattomia, niin \(\Cov(X,Y)=0\).
Todistus
Lauseessa 4.3.5 osoitettiin, että riippumattomille muuttujille
\(X\) ja
\(Y\) on voimassa
\(\rE(XY) = \rE(X)\rE(Y)\), joten väite seuraa suoraan edellisestä lauseesta.
Kuten aikaisemminkin, tätä lausetta ei voi yleisesti kääntää: ehdon \(\Cov(X,Y)=0\) toteutuminen ei takaa satunnaismuuttujien \(X\) ja \(Y\) riippumattomuutta.
On tärkeää muistaa, että kovarianssin avulla voidaan ilmaista vain lineaarista riippuvuutta. Jos muuttujien \(X\) ja \(Y\) kovarianssi \(\Cov(X,Y)>0\), poikkeamien \((X-\mu_X)\) ja \((Y-\mu_Y)\) voidaan tulkita olevan tyypillisesti samanmerkkisiä. Tällöin siis satunnaismuuttujille \(X\) ja \(Y\) realisoituvat arvot yleisesti ottaen kasvavat tai vähenevät samanaikaisesti. Lisäksi tällöin satunnaisvektorin \((X, Y)\) havaintoarvoja \((x, y)\) esiintyy yleensä eniten \(xy\)-tason siinä osassa, jossa \((X-\mu_X)(Y-\mu_Y)>0\).
Kovarianssin suuruus riippuu osittain satunnaismuuttujien \(X\) ja \(Y\) keskihajonnoista \(\sqrt{\mathrm{Var}(X)}=\sigma_X\) ja \(\sqrt{\mathrm{Var}(Y)}=\sigma_Y\), minkä vuoksi \(\Cov(X,Y)\) ei kelpaa eri muuttujaparien välisten lineaaristen riippuvuuksien voimakkuuden vertailemiseen. Ongelma saadaan korjattua siirtymällä tutkimaan keskihajonnan suhteen normeerattujen satunnaismuuttujien \(\hat{X} = \frac{1}{\sigma_X}X\) ja \(\hat{Y} = \frac{1}{\sigma_Y}Y\) kovarianssia
\[\Cov(\hat{X}, \hat{Y}) = \rE(\hat{X}\hat{Y}) - \rE(\hat{X})\rE(\hat{Y}) = \frac{\rE(XY) - \rE(X)\rE(Y)}{\sigma_X\sigma_Y} = \frac{\Cov(X, Y)}{\sigma_X\sigma_Y}.\]
Esimerkki 4.4.5
Aikaisemman esimerkin 4.3.2 satunnaisvektorin \((X,Y)\) tiheysfunktio on \(f(x,y)=8xy\), kun \(0<x<y<1\). Laske komponenttien \(X\) ja \(Y\) kovarianssi ja korrelaatio.
Ratkaisu
Esimerkissä 4.3.2 laskettiin, että \(\rE(XY)=\frac{4}{9}\), ja lisäksi
\[\begin{split}\begin{aligned}
\rE(X) &= \int_0^1\int_0^{y}x8xy\,\rd x\rd y =\int_0^1\left(\sij{0}{y}\frac{8}{3}x^3y\right)\rd y \\
&=\int_0^1\frac{8}{3}y^4\,\rd y = \sij{0}{1}\frac{8}{15}y^5 = \frac{8}{15} \\
\rE(Y) &= \int_0^1\int_0^{y}y8xy\,\rd x\rd y = \int_0^1\left(\sij{0}{y}4x^2y^2\right)\rd y \\
&=\int_0^14y^4\,\rd y = \sij{0}{1}\frac{4}{5}y^5 = \frac{4}{5}.
\end{aligned}\end{split}\]
Täten
\[\Cov(X,Y) = \rE(XY) - \rE(X)\rE(Y) = \frac{4}{9} - \frac{8}{15}\cdot\frac{4}{5} = \frac{4}{225}.\]
Seuraavaksi lasketaan tulosten \(\rE(X^2) = \frac{1}{3}\) ja \(\rE(Y^2) = \frac{2}{3}\) (tarkista!) avulla, että
\[\begin{split}\begin{aligned}
\Var(X) &= \rE(X^2) - \rE(X)^2 = \frac{1}{3} - \left(\frac{8}{15}\right)^2 = \frac{11}{225} \\
\Var(Y) &= \rE(Y^2) - \rE(Y)^2 = \frac{2}{3} - \left(\frac{12}{15}\right)^2 = \frac{6}{225},
\end{aligned}\end{split}\]
jolloin
\[\Corr(X,Y)=\frac{\Cov(X,Y)}{\sqrt{\Var(X)\Var(Y)}} = \frac{\frac{4}{225}}{{\sqrt{\frac{11}{225} \cdot \frac{6}{225}}}} = \frac{4}{\sqrt{66}} \approx 0{,}4924.\]
Lause 4.4.6
Satunnaismuuttujien \(X\) ja \(Y\) korrelaatio toteuttaa seuraavat väitteet.
- \(-1 \leq \Corr(X,Y) \leq 1\).
- \(\left|\Corr(X, Y)\right| = 1\) jos ja vain jos \(P(Y = aX + b) = 1\) joillakin vakioilla \(a \not= 0\) ja \(b\). Tässä \(a > 0\) jos \(\Corr(X, Y) = 1\), ja \(a < 0\) jos \(\Corr(X, Y) = -1\).
Mitä suurempi \(\left|\Corr(X,Y)\right|\) on, sen voimakkaammasta lineaarisesta riippuvuudesta on kyse, eli sitä tiiviimmin satunnaisvektorin \((X, Y)\) havaintoarvot \((x, y)\) osuvat suoran kuvaajalle. Korrelaation arvot \(\Corr(X,Y)=\pm1\) kuvaavat täydellistä lineaarista riippuvuutta. Arvosta \(\Corr(X,Y)=0\) voidaan päätellä vain, että muuttujien \(X\) ja \(Y\) välillä ei ole lineaarista riippuvuutta. Sen sijaan muun luonteista riippuvuutta voi olla.
Korrelaatiokertoimen arvosta voidaan tehdä esimerkiksi seuraavanlaisia sanallisia tulkintoja. Muuttujien \(X\) ja \(Y\) välinen lineaarinen riippuvuus on
- voimakas, jos \(|\rho_{XY}| \geq 0{,}8\),
- huomattava, jos \(0{,}6\leq |\rho_{XY}| < 0{,}8\),
- kohtalainen, jos \(0{,}3\leq |\rho_{XY}| < 0{,}6\),
- merkityksetön, jos \(|\rho_{XY}| < 0{,}3\).
Kun korrelaatiota mitataan satunnaismuuttujiin \(X\) ja \(Y\) liittyvästä empiirisestä aineistosta, on aina suotavaa muodostaa ensin havaintoaineiston pisteparvi, eli sirontakuvio (scatter plot), jossa havaintoarvoparit \((x,y)\) piirretään \(xy\)-koordinaatistoon. Sirontakuvion avulla voidaan arvioida, onko lineaarisen riippuvuuden mittaaminen edes järkevää, sekä havaita mahdolliset poikkeavat tulokset, joille korrelaatio on herkkä. Alla on kuvattu joitakin sirontakuvioita ja korrelaatiokertoimia.
Regressioanalyysissa (regression analysis) tutkitaan tarkemmin havaintoaineiston muuttujien lineaarisia riippuvuuksia, mutta siihen palataan vasta myöhemmällä opintojaksolla.
Lause 4.4.7
Satunnaismuuttujien \(X\) ja \(Y\) lineaarisen lausekkeen varianssi
\[\Var(aX+bY)=a^2\Var(X)+b^2\Var(Y)+2ab\Cov(X,Y).\]
Erityisesti, jos \(X\) ja \(Y\) ovat riippumattomia, niin
\[\Var(aX+bY)=a^2\Var(X)+b^2\Var(Y).\]
Todistus
Tuloksen \(\Var(X)=\rE(X^2)-(\rE(x))^2\) ja odotusarvon lineaarisuuden, lause 4.3.4 nojalla
\[\begin{split}\begin{aligned}
\Var(aX + bY) &= \rE((aX + bY)^2) - \rE(aX + bY)^2 \\
&= \rE(a^2X^2 + 2abXY + b^2\rE(Y^2)) - (a\rE(X) + b\rE(Y))^2 \\
&= a^2(\rE(X^2) - \rE(X)^2) + b^2(\rE(Y^2) - \rE(Y)^2) + 2ab(\rE(XY) - \rE(X)\rE(Y)) \\
&= a^2\Var(X) + b^2\Var(Y) + 2ab\Cov(X, Y),
\end{aligned}\end{split}\]
kuten väitettiinkin. Jos muuttujat \(X\) ja \(Y\) ovat riippumattomia, niin \(\Cov(X, Y) = 0\), ja varianssi sievenee toisen väitteen muotoon.
Tämä tulos yleistyy induktiolla useamman kuin kahden satunnaismuuttujan lineaarisille lausekkeille.
Lause 4.4.8
Jos satunnaismuuttujat \(X_1,X_2,\ldots,X_n\) ovat riippumattomia ja \(a_1, a_2, \ldots, a_n\) vakioita, niin
\[\Var(a_1X_1+a_2X_2+\ldots+a_nX_n)=
a_1^2\Var(X_1)+a_2^2\Var(X_2)+\cdots+a_n^2\Var(X_n).\]
Esimerkki 4.4.9
Jos muuttujien \(X\) ja \(Y\) varianssit ovat \(\sigma_X^2=2\) ja \(\sigma_Y^2=4\), sekä niiden kovarianssi \(\sigma_{XY}=-2\), niin satunnaismuuttujan \(U=3X-4Y+8\) varianssi
\[\begin{aligned}
\sigma_U^2 &= \Var(3X-4Y+8) = \Var(3X-4Y) = 3^2\sigma_X^2+(-4)^2\sigma_Y^2+2\cdot3\cdot(-4)\sigma_{XY}=130.
\end{aligned}\]
