統計学メモ:2変量正規分布

・本稿の内容
2変量正規分布についての基本事項をメモします。

・本文

Ⅰ: 2変量正規分布の同時確率密度関数
Ⅱ: 2変量正規分布の周辺確率密度関数
Ⅲ: 2変量正規分布の条件付き期待値、分散
Ⅳ:参考文献、参考サイト

Ⅰ: 2変量正規分布の同時確率密度関数

確率変数ベクトル $\boldsymbol{x} = \left(\begin{array}{c} x_1\\ x_2\\ \end{array}\right)$ が平均ベクトル $\boldsymbol{\mu} =\left(\begin{array}{c} \mu_1\\ \mu_2\\ \end{array}\right)$ ,分散共分散行列 $\boldsymbol{\Sigma}=\begin{pmatrix} \sigma_{11} & \sigma_{12}\\ \sigma_{21} & \sigma_{22}\\ \end{pmatrix}$ の2変量正規分布に従うとき、

$\boldsymbol{x} = \left(\begin{array}{c} x_1\\ x_2\\ \end{array}\right) \sim N(\boldsymbol{\mu},\boldsymbol{\Sigma})= N \left ( \left(\begin{array}{c} \mu_1\\ \mu_2\\ \end{array}\right) , \begin{pmatrix} \sigma_{11} & \sigma_{12}\\ \sigma_{21} & \sigma_{22}\\ \end{pmatrix} \right )・・・①$

と書く。

2変量正規分布の確率密度関数は

$f(\boldsymbol{x})=\dfrac{1}{(\sqrt{2\pi})^{2}\sqrt{\mid \boldsymbol{\Sigma} \mid}}exp\left[-\dfrac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^t \boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\right]・・・②$

と書ける。②式をベクトル表記、行列表記を用いずに、スカラー表記で書き換えてみる。(※ $\mid \boldsymbol{\Sigma} \mid$ は $\boldsymbol{\Sigma}$ の行列式。)

ここで

$\mid \boldsymbol{\Sigma} \mid = \sigma_{11}\sigma_{22}-\sigma_{12}\sigma_{21}・・・③$

である。 $\sigma_{12}=\sigma_{21}$ と $\sigma_{12}^2=\rho_{12}^{2}\sigma_{11}\sigma_{22}(※\rho_{12}は相関係数)$ に注意してさらに書き直すと

$\begin{eqnarray} \mid \boldsymbol{\Sigma} \mid &=& \sigma_{11}\sigma_{22}-\sigma_{12}\sigma_{21}\\ &=& \sigma_{11}\sigma_{22}-\rho_{12}^{2}\sigma_{11}\sigma_{22}\\ &=& \sigma_{11}\sigma_{22}(1-\rho_{12}^{2})・・・④\\ \end{eqnarray}$

と書ける。④式を利用して、 $\boldsymbol{\Sigma}^{-1}$ を求める。

$\begin{eqnarray} \boldsymbol{\Sigma}^{-1} &=& \dfrac{1}{\mid \boldsymbol{\Sigma} \mid} \begin{pmatrix} \sigma_{22} & {-}\sigma_{12}\\ {-}\sigma_{21} & \sigma_{11}\\ \end{pmatrix}\\ &=& \dfrac{1}{\sigma_{11}\sigma_{22}(1-\rho_{12}^{2})} \begin{pmatrix} \sigma_{22} & {-}\sigma_{12}\\ {-}\sigma_{21} & \sigma_{11}\\ \end{pmatrix}・・・⑤\\ \end{eqnarray}$

⑤式を用いて、②式の $(\boldsymbol{x}-\boldsymbol{\mu})^t \boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})$ を計算する。

$\begin{eqnarray} (\boldsymbol{x}-\boldsymbol{\mu})^t \boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu}) &=& (x_{1}-\mu_{1},x_{2}-\mu_{2})\boldsymbol{\Sigma}^{-1}\left(\begin{array}{c} x_1-\mu_{1}\\ x_2-\mu_{2}\\ \end{array}\right)\\ &=& \dfrac{1}{\sigma_{11}\sigma_{22}(1-\rho_{12}^{2})} (x_{1}-\mu_{1},x_{2}-\mu_{2}) \begin{pmatrix} \sigma_{22} & {-}\sigma_{12}\\ {-}\sigma_{21} & \sigma_{11}\\ \end{pmatrix} \left(\begin{array}{c} x_1-\mu_{1}\\ x_2-\mu_{2}\\ \end{array}\right)\\ &=& \dfrac{1}{\sigma_{11}\sigma_{22}(1-\rho_{12}^{2})} [\sigma_{22}(x_{1}-\mu_{1})-\sigma_{21}(x_{2}-\mu_{2}),-\sigma_{12}(x_{1}-\mu_{1})+\sigma_{11}(x_{2}-\mu_{2})] \left(\begin{array}{c} x_1-\mu_{1}\\ x_2-\mu_{2}\\ \end{array}\right)\\ &=& \dfrac{1}{\sigma_{11}\sigma_{22}(1-\rho_{12}^{2})} [\sigma_{22}(x_{1}-\mu_{1})^{2} -2\sigma_{12}(x_{1}-\mu_{1})(x_{2}-\mu_{2})+\sigma_{11}(x_{2}-\mu_{2})^{2} ]・・・⑥\\ \end{eqnarray}$

④式と⑥式を用いて②式を書き直すと②式のスカラー表記版の式が得られる。

$\begin{eqnarray} f(\boldsymbol{x})&=&\dfrac{1}{(\sqrt{2\pi})^{2}\sqrt{\mid \boldsymbol{\Sigma} \mid}}exp\left[-\dfrac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^t \boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\right]\\ &=& \dfrac{1}{2\pi\sqrt{\sigma_{11}\sigma_{22}(1-\rho_{12}^{2})}}exp\left[-\dfrac{1}{2\sigma_{11}\sigma_{22}(1-\rho_{12}^{2})}\left\lbrace \sigma_{22}(x_{1}-\mu_{1})^{2} -2\sigma_{12}(x_{1}-\mu_{1})(x_{2}-\mu_{2})+\sigma_{11}(x_{2}-\mu_{2})^{2} \right\rbrace\right]・・・⑦ \end{eqnarray}$

Ⅱ: 2変量正規分布の周辺確率密度関数

$x_{1}$ の周辺確率密度関数 $f(x_{1})=\int_{-\infty}^{\infty}f(x_{1},x_{2})dx_{2}$ を求める。⑦式を用いると $x_{1}$ の周辺確率密度関数は

$\begin{equation} \begin{split} f(x_{1}) &=\dfrac{1}{2\pi\sqrt{\sigma_{11}\sigma_{22}(1-\rho_{12}^{2})}}\\ &\quad×\int_{-\infty}^{\infty}exp\left[-\dfrac{1}{2\sigma_{11}\sigma_{22}(1-\rho_{12}^{2})}\left\lbrace \sigma_{22}(x_{1}-\mu_{1})^{2} -2\sigma_{12}(x_{1}-\mu_{1})(x_{2}-\mu_{2})+\sigma_{11}(x_{2}-\mu_{2})^{2} \right\rbrace\right]dx_{2}・・・⑧ \end{split} \end{equation}$

と書ける。ここで⑧式右辺の $\lbrace\rbrace$ のなかに注目し、式変形を行う。

$\left\lbrace \sigma_{22}(x_{1}-\mu_{1})^{2} -2\sigma_{12}(x_{1}-\mu_{1})(x_{2}-\mu_{2})+\sigma_{11}(x_{2}-\mu_{2})^{2} \right\rbrace\\ =\left\lbrace \rho_{12}^{2}\sigma_{22}(x_{1}-\mu_{1})^{2}+(1-\rho_{12}^{2})\sigma_{22}(x_{1}-\mu_{1})^{2} -2\sigma_{12}(x_{1}-\mu_{1})(x_{2}-\mu_{2})+\sigma_{11}(x_{2}-\mu_{2})^{2} \right\rbrace・・・⑨$

⑨式を⑧式に当てはめ、⑧式の $exp$ の $(1-\rho_{12}^{2})\sigma_{22}(x_{1}-\mu_{1})^{2}$ の部分を $\int$ の外側に出し、式を整理する。

$\begin{equation} \begin{split} f(x_{1})&=\dfrac{1}{\sqrt{2\pi}\sqrt{\sigma_{11}}}exp\left[ -\dfrac{(x_{1}-\mu_{1})^{2}}{2\sigma_{11}}\right]\int_{-\infty}^{\infty}\dfrac{1}{\sqrt{2\pi}\sqrt{1-\rho_{12}^{2}}\sqrt{\sigma_{22}}}\\ &\quad ×exp\left[-\dfrac{1}{2\sigma_{22}(1-\rho_{12}^{2})}\left\lbrace (x_{2}-\mu_{2})-\rho_{12}^{2}\dfrac{\sqrt{\sigma_{22}}}{\sqrt{\sigma_{11}}}(x_{1}-\mu_{1}) \right\rbrace ^{2}\right]dx_{2}・・・⑩ \end{split} \end{equation}$

⑩式の積分は $N\left(\mu_{1}+\rho_{12}^{2}\dfrac{\sqrt{\sigma_{22}}}{\sqrt{\sigma_{11}}}(x_{1}-\mu_{1}),\sigma_{22}(1-\rho_{12}^{2})\right)$ に従う確率変数の確率密度関数を $-\infty$ から $\infty$ までを積分しているから、積分の値は $1$ である。

よって

$f(x_1)=\dfrac{1}{\sqrt{2\pi}\sqrt{\sigma_{11}}}exp\left[ -\dfrac{(x_{1}-\mu_{1})^{2}}{2\sigma_{11}}\right]・・・⑪$

となる。同様にして $f(x_2)$ も

$f(x_2)=\dfrac{1}{\sqrt{2\pi}\sqrt{\sigma_{22}}}exp\left[ -\dfrac{(x_{2}-\mu_{2})^{2}}{2\sigma_{22}}\right]・・・⑫$

となる。

Ⅲ: 2変量正規分布の条件付き期待値、分散

$x_1$ の条件付き期待値 $E[ x_1 \mid x_2]$ ,条件付き分散 $V[ x_1 \mid x_2]$ を求める。
$x_1$ の条件付き分布は

$f(x_1\mid x_2)=\dfrac{f(x_1,x_2)}{f(x_2)}$

である。本稿では⑦式が分子、⑫式が分母に対応する。⑦式と⑫式を用いて計算を進める。

$\begin{equation} \begin{split} f(x_1\mid x_2)&=\dfrac{f(x_1,x_2)}{f(x_2)}\\ &=\dfrac{1}{2\pi\sqrt{\sigma_{11}\sigma_{22}(1-\rho_{12}^{2})}}exp\left[-\dfrac{1}{2\sigma_{11}\sigma_{22}(1-\rho_{12}^{2})}\left\lbrace \sigma_{22}(x_{1}-\mu_{1})^{2} -2\sigma_{12}(x_{1}-\mu_{1})(x_{2}-\mu_{2})+\sigma_{11}(x_{2}-\mu_{2})^{2} \right\rbrace\right]\\ & \quad ÷\dfrac{1}{\sqrt{2\pi}\sqrt{\sigma_{22}}}exp\left[ -\dfrac{(x_{2}-\mu_{2})^{2}}{2\sigma_{22}}\right]\\ &=\dfrac{1}{\sqrt{2\pi}\sqrt{\sigma_{11}(1-\rho_{12}^{2})}}\\ & \quad ×exp\left[-\dfrac{1}{2\sigma_{11}\sigma_{22}(1-\rho_{12}^{2})}\left\lbrace \sigma_{22}(x_{1}-\mu_{1})^{2} -2\sigma_{12}(x_{1}-\mu_{1})(x_{2}-\mu_{2})+\sigma_{11}(x_{2}-\mu_{2})^{2}-\sigma_{11}(1-\rho_{12}^{2})(x_{2}-\mu_{2})^{2} \right\rbrace\right]\\ &=\dfrac{1}{\sqrt{2\pi}\sqrt{\sigma_{11}(1-\rho_{12}^{2})}}\\ & \quad ×exp\left[-\dfrac{1}{2\sigma_{11}(1-\rho_{12}^{2})}\left\lbrace (x_{1}-\mu_{1})^{2} -2\dfrac{\sigma_{12}}{\sigma_{22}}(x_{1}-\mu_{1})(x_{2}-\mu_{2})+\dfrac{\sigma_{11}}{\sigma_{22}}\rho_{12}^{2}(x_{2}-\mu_{2})^{2} \right\rbrace\right]\\ &=\dfrac{1}{\sqrt{2\pi}\sqrt{\sigma_{11}(1-\rho_{12}^{2})}}\\ & \quad ×exp\left[-\dfrac{1}{2\sigma_{11}(1-\rho_{12}^{2})}\left\lbrace (x_{1}-\mu_{1})+\dfrac{\sqrt{\sigma_{11}}}{\sqrt{\sigma_{22}}}\rho_{12}(x_{2}-\mu_{2}) \right\rbrace ^{2}\right]・・・⑬\\ \end{split} \end{equation}$

⑬式の形より、条件付き期待値と条件付き分散は