Categories
多変量解析関係

多次元正規分布と対角化

\( Z \)を\( n \)次元標準正規分布\( (o, I) \)に従う確率変数とし、以下のように確率変数ベクトルを\( z \)、ゼロベクトルを\( o \)、そして単位行列を\(I \)としたとき、
$$ z = \begin{pmatrix} z_1 \\ z_1 \\ \vdots \\ z_n \\ \end{pmatrix} \;, \quad o = \begin{pmatrix} 0\\ 0 \\ \vdots \\ 0 \\ \end{pmatrix} \;, \quad I = \begin{pmatrix}
1 & 0 & \cdots & 0 \\
0 & 1 & \cdots & 0 \\
\vdots & \vdots & \ddots & 0 \\
0 & 0 & \cdots & 1 \\
\end{pmatrix} $$
多変量標準正規分布は以下の式で表される。
$$ f_{Z}(z) = \frac{1}{\sqrt{2 \pi}^n} \ e^{- \frac{1}{2} ||z||^2} $$

この\( n \)次元の標準正規分布に一次変換を施し、各軸毎にスケーリングしたり、回転させる事によって一般の\( n \)次元正規分布ができあがる。

また、以下のように\( n \)次元の確率変数の分散行列(分散共分散行列)が得られている場合、

$$ V[X] = E[(X – \mu)(X – \mu)^T] =\begin{pmatrix} V[X_1] & Cov[X_2,X_1] & \cdots & Cov[X_n, X_1]\\ Cov[X_1,X_2] & V[X_2] & \cdots & Cov[X_n, X_2]\\ \vdots & \vdots & \ddots & \vdots\\ Cov[X_1,X_n] & Cov[X_2,X_n] & \cdots & V[X_n]\\ \end{pmatrix} $$

それを、ある直交行列\(Q\)を持ってくることで以下のように対角化する事ができる。

$$ Q^T V Q = D^2 = \begin{pmatrix} V[X_1] & & & \\ & V[X_2] & & \\ & & \ddots & \\ & & & V[X_n] \end{pmatrix} $$

このように対角化する事によって、実は\(n\)個の標準正規分布によって成立しているというう事がわかる。

以下がそのPDFファイル。