rastudylife

機械学習や統計についての勉強ログ

線形代数の壁(1)固有値

はじパタの4章を読んでいて,観測データの無相間化のところで固有値や正規直交基底の話が言及されていたたので,復習.

無相関化について
共分散行列\Sigma=Var\{x\}=E\{(x-\mu)(x-\mu)^T\}固有値問題\Sigma s= \lambda sを用いて得られたd個の固有値\lambda_1,...,\lambda_dとする.これらの固有ベクトルを並べて行列S=(s_1,s_2,...,s_d)を定義する(『はじパタ4章』より)

ここで,固有値固有ベクトルの定義について確認.

固有値固有ベクトルと固有方程式
p次の正方行列Aに対してAx=\lambda x (x \neq 0)が成りたつ時,スカラー\lambdaをAの固有値,p次元ベクトルxをAの\lambdaに対応する固有ベクトルと呼ぶ.この式は「固有ベクトルxの行列にAをかけることはx\lambda倍することと同じ」という意味である.
また,Ax=\lambda x (A-\lambda I_p)x=0と表すことができる.これがx \neq 0の解を持つためには|A-\lambda I_p| = 0でなければならない.この|A-\lambda I_p| = 0固有方程式という.固有値は固有方程式の解として求める.
(『統計学のための数学入門30講』より)

次に共分散行列は実対称行列なので,各固有値は実数で固有ベクトルは互いに直交する.とくに,共分散行列の固有ベクトルは長さが1の正規直交基底となる.(『はじパタ4章』より)との記述あり.
対称行列の固有値固有ベクトルについての性質について次のものがあったようなので,なんとか納得.

対称行列の固有値固有ベクトルの性質
対称行列の固有値は全て実数である.
対称行列の相違なる固有値に対応する固有ベクトルは直交する.
という性質がある.
(『統計学のための数学入門30講』より)

xS^Tで線形変換したデータはy=S^T xで与えられ,平均値はE\{y\}=E\{S^T x\}=S^T \mu,共分散行列はVar\{y\}=E\{(y-E\{y\})(y-E\{y\})^T\}=S^{-1}E{(x-\mu)(x-\mu)^T}S=S^{-1}\Sigma S
S^{-1}\Sigma Sは対角化の式であり,対角行列になったことで共分散の成分が0になり,無相関化になる.