rastudylife

機械学習や統計についての勉強ログ

MCMC!

さあ,GLMMまで駆け足でおさらいしてきて,ここからが私にとっては本題!笑

libraryandarchives.hatenablog.com

GLMMのランダム効果の種類がもっとたくさん増えてK個になった場合,計算が大変になったり,最尤推定値の探索が困難となる.最尤推定量が解析的に求められない時に,MCMCアルゴリズムが便利.

MCMCメトロポリス法のアルゴリズムは以下の通り.

パラメータの初期値qを適当に選んで,qを増やすか減らすかしてみる.増減させてみたqの尤度が元の尤度より大きくなれば,そちらのqに変更する.尤度が小さくなる場合でも,確率rでそのqに変更する.rは変更先の尤度を元の尤度で割った尤度比とする.

このアルゴリズムの目的は,直接的に対数尤度最大のqを求めることではなく,このステップ数とともに変化するパラメータの値の生成.この何回もサンプリングしたパラメータの値のヒストグラムが確率分布に似た形になる.この曲線はマルコフ連鎖の定常分布と呼ばれる.適当に決めた初期値に影響されている初めの方のサンプリングは捨てる.ちゃんと推定できるような定常分布を出すには,サンプリングは100000ステップくらい必要!尤度に比例するqの確率分布を推定できるような確率分布,すなわちデータに統計モデルを当てはめた時にqがとる値の確率分布と解釈できる.