ミクスチャーモデルとベイズ統計: 理論の立場で何が面白いか

伊庭幸人 ( 統計数理研究所 )

mixture model(混合分布モデル)とは
ある分布f(y|x)のパラメータxが分布g(x|a)に従って
また分布していると考えることで定義される確率モデル、
式でかけば、
h(y|a)= \sum_x f(y|x)g(x|a)
あるいは、
h(y|a)= \int dx f(y|x)g(x|a)
のようなものをいいます。

代表的な例は、

(a) g(x|a)がデルタ分布の和になる場合。finite mixtureという。

たとえば、
g(x|a)= a*\delta(x-x_1)+(1-a)*\delta(x-x_2)
のようにおいた場合、
h(y|a)= a*f(y|x_1)+(1-a)*f(y|x_2)
となる。

(b) g(x|a)もf(y|x)も正規分布の場合。
ただし、xは平均(多変量ではベクトル)とする。
この場合は混合分布
h(y|a)= \int dx f(y|x)g(x|a)
も正規分布になる。

などです。

(a)のfinite mixtureは教師なしの統計的分類問題
(クラスター分析)に対応する統計モデルとして興味
が持たれています。非常に簡単なモデルですが、
いわゆる指数分布族には属しません。
特に成分数(クラスターの個数に対応)を
データから決定する問題
は困難なことで良く知られています。

(b)の場合、混合分布そのものが正規分布ですから
自明な状況に思えます。しかし、この場合も
f(y|x)のxがデータの個数と同じオーダーの次元を
持つ場合には出来た正規分布の性質は必ずしも
自明ではありません。このような状況は、
たとえばsmoothingの問題に関連して起こります。

mixture modelといった場合にはパラメータxが消去
されたものを意味するのが普通ですが、逆に
y,aを与えて、"miss ing data" x を推定するという問題
を考えることが出来ます。この場合、xの分布は、

                  f(y|x)g(x|a)

   P(a|y)=        ------------

                     h(y|a)

となります。これはベイズの公式に他なりません。
したがって、この意味ではミクスチャモデルと
ベイズ推定は表裏の関係にあるといえます。

この場合、実世界の問題で常にaの最尤推定値
がxの最良の推定値に導くという保証はありません。
各場合に応じた経験的、理論的な検討が必要です。


................................................

伊庭の講演では、(a)(b)などの例
について、mixtureの方向とmissing dataの方向
から、それぞれ何が問題なのかを解説したいと
思います。何かオリジナルの結果があれば話し
ますが、あまり期待しないでください。

いままでの解説と重なる部分も多いわけですが、
なるべく、理論的な面白さがどこにあるのか
ということを強調したいと思います。また、
以前と違って、どちらかというとmixtureの方向
の見方に重点をおきたいと考えています。

...............................................