統計数理研究所

Abstract: 多くの統計解析の場面で重要な考え方となる最尤推定の枠組みは， Kullback-Leibler (KL) divergence を目的関数とした最適化問題と解釈することができる．この枠組みは Fisher 情報量との密接な関係が議論できる点や，独立性の仮定の下で最適化問題を単純化できる点など，解析・計算上，扱いやすい性質を持つ一方で，対象となるデータに含まれる外れ値やノイズの影響を敏感に受けてしまうという扱いにくい一面も持っている．このような背景から，近年，統計的機械学習の分野では KL divergence の一種の一般化であり，様々な状況でロバストな推定の実現が報告されているBregman divergence が注目されている．本発表ではまずEMアルゴリズムを例としたBregman divergence を用いた統計モデル推定の枠組みを紹介する．さらに Bregman divergence から想起される統計モデルの拡張，統計的独立性の一般化などの取り組みを紹介し，近年異なる文脈で同様に注目が集まっている統計力学における Tsallis 統計や金融工学における copula などとの関連について述べる．

Abstract: 混合分布における重み分布のノンパラメトリック推定では，重み分布の最尤推定量がサンプル数以下の有限個の点からなる離散分布で与えられることが知られており，そのための学習アルゴリズムが与えられているものの，サンプル数が少ない状況では過学習を起こす傾向がある．本研究では，一つのパラメータを持つ目的関数を構成することで，最尤推定やカーネルベクトル量子化を特別な場合として含む一連の推定手法を与え，経験尤度法や経験分布からのダイバージェンス最小化との関係を考察する．また，数値実験により，パラメータの設定によっては過学習を抑制する効果が得られることを示す．