平成26（2014）年度　一般研究２実施報告書

 

課題番号

26−共研−2071

分野分類

統計数理研究所内分野分類

h

主要研究分野分類

1

研究課題名

回帰パラメータの構造特徴を生かしたスパース推定

フリガナ

代表者氏名

フジサワ ヒロノリ

藤澤 洋徳

ローマ字

Fujisawa Hironori

所属機関

統計数理研究所

所属部局

数理・推論研究系

職　　名

教授

配分経費

研究費

40千円

旅　費

109千円

研究参加者数

5　人

 

 

研究目的と成果（経過）の概要

本申請研究は，回帰パラメータがある種の構造をもつ場合に，その構造特徴を生かして適当な罰則を導入し，その結果としてのスパース推定を考える研究である．

ターゲットの一つ目は，高次元の説明変数を適当な未知パラメータ行列で低次元に射影をして，主成分スコアのようなものを作り，その主成分スコアをあらためて説明変数として考える回帰問題である．この場合は，回帰パラメータがパラメータ過多になり，パラメータに不識別性が起こり，普通の方法では推定できない．そのため，これまでは，最初に通常の主成分分析を行い，その後に，回帰を行うという二段階方が行われていた．しかしながら，それでは，主成分スコアを作るときには，回帰と絡んでいないので，予測誤差で大幅に損をしている可能性がある．そこで，二段階ではなくて，一段階で行おうとするのが我々の試みである．そのために，パラメータの不識別性の問題が起こって来て，その問題の克服が焦点であった．そこでは，スパースに関連した罰則をうまく導入することで，パラメータを推定可能とし，同時に，スパース性を目指している．提案手法は，シミュレーションだけでなく実データ解析においても，過去の手法と比較して，優位性を示している．結果を論文としてまとめて投稿していたが，Computational Statistics and Data Analysis に受理された．統計ソフトR上でパッケージを作って配布もしている．ソフトウェア名は「spcr」である．

ターゲットの二つ目は，普通の回帰モデルに，外れ値の影響を吸収するパラメータを個体ごとに導入して外れ値の影響を吸収させる，新しいタイプのロバスト推定である．この手法は最近になって注目を浴びている．この場合もパラメータ過多なので，パラメータの不識別性の問題が起きている．我々は，外れ値に対応するパラメータの部分に，再下降型の罰則を導入することで，パラメータを推定可能にすることを考えている．それによって，スパース性を得られるようにして，さらに，外れ値がある場合は対応するパラメータが外れ値の影響を吸収して，外れ値がない場合はスパース性で対応するパラメータ値が０になり，結果的に潜在的なバイアスを十分に小さくすることを目指している．この課題については，実際にパラメータを推定するために，交互最適化アルゴリズムを構築し，その統計的収束性を議論した．本課題では，外れ値に対応するために，非凸の罰則を使っているのだが，そういう場合は文献上は全域最適値に関わる理論的結果ばかりなのだが，本研究では局所最適値に関しても理論的結果を得ている．現在は得られた結果を論文をまとめているところである．

また，統計関連学会で，申請者がオーガナイズした企画セッション「スパース正則化による統計的推測」において，本研究のメンバーは，講演を行った．

 

当該研究に関する情報源（論文発表、学会発表、プレプリント、ホームページ等）

Sparse principal component regression with adaptive loading
Shuichi Kawano, Hironori Fujisawa, Toyoyuki Takada, Toshihiko Shiroishi
http://arxiv.org/abs/1402.6455

統計関連学会企画セッション「スパース正則化による統計的推測」
http://www.jfssa.jp/taikai/2014/
オーガナイザー　藤澤 洋徳 (統計数理研究所)
スパース推定概観：モデル・理論・応用
鈴木 大慈 (東京工業大)
スパース正則化に基づく主成分回帰モデリング
川野 秀一 (大阪府立大)　高田 豊行 (国立遺伝学研究所)　藤澤 洋徳 (統計数理研究所)　城石 俊彦 (国立遺伝学研究所)
正則化スパース因子分析は因子回転に取って代わるのか？
廣瀬 慧 (大阪大)　山本 倫生 (京都大)
外れ値にロバストなスパース線形回帰: 交互最適化アルゴリズムとその統計的収束
片山 翔太 (東京工業大)　藤澤 洋徳 (統計数理研究所)

R-package: spcr
http://cran.r-project.org/web/packages/spcr/

研究会を開催した場合は、テーマ・日時・場所・参加者数を記入してください。

統計関連学会企画セッション「スパース正則化による統計的推測」
http://www.jfssa.jp/taikai/2014/
2014.9.15 15:30-17:30 東京大

 

研究参加者一覧

氏名

所属機関

片山 翔太

大阪大学

川野 秀一

電気通信大学

鈴木 大慈

東京工業大学

廣瀬 慧

大阪大学