平成13（2001）年度　一般研究２実施報告書

課題番号	13−共研−2005			専門分類		1
研究課題名	非線形構造探索のための統計的モデリング
フリガナ 代表者氏名	コニシ サダノリ 小西 貞則			ローマ字		Konishi Sadanori
所属機関	九州大学
所属部局	大学院数理学研究院
職　　名	教授
所在地
TEL				FAX
E-mail
URL
配分経費	研究費	0千円	旅　費		0千円		研究参加者数	6　人

研究目的と成果（経過）の概要

識別・判別問題について研究し,動径基底関数ネットワークモデルに基づく非線形判別手法を提案し
た。特に,正則化法によるモデルの推定法,情報量またはベイズアプローチによるモデル評価規準を
融合した非線形判別関数の構築法を提唱し,実際問題への適用を通してその有効性を検証した。
「非線形構造探索のための統計的モデリング」
要旨　現在の高度に発展したコンピュータの利用環境の下で,様々な
モデリング手法が開発され,これまでは十分な解析が難しかった複雑な
非線形構造を内在する現象の分析が可能となりつある。本研究では,階
層型ニューラルネットワークの一つである動径基底関数ネットワークに
基づく非線形識別・判別問題について検討した。まず,モデルの複雑さ
の程度を調整するパラメータを基底関数に取り入れた非線形識別・判別
関数を導入した。モデル構築に当たっては,基底関数の個数,正則化パ
ラメータ等の選択が本質的となるが,これらの選択を情報量の観点から
考察したモデル評価規準を導出した。また,諸分野で蓄積されつつある
実データおよび人工データの解析を通して,提案する手法の有効性を検
証した。
1.はじめに
　非線形構造を有する複雑な自然現象・社会現象を解明するための一つの手法とし
て,脳の神経細胞の数理的なモデル化に端を発するニューラルネットワークに基づく
非線形モデリング手法がある(Bishop(1995);Ripley(1996);Webb(1999))。ニュー
ラルネットワークは,種々の識別問題,例えば文字・音声認識,人顔認識などの工学
的な応用のみならず,科学・情報・社会システムにわたる様々な分野で応用されつ
つある。本年度は,階層型ニューラルネットワークの一つである動径基底関数ネッ
トワークに基づいて,複雑な非線形構造を内在するデータの識別・判別問題につい
て研究した。
　動径基底関数ネットワークを実際問題へ適用するに当たっては,基底関数の個数
の選択をはじめとして,そのモデル構成法についていくつかの問題が残されている。
本研究のモデリング手法の一つの特徴として,各基底関数の広がりを制御するグロー
バルなパラメータ(ハイパーパラメータ)を導入したことが挙げられる。また,モデ
ルの推定にあたっては,モデルの信頼性,汎化能力を向上させるため,正則化法を適
用した。モデル構築において本質的となる点は,基底関数の個数,正則化パラメー
タ,ハイパーパラメータの選択であるが,これらの選択を情報量の観点から考察し,
モデル評価規準を導出した。
2.動径基底関数ネットワーク非線形判別モデル
　本節では,p-次元特徴ベクトルXと群のラベルGε{1,2,…,L}に関するn個
の観則データ{(xα,gα);α=1,…,n}に基づいてL群非線形判別方式を構成する。
　データxαが観測されたとき,それが第k群からのものである確率を
■(1)
とする。このとき,ロジスティック線形判別は,次のようにL-1個の対数オッズ
比によって定式化される。
■(2)
しかし,変数間に線形性を仮定するモデルでは,複雑な構造を内在する現象の分析
に対して有効に機能せず,より柔軟なモデルが必要とされる。ここでは,(2)式を次
のように一般化した非線形判別関数を考える。
■(3)
ただしφ(x)=(1,φ1(x),…,φm(x))′は(m+1)次元基底関数ベクトル,wk=
(wko,…,wkm)′は(m+1)次元パラメータベクトルとする。基底関数の決め方を本
節の後半で説明し,パラメータw=(w′1,…,w′L-1)′を含めたモデルの推定は後節で
議論する。
　対数オッズ比に非線形性を仮定した(3)式のモデルは
■(4)
と書き換えることができる。したがって,データxαが第k群より観測されたとす
る確率Pr(gα=k|xα)は,パラメータw=(w′1,…,w′L-1)′,および基底関数の個数
mに依存し,これをπk(xα;w)とする。このとき,n個のデータに基づく対数尤度
関数は
■(5)
で与えられる。ただし,ΣxαεGkは第k群に属するデータに対して和をとるものと
する。

当該研究に関する情報源（論文発表、学会発表、プレプリント、ホームページ等）

Ichikawa,M.and Konishi,S.(2001).Efficient bootstrap tests for the goodness of fit
in covariance structure analysis.Behaviormetrika 28,103-110.
Ichikawa,M.and Konishi,S.(2001),Asymptotic expansions and bootstrap approximations
in factor analysis,Journal of Multivariate Analysis,47-66.
安道 知寛,井元 清哉,小西 貞則(2001),動径基底関数ネットワークに基づく非線
形回帰モデルとその推定,応用統計学,30,19-35
Konishi,S.(2001).Discussion on the paper"On Model Selection"by C.R.Rao and Y.
Wu,in"Model Selection"(Ed.by P.Lahiri),IMS Lecture Note 38,pp.58-60.
Konishi,S.,Ando,T.and Imoto,S.(2001).Bayesian information criteria and
smoothing parameter selection in radial basis function networks,preprint.
Ando,T.and Konishi,S.(2002).Neural network nonlinear regression modeling
and information criteria,preprint.

研究会を開催した場合は、テーマ・日時・場所・参加者数を記入してください。

研究参加者一覧
氏名	所属機関
市川 雅教	東京外国語大学
井元 清哉	東京大学
北川 源四郎	統計数理研究所
中村 永友	札幌学院大学
西井 龍映	広島大学