数学・数理科学と共に拓く豊かな未来 数学・数理科学と諸科学・産業の恊働による研究を促進するための「議論の場」を提供
項目 内容
研究集会等の名称 機械学習における情報幾何学的視点
採択番号 2014W08
該当する重点テーマ 最適化と制御の数理 、ビッグデータ、複雑な現象やシステム等の構造の解明
キーワード 情報幾何学 、リーマン幾何学 、統計学 、最適化理論 、機械学習
主催機関
  • 統計数理研究所 統計的機械学習研究センター
  • 理化学研究所脳科学総合研究センター
運営責任者
  • 池田 思朗
  • 福水 健次
開催日時 2014/12/03 09:30 ~ 2014/12/05 15:45
開催場所 理化学研究所 脳科学総合研究センター 池之端研究棟3F (埼玉県和光市)
http://www.brain.riken.jp/jp/access/
最終プログラム
3rd December
9:30 - 10:30
Nihat Ay, Max Planck Institute for Mathematics in the Sciences, Germany
Towards the Information Geometry of Embodied Agents
10:45 - 11:45
Takafumi Kanamori, Nagoya University, Japan
Legendre Transformation in Machine Learning
13:30 - 14:30
Mark Girolami, University of Warwick, UK
The Role of Information Geometry in Contemporary Computational Statistics
14:45 - 15:45
Shinto Eguchi, The Institute of Statistical Mathematics, Japan
Path Connectivity on a Probability Density Function Space
16:00 - 17:00
Fumiyasu Komaki, University of Tokyo, Japan
A Projection Method for Improving Prediction
4th December
9:30 - 10:30
Guido Montufar, Max Planck Institute for Mathematics in the Sciences, Germany
Information Divergence from Statistical Models Defined by Neural Networks
10:45 - 11:45
Shun-ichi Amari, RIKEN, Japan
Information Geometry of Bayesian Statistics, Restricted Boltzmann Machine Toward Understanding of Deep Learning
13:30 - 14:30
Frank Nielsen, Ecole Polytechnique, France
Fundamentals of Algorithms and Data-structures in Information-Geometric Spaces
14:45 - 15:45
Atsumi Ohara, University of Fukui, Japan
On Representing Functions of Probability Distributions and Conformal Flattening
16:00 - 17:00
Kenji Fukumizu, The Institute of Statistical Mathematics, Japan
Score Matching Estimation with Infinite Dimensional Exponential Family
5th December
9:30 - 10:30
Hiroshi Matsuzoe, Nagoya Institute of Technology, Japan
Geometry of Deformed Exponential Families
10:45 - 11:45
Masayuki Henmi, The Institute of Statistical Mathematics, Japan
Statistical Manifolds Admitting Torsion Induced from Estimating Functions
13:30 - 14:30
Takashi Tsuchiya, National Graduate Institute for Policy Research, Japan
von Neumann Entropy, Matrix Monotonicity and Polynomial-Time Interior-point Algorithms
14:45 - 15:45
Shiro Ikeda, The Institute of Statistical Mathematics, Japan
Optimization of Probability Measure and Information Geometry
参加者数 数学・数理科学:63、 諸科学:0、 産業界:12、 その他:0
当日の論点

情報幾何学に関する研究の現在の状況について,統計学,機械学習,最適化理論,数学など,幅広い視点からの議論があった.

統計学からは Girolami, Eguchi, Komaki, Ohara, Henmi らが,リーマン計量さらにはそれにともなう双対接続の理論を中心に,最新の話題を提供した.Ay, Kanamori, Montufar, Amari, Fukumizu, は機械学習に関する話題として, Deep Net, Kernel 法に関する結果を示した.Nielsen, Matsuzoe, Tsuchiya, Ikeda は数学,そして最適化理論を含む応用数学の立場から話題を提供した.

研究の現状と課題(既にできていること、できていないことの切り分け)

今回のワークショップを通し,情報幾何学がDeepNet やカーネル法といった最新の機械学習の手法に関しても有用であること,それ以外のアルゴリズムや最適化についても更に深い理解を築いていることが理解できた.こうした結果と,これまで統計学に対して得られている情報幾何学の結果と組み合わせれば,今後,機械学習の方法の理解を深めることができるという方向性については確認できた.

しかし,個々の方法の改善法の提案といった応用のためには,解決しなければいけない問題も多い.今回のワークショップを通して築いた研究者間のネットワークを発展させ,今後の研究を続けていく必要がある.

新たに明らかになった課題、今後解決すべきこと

機械学習には様々な側面がある.統計学や,最適化理論などもそうした要素となっている.情報幾何学はそれぞれの要素に対して,重要な貢献をしてきている.今後必要となるのは,今回のワークショップでの発表にあったそれぞれの成果を,機械学習の分野の成果として結びつけていくことにある.

今回の話題にあったカーネル法やDeepNet,計算統計学の結果は既存手法の理解には役立っている.これをもとに新たな改善手法を提案することが今後の課題である.

今後の展開・フォローアップ

今回のワークショップ内において,英国,日本,フランス,ドイツといった国際的な交流が広がった.その中で個別に共同研究が起こりつつある.

さらに,今回の講演者らが企画する国際会議が予定されている.2015年にはフランスで,2016年にはドイツで情報幾何学に関連する会議が開催される予定である.こうした会議を通して情報幾何学に関する最新の結果を発表し,交流を継続する.