第51回統計的機械学習セミナー
以下の通り第51回統計的機械学習セミナーを開催いたします．今回は，機械学習と物 理学の交わる分野で先端的研究を進められているお二人にご講演をいただきます． なお，今回の統計的機械学習セミナーは，JST・CREST「数理知能表現による深層構造 学習モデルの革新」（代表・福水）と統計数理研究所・統計的機械学習研究センター との共催イベントです．
日時: 2022年10月11日（火） 15:00 - 17:45
- 15:00-16:15 上田正仁先生（東京大学）
- 16:30-17:45 唐木田亮先生（産業技術総合研究所）
講演１
15:00-16:15 上田正仁先生 （東京大学大学院理学系研究科・知の物理学研究セン ター）
講演タイトル： 物理学とAIの相互交流から生まれる新しい可能性について
要旨： 知の物理学研究センターは物理学とAIの融合を通じた新しい学問領域「知の物理学」 の創成を目指して2018年に設立されました。現在、10名のPIが宇宙、原子核、統計物 理、物性、生物などの分野において研究活動を展開しています。 物理学とAIは共にビックデータを統計的手法で扱う一方で、研究手法は互いに相補的 な側面を有しています。特に、物理学が扱うビックデータは標準理論と呼ばれる物理 原理が生み出すフォーマットされたデータであるために、結果から原因に遡ることが 原理によって保障されています。このことを利用することで説明可能なAIを構築する 可能性が生まれます。他方、物理学にとってはAIは、実験、理論、計算機シミュレー ションに次ぐ第４の研究手法とみなすことができ、新物質の探索だけでなく、ハミル トニアンが不可知な環境との相互作用をする系（開放系）を制御する際に威力を発し ます。また、学習過程は物理学の言葉でいうと系を冷却して熱化する仮定とみなすこ とができ、このような観点から物理学で得られている知見を機械学習の理解へと役立 てる可能性が生まれます。 講演では知の物理学の目指すところと、物理学とAIの相互交流から生まれる新しい学 問の可能性について議論したいと思います。
講演２
16:30-17:45 唐木田亮先生（産業技術総合研究所・人工知能研究センター）
タイトル: 継続学習における自己知識転移と忘却
要旨: 深層学習の発展により柔軟な転移学習や継続学習が実現しつつあるが, その挙動の理 解は限定的な部分も多く, いくつかの単純化された可解モデルで理論的な理解が試み られている. 本講演では, 学習モデルがパラメータに対して線形化された状況である NTK (Neural Tangent Kernel) レジームで定式化された継続学習に着目し, その汎化 誤差解析の結果を紹介する. このモデルでは継続学習がある種の遂次的なカーネル リッジ(レス)回帰で定式化されるため, 統計力学的なレプリカ解析によって, 汎化誤 差の漸近的な値の典型評価が可能となる. 得られた汎化誤差から, タスク間の類似度 に依存して破滅的忘却現象や知識転移の正負の切り替わりが生じることを示す. さら に, 複数タスク間で教師信号として同一の関数を継続学習する設定を考える. このと き, タスクの追加に対して汎化誤差は必ずしも減少せず, タスク間の訓練サンプル数 のバランスに依存することを明らかにする. 正の“自己”知識転移には均等に近いサ ンプル数が重要と示唆される. 講演では, このような可解モデルによる学習手法の解 析, 特に, 継続学習における近年の報告も概観しながら議論したい.
主催
- 統計数理研究所 統計的機械学習研究センター
- JST CREST研究領域 数理的情報活用基盤（総括・上田修功）「数理知能表現による深層構造学習モデルの革新 」（代表・福水健次）