18世紀に「土砂をいかに効率よく運ぶか」という問いから生まれた「最適輸送理論」が、現代のAI研究に新たな可能性をもたらしている。統計数理研究所のタム・レイ助教を中心に、福水健次教授、日野英逸教授の3人が、この数学的枠組みを駆使して大規模データ処理の効率化や医療・生物学への応用に挑む最前線を取材した。
データの「形」を測る最適輸送理論
人工知能(AI)が扱うデータは今、単純な数値の集まりから、グラフ、ネットワーク、分子構造、さらには高次元の超曲面へと急速に多様化している。こうした複雑なデータを大量に扱いながら、いかに効率よく精度の高い学習を実現するか。この問いに、統計数理研究所のタム・レイ(Tam LE)助教、福水健次教授、日野英逸教授のチームは「最適輸送理論」という数学的枠組みを適用することで挑んでいる。
最適輸送理論の起源は古い。18世紀フランスの数学者ガスパール・モンジュが「土砂の山をいかに最小の労力で捨て場の穴へ運ぶか」という問いを立てたことに始まり、20世紀に入ってからは資源配分の問題として数式化された。1975年にノーベル経済学賞を受賞したレオニード・カントロビッチとチャリング・クープマンスがその功績者の一人だ。近代では数学の最高権威であるフィールズ賞やアーベル賞の受賞者たちもこの分野に貢献しており、純粋数学から応用まで裾野の広い分野として発展してきた。
「これは言い換えれば、一つの確率分布を別の確率分布にいかに効率的に移すか、という問題です」とタムは言う。「例えば、3つのベーカリーから3つのレストランへドーナツを運ぶ場面を考えてみてください。それぞれが作れる量とそれぞれのレストランが必要とする量は決まっている。『どこからどこへ』『どのルートで』『何個ずつ』運べば、全体として最も少ないコストで運ぶことができるか。これを解くのが最適輸送の問題です」。この「最小の輸送コスト」が確率分布と確率分布の間の「距離」を測る指標となり、数学者ワッサースタインの名を冠して「ワッサースタイン距離」と呼ばれている(図1)。
なぜ、この理論がAI研究に必要なのか。それは、現代のAIが学習する対象の多くが、数学的には「確率分布」として表現できるからだ。タムはこう説明する。「文章や本を『単語の出現頻度の分布』として見たり、分子を『いくつかの原子の位置の分布』として見たりすることが可能です。生成AIが画像を作るときも、実際には確率分布からデータをサンプリングしています。最適輸送はそうした確率分布を扱うための自然な幾何学的枠組みを提供してくれます」。
従来の統計学や機械学習にも、分布間の近さを測るための道具は存在していた。しかし標準的な手法では「データが少し動いただけで結果が大きく変わる」といった扱いにくさが指摘されていた。福水はこの点についてこう語る。「確率分布を数学的に厳密に扱うのは本来とても難しいのですが、最適輸送は既存の標準的な手法では届かない部分を補ってくれます。視点を変えて分布間の距離を測ることで、これまで見えてこなかった面白い側面が明らかになってくるのです」。
「木構造」が生んだ計算の突破口
最適輸送理論には長年、実用上の大きな壁があった。それは「計算の重さ」だ。データ点の数が増えるほど最適な輸送プランを求める計算量は急激に膨れ上がり、1万点、100万点というデータを扱う現代のAI研究では、コンピュータの性能が上がったとはいえ、現実的な計算時間に収まらないケースが生じていた。タムは最適輸送理論の計算論的側面の研究に関する第一人者だ。
計算を効率化する既存手法として「スライス・ワッサースタイン距離」があった。高次元のデータを1次元の直線上に投影して計算することで処理を速める方法だ(図2)。
だがこれには、投影によってデータ本来の構造が失われてしまうという欠点があった。「複雑な構造を持つデータを無理やり1次元に押し込めると、そのデータが本来持っている重要な特徴が失われてしまいます。計算が速くても、失われた情報は取り戻せません」とタムは言う。
この障壁に対してタムが持ち込んだのが、「ツリー(木)構造」を使うという発想だ(図3)。すなわち、1次元の直線の代わりにツリーの上にデータを配置する。ツリー構造は計算のしやすさは直線に近く、しかもデータの構造をより忠実に保ちながら計算できる。さらに重要なのは、この距離を計算する公式を解析的な「閉じた形」として導き出したことだ。これにより、数値的な近似計算に頼らずとも正確な答えを高速に求められるようになった。
「タムさんの研究の肝は、スライス・ワッサースタイン距離にツリー構造を導入したことです」と福水は評価する。「2次元の地図を1次元に潰すのではなく、ツリーの上に配置することで、計算の速さを保ちつつより精度の高い近似が可能になりました。これにより、それまで計算できなかったことが初めて実際に計算できるようになったのです」。
タムがこのアイデアを思いついたのは、ベトナムで学んでいた学生時代に遡る。最適輸送分野の第一線で活躍し、現在はAppleの研究チームを率いるマルコ・クトゥリ教授との出会いをきっかけに問題意識が芽生え、来日後も交流と議論を重ねながら形にしていったという。タムは当時の経緯についてこう振り返る。「クトゥリ教授と話す中で、ツリーやグラフを使えばデータの構造を保ちながら計算を高速化できるのではないかというアイデアが浮かびました。それを統数研に来てから数学的に丁寧に整理し、公式として導き出したのです」。
日野も実用上の価値を実感している。「データサイエンス系の私の研究室の学生が、グラフ同士がどれだけ似ているかを数値化したいと相談に来たとき、タムさんのツリーやグラフ上の最適輸送理論がうまく使えると確信しました。この種の数学を専門とする人が近くにいてくれるのは、研究を進めるうえで本当に心強いです」。グラフや離散構造を扱う問題は生物情報学から社会ネットワーク分析まで多岐にわたり、ツリー上の最適輸送理論はその幅広い問題群に新しい計算ツールを提供できる可能性を持つ。
多分野の現場へ広がる応用の可能性
効率化された最適輸送理論は、すでに具体的なAI技術への応用として成果を上げ始めている。その範囲は大規模言語モデルの学習から因果推論、さらには生命科学にまで及ぶ(図4)。
大規模言語モデル(LLM)の分野では、学習データの品質評価への応用が進んでいる。現在のLLMはウェブ上の膨大なテキストデータを学習に使うが、その中にはノイズや誤情報も多く含まれる。最適輸送理論に基づく手法は、膨大なデータの中から「学習に適した質の高いデータ」を選別するフィルターとして機能する。また、画像生成モデルが生成する画像の品質を評価する際にも、分布間の距離を測るワッサースタイン距離が実際に用いられている。
医療や社会科学における「因果推論」への応用も注目される。日野はこう説明する。「薬の効果を調べる比較実験では、薬を投与した群と投与しない群の両方で、時間の経過とともに状態が自然に変化していきます。従来の手法では、その変化のパターンが両群で同一だという強い仮定を置く必要がありました。しかし最適輸送を使えばその仮定を緩め、分布全体の変化を捉えることで、ノイズを取り除いた薬本来の効果をより細かく推定できるようになります」。
さらに生物学の最前線でも応用が広がっている。iPS細胞などの細胞変化を解析する研究への展開だ。「1つの細胞を長期にわたって追跡し続けることは技術的に非常に難しいのですが、細胞の集まりを確率分布として捉えれば、最適輸送を使ってそれがどのように変化していくかを解析できます。本当に幅広い分野で使われるようになってきています」と福水は語る。
こうした応用の広がりを受けて、日野は最適輸送理論の強みをこう評価する。「従来の指標が『確率密度の不一致度』を測るのに対し、ワッサースタイン距離は一方の分布をもう一方の分布へと変形させるために必要な最小の移動コストとして距離を定義している点が大きく異なります。実問題に向き合うとき、その強みが特に際立って見えます」。こうした展開について「スケーラビリティ(拡張性)と効率性の両立は、今後も重要な課題です。最適輸送の理論をさらに深めることと、その理論的な洞察をAI研究に役立てること。この両面を継続して追求していきたい」とタムは述べる。
数学理論を深め応用先を広げる
統数研でのこの研究は、3人がそれぞれの専門性を持ち寄りながら進めている。タムは最適輸送の数学的基盤を担い、福水はカーネル法をはじめとする機械学習理論にそれを導入し、日野は神経科学や生物学など応用分野への橋渡しをする、という構図だ。緩やかな連携の中に、理論と実問題の双方向の刺激がある。
「私はこれまで連続的な空間での機械学習を主に研究してきましたが、タムさんが扱うような離散的なオブジェクト上で距離を測る技術には、まだ開拓されていない大きな可能性があると感じています。これからもコラボレーションを広げていきたい」と日野は期待を示す。「最適輸送は今や統計学や機械学習における主要な枠組みの一つになっています。関連する理論や応用の広がりは、今後もとても楽しみな分野です」と福水も展望を語る。
3人の連携が体現しているのは、「理論の深さが実用の広さを決める」という研究スタイルだ。速くて堅牢な計算手法を数学的に厳密に構築することで、初めて応用先が広がる。最適輸送理論そのものの発展に取り組みながら、同時にAIや医療・生物学の実問題へのアプローチを模索する。その両輪が、統数研という場でうまくかみ合っている。今年の統数研オープンハウスでは3人それぞれがポスター発表を行い、研究成果を披露した。
18世紀の土木工事の問いから生まれた数学が、数百年の時を経て、AIや医療、生物学の現場で実用的な道具として使われている。この広がりは、本質的な問いから出発することで時代を超えて生き続ける数学の「普遍性」を示すものだ。3人の研究は、その普遍性をAI時代の最前線へ運ぶ取り組みに他ならない。
(広報室)
