響き合う人とデータ―統数研プロジェクト紹介

第21回「デンソーアイティーラボラトリとの 共同研究」

統計の力で“クルマと会話する未来”の種を撒く

自動運転車の開発が本格化する中、目的地の設定やエアコン操作などのインターフェースに使用する音声認識技術の向上が求められている。統計数理研究所は、大手自動車部品メーカー、デンソーのグループ企業であるデンソーアイティーラボラトリ(ITラボ)と共同で、自然言語処理の機械学習に統計理論を応用。人とクルマが自然な会話を交わす「対話インターフェース」の開発に向けたモデルを続々と打ち出している。

将来の完全自動運転化を見据え 人とクルマの コミュニケーションを研究

▲持橋大地准教授

自動運転やICT機能を搭載したコネクテッドカーなど、自動車技術のIT化が急速に進んでいる。そうした次世代のクルマにおいて、より重要視されるのがインターフェースだ。

政府の提示する「官民 ITS (Intelligent Transport Systems:高度道路交通システム)構想・ロードマップ」では、自動運転のレベルを0から5に分類。2020年には、レベル3の高速道路での自動運転や、レベル4にあたる限定地域での無人自動運転移動サービスの実証実験を予定している。

ロードマップでは、レベル5の「完全自動化」については時期を設定していないものの、将来もしこれが実現すれば、クルマからはアクセルもハンドルも消える可能性が高い。そうなると、ユーザーは自分の意思をクルマに伝える必要が出てくる。人とクルマがコミュニケーションをとる仕組みが求められているわけだ。

世界有数の自動車部品メーカー、デンソーのグループ企業で、アルゴリズムの研究開発を手掛けるデンソーアイティーラボラトリ(ITラボ)は、こうした未来を先読みし、早くからコミュニケーションの研究に着手してきた。愛知県に本社を置くデンソーから独立し、IT企業の集積する東京・渋谷の超高層ビルにオフィスを構える同社では現在、およそ30人の精鋭研究者が画像認識、HMI(ヒューマンマシンインタフェース)、信号処理、制御などの最先端技術を研究している。そのテーマの一つが、自然言語処理技術だ。

自動運転車に乗る人がクルマに行き先を告げたり、エアコンやインターネットを操作したりするのに、音声入力ができれば便利だ。そのためには、人工知能(AI)の自然言語処理技術をこれまで以上に進化させる必要がある。

自然言語とは日本語や英語などのように、それぞれの民族が日常生活の中で使ううちに自然に発展してきた言語を指す。これをコンピューターで処理するのが「自然言語処理」だ。この技術を活用した製品では、カーナビの音声認識やアップルのSiri、アマゾンのAlexaといったスマートスピーカーがすでに普及している。ただ、これらはデータベースの中から、認識したコマンドに対応する動作をマッチングさせ、実行しているにすぎない。

これに対し、ITラボが現在開発を目指しているのは、人の話しかけに対し、AIがその「意味」を理解したうえで自然な会話で応答する「対話インターフェース」だ。

ITラボのエグゼクティブジェネラルマネージャ兼CTOである岩崎弘利さんは、「クルマに乗ってただ運ばれているより、クルマと自由に会話ができれば楽しいでしょう。例えば窓の外に見えたものについて『あれは何?』と尋ねたら、さっと答えてくれる。それだけでなく、AIがコマンドの意味を理解していることは、自動運転の安全性を確保するためにも非常に重要です」と話す。

写真1:ITラボのオフィスの一角には、ソフトウェアの開発に使用するためのドライブシミュレーターが置かれている。

話し言葉や未知の言語にも適用できる「教師なし形態素解析」の可能性

▲岩崎弘利氏(デンソーアイティーラボラトリ エグゼクティブジェネラルマネージャ兼CTO)

AIに言葉の「意味」を理解させるには、単に機械学習のレイヤーを深める深層学習では不十分であり、統計的手法を導入する必要がある――。そう考えたITラボの岩崎さんらは、統計数理研究所 数理・推論研究系 学習推論グループの持橋大地准教授と2013年から共同研究を進めている。

NTTの研究所を経て統数研へ入所した持橋は、統計的自然言語処理と統計的機械学習を専門とする計算言語学のエキスパートだ。「『統計的』というのは、言語を確率的に捉え、文字列に適切な確率を与えてモデル化することを意味します。自然言語処理や機械学習に統計を持ち込むことで、より精度の高い結果を導くことができるのです」と説明する。

持橋は、2009年に「教師なし形態素解析」の論文を発表した(図1)。形態素解析とは、自然言語の文章を最小単位の単語に分割することを指す。例えば「今日はどうですか。」という一文なら、「今日/は/どう/です/か/。」と分けることができる。

図1:持橋が2009年に発表した「ベイズ階層言語モデルによる教師なし形態素解析(NPYLM)」の概念。

「このタスクをAIにやらせるのは、実はけっこう難しい。単に文字を組み合わせるだけならば、『今/日はど/うで/すか』といった意味をなさない区切り方が無数にできるからです。このため従来は、あらかじめ辞書を覚え込ませ、参照させる『教師あり学習』が用いられてきました」と持橋は説明する。

しかし、当時の教師データはほとんどが新聞記事であったことから、話し言葉やスラングを含むブログなどの文章を高精度に分割することは難しかった。また、教師データの作成には莫大なコストを要する。さらに、古文や未知の言語にはそもそも教師データがなく、適用できない。持橋の考案した「教師なし形態素解析」は、AIに自動で学習させることで、これらの課題を一挙に解決する画期的な手法だった。

▲内海 慶氏(デンソーアイティーラボラトリリサーチャ)

一方、2013年にITラボに入社し、自然言語処理の研究を進めていた内海慶さんは、形態素解析において単語分割と品詞推定を同時にできないかと考えていた。上の例で言えば、「今日(名詞)/は(助詞)/どう(形容詞)/です(助動詞)/か(疑問詞)/。」といった結果を得るものだ。「AIが言葉の意味を獲得するには、単語を分割するだけでなく、品詞が分からなければいけません。ですから、この2つを自動で同時に行うことが必須なのです」と内海さんは話す。最終目標である対話インターフェースの開発には、欠かせない技術だ。

内海さんは当初、従来の教師あり学習と一部の教師データのみを与える「半教師あり学習」を組み合わせる手法でこの課題に取り組み、一定の成果を得た。しかし、一部の教師データとして単語分割のみを与え、品詞を教師なしで学習するこの手法では、品詞推定精度が上がりにくい。そこで内海さんは、教師データを一切用いない教師なし学習に活路を見出そうとしていた。そんなときある研究会で、教師なし形態素解析の先行研究で成果のある持橋に出会い、共同研究を申し入れたのだ。

成果を着実に前進させ 最高峰の自然言語処理会議で発表

統数研とITラボのチームは2015年に、「教師なし学習による品詞を含めた形態素解析」のアルゴリズムを完成させ、自然言語処理系で最上位に位置する国際会議「ACL(Annual Meeting of the Association for Computational Linguistics)」で発表した。

このアルゴリズムでは、「隠れセミマルコフモデル」を用いた。現在の値だけで未来の挙動が決定される「マルコフ過程」のうち、状態が観測されず、出力のみが観測される「隠れマルコフモデル(HMM)」を基にしたものだ。

「例えば、She will take a tour. という1文は、品詞が名詞・助動詞・動詞・冠詞・名詞の順に並んでいます」と持橋が例を挙げる。この観測値は、裏にある見えない状態から遷移してきたと考えられるので、モデルでは「名詞(この例ではshe)の後ろには助動詞(will)が来る確率が高い」などと、1単語前の品詞から判定する(図2、3)。

図2:「隠れセミマルコフモデルによる教師なし形態素解析」で単語と品詞を同時に推定する考え方。
図3:三河弁のツィートを「隠れセミマルコフモデルに基づく教師なし完全形態素解析(NPYHSMM)」で解析した例。

だが、実際には「名詞(she)・助動詞(will)の順に並んでいれば、次は動詞(take)が来る」「動詞(take)・冠詞(a)の後には名詞(tour)が続く」など、2単語前の品詞から判定すべき場合もある。ただし、この文の接頭にAlthough,などの接続詞が付いていた場合、2単語後ろにはさまざまな品詞が来る可能性があり、willが来るとは判定できない。

チームが次に取り組んだのは、このように「何単語前の品詞を考慮すべきか」を自動学習するアルゴリズムだ。しかし、品詞の種類はよく使われるものだけで20種類以上あり、2単語前まで考慮すると202通り、3単語前では203通りを学習しなければならず、計算量が膨大になってしまう。「そこで、持橋先生が先行研究で用いていた、単語列の並びの中から単語の塊を確率的に見つけてくる手法をHMMに導入し、何単語前まで考慮すればいいかをデータから推定することにしました」と内海さんは説明する。

さらに、動詞が3つ連続するなど、ほぼ現れないパターンを枝刈りして探索範囲を狭め、計算量を減らすことで、4〜5単語前まで遡れるようにした。「このアルゴリズムでは、枝刈りのしきい値自体が確率的に推移するので、常に統計的に正しいモデルを学習できることが最大の特長です」と持橋は話す。

とはいえ、実装にあたっては計算速度が上がらない、バグが多いなど、乗り越えるべき課題が次々に出現。「結局、実装が完了するまでに2年ほどかかりました」と内海さんは振り返る。苦労の甲斐あって、この研究成果を記した「可変次数無限隠れマルコフモデル」は2018年度の情報論的学習理論と機械学習 (IBISML) 研究会賞に輝いた。

内海さんは「自然言語処理の研究では、『教師なし』と言いながら実際にはかなりルールを入れているケースも多く、持橋先生ほどヒューリスティックを排除して理論に徹する研究者は多くありません」と話し、持橋に全幅の信頼を置く。

チームの次の目標は、構文解析だ。人の話し言葉は、同じ意味内容を語る場合にもさまざまな構文構造があるが、これを構文解析の論理式に変換すると、統一を図ることができる。つまり、人が口語でどんなにラフな言いまわしをしても、AIがきちんと意味を理解できる形に置き換えられるようになる。ITラボの目指す「対話インターフェース」にまた一歩近づくわけだ。

人間同士の会話と同じように、人とクルマが自然に会話を交わす――。そんなSFのような社会も、地道な研究の積み重ねによって夢ではなくなるときが来るはずだ。チームは今、統計理論を使いこなし、未来への種を撒いている。

写真2:東京・渋谷にあるITラボのオフィス。楽器やワインセラーなどが置かれ、研究者たちは自由な雰囲気で研究に打ち込んでいる。 写真3:ITラボのエントランスには、共同研究の成果に対するIBISML 研究会賞の表彰状が飾られている。

(広報室)


ページトップへ