研究マネジメント改革の武器として注目が集まる「研究IR」

大学内のさまざまな情報を収集・分析し、その結果を大学経営の意思決定や計画策定に役立てるIR（Institutional Research）は、1960年代に米国で始まった取り組みだ。

日本では、国立大学が法人化された2004年頃から主に各大学に設置された評価室においてIR活動が徐々に導入されるようになった。事業成果に対する第三者評価や計画策定時のエビデンスがそれまで以上に求められるようになり、分析データの重要性が高まったことによる。

現在では、学生調査と成績を組み合わせて教育効果を測定し、教育や研究活動に生かす「教学IR」が主体であり、大学組織の活動情報を包括的に収集・分析し、評価、意思決定に活用されている。教学IRは財務分析、学生評価、教員業績評価など大学の教育の質に着目した活動で、私立大学や公立大学にも普及しつつある。

そんな中で、最近特に注目を集めているのが、研究戦略への情報提供を目的とする「研究IR」だ。

近年、日本の大学や研究機関による論文数の国際的シェアは低下傾向にあり、研究体制や研究環境の見直し、研究マネジメント改革などが喫緊の課題となっている。研究IRは、その専門家であるURA（University Research Administrator）の重要な任務の一つでもある。

新指標を開発し、大学IR支援と公募型共同利用のテーマ設定に活用

統数研では現在、URAが中心となり、大学・学術機関のIR活動を支援するツールの開発や機関のさまざまな活動を客観的に評価するための新たな指標に関する研究を行なっている。

その一つが、「IR機能強化と異分野融合指標の開発」だ。このプロジェクトの第1段階のゴールは、統計数理の知見を生かして異分野融合の進展や効果を公正かつ適切に評価する指標を開発し、これを公開して全国の大学などのIR機能強化に貢献すると同時に、統数研の公募型共同利用・共同研究におけるテーマ設定等の意思決定に有効活用することだ。

統数研の新指標開発グループは、本多啓介URAをはじめ金藤浩司教授、中野純司教授、�M田ひろか特任研究員、武井美緒特任技術専門員、水上祐治客員准教授（日本大学准教授）、総合研究大学院大学の張菱軒氏、海外から台湾・中央研究院統計科学研究所の潘建興副研究員、ノースカロライナ州立大学のStephan Porter教授の多彩な人材で構成。福岡女子大学の藤野友和准教授を代表とする日本計算機統計学会スタディーグループと協力して指標開発に当たるとともに、ユーザー側である大学評価コンソーシアムとも連携し、ニーズの把握に努めている。

2016年度からは「学術文献データ分析の新たな統計科学的アプローチ」が公募型共同利用の重点型研究に採択され、16年度には10件、17年度には15件の課題について、全国の研究者やIR実務者、URAと共に多角的な取り組みを続けてきた。この重点型研究に採択された課題では、統数研とクラリベイト・アナリティクス社（旧トムソン・ロイター社）との協力関係により、研究者・研究評価担当者に広く利用されている書誌データベースの一つであるWeb of Scienceのデータが分析や評価指標の開発に活用できる。

萌芽型研究への助成には異分野融合の適切な評価が不可欠

統数研グループが開発中の新指標の最大の特徴は、異分野融合の進展や効果を公正かつ適切に評価する『多様性指標』を用いた評価・分析を目的としていることだ。こうした指標はこれまで存在しなかった。

統数研の助成事業である公募型共同利用は、研究者の自由な発想に基づくボトムアップ型・萌芽型研究を支援するものだ。「イノベーションの源泉の一つとなるこうした研究への助成を強化するには、まず、新たな指標を開発することが必要不可欠です」と本多は断言する。

科学技術・学術政策研究所（NISTEP）では「サイエンスマップ」、米国立衛生研究所（NIH）は「相対引用率（Relative Citation Ratio：RCR）」といった指標をそれぞれ開発し、提案している。個々の論文や学術雑誌の引用数に基づく研究の「インパクト」をベースとするこれらの指標は、トップダウン型研究を助成する機関には有用と言える。だが、萌芽型研究における異分野融合などの評価・分析には向いていない。

その理由を本多は「既存の指標は学術分野間の偏りを完全には標準化できていないからです」と説明する。例えば、二つの論文の引用数がともに100件であったとしても、膨大な数の論文が世に出ている分野と、ほとんど論文の出ていない分野では単純にスコアを相対比較することは不可能だ。

そこで、新指標の設計にあたっては、多様性のスコアを「論文単位で」かつ「書誌情報だけで」算出することができ、分野間の偏りを適切に補正できること、さらに、中長期的な影響を測定できることを要求仕様とした。「これを満たすには、高度な確率論や統計手法を用いる必要があります。統数研だからこそできる取り組みです」と本多は話す。

開発中の新指標は、意思決定サイクルにおける「評価」と「戦略」を担うIRへの導入を想定したものだ。例えば評価フェーズでは、自機関の研究活動の特徴や強み、弱みなどをシステムに問い合わせると、「A年からB年において、X分野とY分野の異分野融合が進みました」、あるいは「国外研究機関との共同研究が減少しました」といったレポートが出力され、自機関の状況を客観的に把握することができる。

一方、戦略フェーズでは、共同研究に向いた機関や異分野融合を促進すべき分野、ある分野で交流・連携・協力などの関係が広い研究者などを問い合わせる。すると、「C研究所がこの分野で最も広い交流・連携・協力などの関係を持ちます」といったレポートが出力され、自機関の積極的な戦略立案支援に役立てることができる。

グラフ構造化で学術分野を再構成
共起頻度を考慮して偏りを補正

統数研グループが着目したのは、「文献同士の関係性」だ。論文などの学術文献には、「引用−被引用関係」や「共著関係」といった関係性が存在する。つまり、本質的にグラフ（ネットワーク）構造である。「異分野融合の度合いを測るには、学術文献をグラフ構造のデータとして表現し、その特徴を抽出することが重要だと考えました」（本多）。

そこでまず、1981年から2016年までのグローバルな論文の引用−被引用関係を行列の形に変換。次に、この行列を関係性の近いものは近く、遠いものは遠く配置したブロック構造に並べ替える。「確率的ブロックモデル」と呼ばれるアルゴリズムによるクラスタリングの手法だ（図1）。

こうしてクラスタリングした一つずつのブロックを「潜在的な学術分野」とみなす。キュレーターによる従来のタグ付けではなく、引用−被引用のデータのみに基づき、学術分野を新たに分類しなおしたわけだ。

ただ、このままでは「論文数の偏り」の問題が残っているため、補正を加える必要がある。これには、自然言語処理で使われる「自己相互情報量（Point-wise Mutual Information:PMI） 」のアルゴリズムを用いた。

PMIは、同一文書内に現れる二つの単語が共起する確率を表す指標だ。英語のthisとisのように、どの文書にも頻出して現れる単語自体の出現確率を差し引いて算出する。統数研グループは、これを論文データに適用することで標準化を図った。すなわち、データの多い医学系論文などの出現確率を差し引いたうえで、別の論文との引用関係の確率を算出するように設定。これにより、満たすべき仕様をすべてクリアしたことになる（図2、図3）。

あとは、補正後のブロックモデルを使い、引用関係にある論文が含まれるクラスター同士の距離を比較したり、平均値を算出したりすれば、論文の影響度、つまり多様性の度合いを評価する指標が完成する。「現在はその算出方法を検討している段階です」（本多）。

公開が待たれる新指標「REDi」
多様性評価による研究の進化に期待

完成間近の新指標は、「REDi（Research Diversity Index）」と名付けられた（図4）。2018年夏に公開する予定だ。2017年12月には統数研が主催する評価関連では初の研究集会「Research Metrics Workshop 2017」を開催し、成果を発表した（図5）。また、2018年1月には、日本オラクルの主催する「Oracle Research Platform サミット＠つくば」で大学・学術機関向けに発表した。

2018年度の公募型共同利用の重点テーマでは「IRのための学術文献データ分析と統計的モデル研究の深化」と、IRを強く意識した名称に変えて研究を公募した。

本多は、プロジェクトの次なるゴールを「大学評価システムへの新指標の実装」に設定している。「5件以上の大学・機関が試験的に運用することにより、新指標の有効性を検証していきます」と話す。

新指標開発に携わる水上は「アジアの大学は、欧米の指標では低く評価される傾向があるように思います。われわれの開発した指標によって正当に評価されるとしたらエキサイティングです」と先を見つめる。一方で�M田は、「数値に現れにくく既存の指標では評価できない研究のすごさや面白さを可視化することに、大きな意義を感じます」とやりがいを感じている。

まだ産声を上げて間もない研究IR。統計数理を駆使した新指標の誕生によって、日本の大学や研究機関がそれぞれの強みを活かした研究活動を進展させることが期待される。

（広報室）