平成27（2015）年度　一般研究１実施報告書

 

課題番号

27−共研−1031

分野分類

統計数理研究所内分野分類

b

主要研究分野分類

2

研究課題名

NYSOLを利用したビッグデータ解析基盤の構築と研究

フリガナ

代表者氏名

ナカノ ジュンジ

中野 純司

ローマ字

Nakano Junji

所属機関

統計数理研究所

所属部局

モデリング研究系

職　　名

教授

 

 

研究目的と成果（経過）の概要

我々はこれまでに大規模表構造テキストデータの加工ツールNYSOLを開発してきた。
本共同研究の目的はこのNYSOLを解析の前処理だけでなく、本番のデータ解析でも利用するための拡張と大規模データを用いた場合の有効性の検証である。そのために統計数理研究所の計算資源である、共用クラウドシステム、統計科学スーパーコンピューターシステムを用いた。共用クラウドシステム上では分散並列処理システムであるHadoop上でNYSOLを効率的に実行できるようにテスト動作を行いデータ収集し、改良を行った。また統計科学スーパーコンピューターシステムではノード通信による並行処理も実行できるように改良を行った。
これらの計算機環境を活用することで、NYSOLを並列処理環境でも実行できるように改良を行った。
この改良の結果、テラバイト規模のデータの前処理を効率的に実施することが可能となった。
今後はさらにグラフ構造を持つ大規模ファイナンスデータでの分析を実際に行う予定である。

 

当該研究に関する情報源（論文発表、学会発表、プレプリント、ホームページ等）

NYSOL: Command Line Tools for Processing a Large Scale CSV Data
Masakazu Nakamoto (Kwansei Gakuin University), Stephane Cheung (Kwansei Gakuin University), Yukinobu Hamuro (Kwansei Gakuin University)
http://ura3.c.ism.ac.jp/hpccon15/

研究会を開催した場合は、テーマ・日時・場所・参加者数を記入してください。

2015年5月28日
研究会「NYSOLプロジェクトと統数研共同研究について打ち合わせ」
参加者 羽室、中元、中野、本多、他2名（KSKアナリティクス）　計5名

2015年10月9日
ISM High Performance Computing Conference参加発表
参加者 羽室、中元、中野、本多、Cheung、中原　計5名

2015年10月10日
ISM High Performance Computing Conference参加発表
参加者 羽室、中元、中野、本多、Cheung、中原　計5名

 

研究参加者一覧

氏名

所属機関

Cheung Stephane Ling Wai

関西学院大学

中原 孝信

専修大学

中元 政一

関西学院大学

羽室 行信

関西学院大学

本多 啓介

統計数理研究所