平成24（2012）年度　一般研究２実施報告書

課題番号	24−共研−2017		分野分類			統計数理研究所内分野分類			b
						主要研究分野分類			5
研究課題名	パーティクルフィルタによるマルチメディア信号における逐次的情報抽出
フリガナ 代表者氏名	イコマ ノリカズ 生駒 哲一				ローマ字		IKOMA Norikazu
所属機関	九州工業大学大学院
所属部局	工学研究院 電気電子工学研究系
職　　名	准教授
配分経費	研究費	40千円		旅　費		382千円		研究参加者数		22　人

研究目的と成果（経過）の概要

画像（静止画，動画像）や音響信号，各種センサからの信号など多様な信号を総合して扱うマルチメディア信号処理において，逐次的な情報抽出手法としてが有望視されているパーティクルフィルタをベースとして用い，各種の工学的な情報抽出課題に効果的に用いることを主眼とした多様な工学分野の応用課題を研究した．

応用課題の分野としては，動画像のオンライン処理，自律移動ロボットの外界知覚および制御，センサ融合による高次情報の把握，自動車運転環境における状況把握と安全運転支援など，多様な課題を設定し，研究を進めた．また，パーティクルフィルタの高速リアルタイム計算に必要なアルゴリズムや計算マシンの開発も行った．

各応用課題ごとの成果の概要は，以下の通りである．

（１） 動画像のオンライン処理
・顔のパーツ（目など）や肌色などを美化するアミューズメント応用を，USBカメラで撮影した動画像に対してリアルタイムで行う方法を提案し，様々な被験者に対してこれを実時間で行うシステムとして実装した．
・海底生物を撮影した画像において，パーティクルフィルタの頑健なアルゴリズムを活かして，海底生物の位置と姿勢を正確に追跡する方法を提案した．
・海洋レーダを画像化した信号に対して，地形情報の推定と移動する船舶等の追跡を行う方法を提案した．

（２） 自律移動ロボットの外界知覚および制御
・状態フィードバック制御においてパーティクルフィルタをオブザーバとして利用する場合の問題点や課題を明らかにし，制御を行う際に，安全側の判断を行い，滑らかな操作量を与える方法を提案した．
・図書館内を走行しながら撮影した全方位動画像データに基づき，画像の一致度に着目した尤度を評価基準として，自身（ロボットや図書館利用者の携帯端末など）が新規に撮影する動画像から自己位置を頑健に推定する方法を提案した．

（３） センサ融合による高次情報の把握
マルチモーダルな複数センサ信号の融合として，全方位カメラ画像と広角度範囲のレーザ距離計を扱い，それら２種のセンサの回転角度の軸を一致させて水平な地面上に固定し，複数の歩行者の動きを追跡する方法を提案し，リアルタイムシステムとして実装した．

（４） 自動車運転環境における状況把握と安全運転支援
運転者の顔姿勢（６自由度中の３自由度）と，ステアリングを操作する両手の挙動（握り位置と腕の方向）をリアルタイムで推定する方法を提案し，ドライビングシミュレータ環境にて提案法を実装し，様々な被験者に対して実時間で上記挙動を推定できるシステムを完成させた．

（５） アルゴリズムと計算マシンの開発
・グリッド法によるパーティクルフィルタのラオ・ブラックウェル化を提案し，特定のモデル下にてより正確な推定を行うアルゴリズムを開発した．
・GPGPUにおけるパーティクルフィルタによる動画像追跡の並列実装として，ピクセル比率を尤度とする場合に関して，実装法の提案を行い，実時間性能について評価を行った．

（６）その他
・電力システムの安定性の指標が時間的に変化する場合において，それら時変指標をパーティクルフィルタにより推定する方法を試みた．
・音響信号の主観評価に関する研究を進め，状態推定手法の今後の適用可能性について検討した．
・集合の束構造に基づく形式概念分析の方法を研究し，その応用課題として，動画像やWebニュースの推薦と，マイクロアレイデータの対話的な分析方法を提案した．

当該研究に関する情報源（論文発表、学会発表、プレプリント、ホームページ等）

【学術論文】
[1] 川本一彦, "粒子フィルタによる対象追跡の動向", 信学技報, vol. 112, no.465, SIS2012-65, pp. 109-114, 2013.

[2] Takeshi Nishida, Tetsuzo Sakamoto, "Adaptive PSO for Online Identification of Time-Varying Systems", Electronics and Communications in Japan, Vol.95, No.7, pp.10-18, 2012.

[3] 西田 健, "時変関数に適応するためのABCアルゴリズムの修正", 電気学会論文誌 C, Vol.132, No. 4, pp. 584-591, 2012.

[4] Nicola Ivan Giannoccaro, Takeshi Nishida, Tetsuzo Sakamoto, "Decentralized Control Performances of an Experimental Web Handling System", International Journal of Advanced Robotic Systems, Vol.9, 141:2012, 2012.

[5] 西田 健, 相良 慎一, 武村 史朗, "パーティクルフィルタによる海底生物の追跡", 電気学会論文誌 D, Vol.133, No.2, pp.116-125, 2013.

[6] 西田健, "パーティクルフィルタを用いる状態フィードバッ ク制御", 電気学会論文誌 C, Vol. 133. No. 7, 2013.（掲載決定）

[7] 西田健, 黒木秀一, "対応関係が不明な3次元点集合間の回転行列の推定", 日本ロボット学会誌, Vol. 31, No. 9, 2013（掲載決定）

[8] Takeshi Nishida, Tetsuzo Sakamoto, Nicola Ivan Giannoccaro, "Self-Tuning PI Control Using Adaptive PSO of a Web Transport System with Overlapping Decentralized Control", Electronical Engineering in Japan, (in press).

[9] Takeshi Nishida, "Modification of ABC Algorithm for Adaptation to Time-Varying Functions", Electronics and Communications in Japan, (in press).

[10] S.Hayashi, T.Nishiyama, T.Fujishiro, N.Kanzaki, N.Shibanuma, S.Kobashi and M.Kurosaka, "Automated pelvic anatomical coordinate system is reproducible for determination of anterior pelvic plane", Computer Methods in Biomechanics and Biomedical Engineering, to appear, 2013. (online first)

[11] K.Sawase and H.Nobuhara, "The transformation method between tree and lattice for file management system", Evolving Systems, 1007/s12530-012-9071-4
(2013)

[12] 北村 祐太郎, 澤勢 一史, 延原 肇, "形式概念分析を用いた推薦理由を明示する動画推薦手法", 日本知能情報ファジィ学会誌, Vol. 25, No. 1, pp. 624-635, (2013)

[13] 豊田 哲也, 延原 肇, "カテゴリ写像に基づく追加学習に対応可能な自己組織化とWebニュース群の動的クラスタリングへの応用", 電気学会論文誌 C, Vol.132, No. 8, pp. 1347-1355 (2012)

[14] T.Tanabata, F.Hirose, H.Hashikami, and H.Nobuhara, "Interactive Data Mining Tool for Microarray Data Analysis Using Formal Concept Analysis", Journal of Advanced Computational Intelligence and Intelligent Informatics, Vol. 16, No. 3, pp. 273-281 (2012)

【国際会議等】
[1] Norikazu Ikoma and Takashi Ito, "GPGPU implementation of visual tracking by particle filter with pixel ratio likelihood", 2012 IEEE/SICE International Symposium on System Integration (SII) Dec.17, Fukuoka, JAPAN, pp.889-894, 2012.

[2] Norikazu Ikoma, "Real-Time Motion Estimation of Car Driver's Hands and Arm's Direction in Vision under Possible Mutual Occlusion by Particle Filter", 6th Int'l Conf. on Soft Computing and Intelligent Systems and 13th Int'l Sympo. on advanced Intelligent Systems (SCIS & ISIS 2012), Nov.20-24, Kobe, JAPAN, pp.701-704, 2012.

[3] Norikazu Ikoma, "Multiple pedestrians tracking with composite sensor of laser range finder and omni-directional camera by SMC implementation of PHD filter", 6th Int'l Conf. on Soft Computing and Intelligent Systems and
13th Int'l Sympo. on advanced Intelligent Systems (SCIS & ISIS 2012), Nov.20-24, Kobe, JAPAN, pp.705-710, 2012.

[4] Norikazu Ikoma and Gefan Zhang, "Real-time Face Decorations in Video based on Face Posture Estimationby Particle Filter", Proc. of 5th International Symposium on Computational Intelligence and Industrial Applications, Paper No.49, 2012. This paper has received the Best Paper Award of ISCIIA2012.

[5] Osea Zebua, Norikazu Ikoma, and Hiroshi Maeda, "Dynamic Voltage Stability Estimation using Particle Filter", World Academy of Science, Engineering and Technology, Issue 65 (May), pp.887-891, 2012.

[6] Kazuhiko Kawamoto, Tatsuya Yonekawa, Kazushi Okamoto, "Visual vehicle tracking based on an appearance generative model", Proc. Joint 6th Int. Conf. on Soft Computing and Intelligent Systems and 13th Int. Symp. on Advanced Intelligent Systems, CD-ROM Proceedings W3-44-6, 2012.

[7] Kazuhiko Kawamoto, "Grid-based Rao-Blackwellisation of Particle Filtering for Switching Observation Models", Proc, 15th Int. Conf. on Information Fusion, pp.143-148, 2012.

[8] W.Huang, S.Kurogi, and T.Nishida, "Robust Controller for Flexible Specifications Using Difference Signals and Competitive Associative Nets", Proc. of ICONIP 2012, Part V, LNCS 7667, pp. 50-58. Springer, Heidelberg, 2012.

[9] K.Ono, S.Kurogi, T.Tsukazaki, and T.Nishida, "Moments of Predictive Deviations as Ensemble Diversity Measures to Estimate the Performance of Time Series Prediction", Proc. of ICONIP 2012, ICONIP 2012, Part V, LNCS 7667, pp. 59-66. Springer, Heidelberg, 2012.

[10] Y.Mizobe, S.Kurogi, T.Tsukazaki, and T.Nishida, "Multistep Speaker Identification Using Gibbs-Distribution-Based Extended Bayesian Inference for Rejecting Unregistered Speaker", Proc. of ICONIP 2012, Part V, LNCS 7667, pp. 247-255. Springer, Heidelberg, 2012.

[11] H.Mita, S.Kobashi, K.Nagasawa, K.Nishiyama, H.Maeno, K.Kuramoto and Y.Hata,
"A fusion method for marine rader images using EM algorithm", Proc. of 2012 World Automation Cong., 2012. (online)

[12] A.Hashioka, S.Kobashi, K.Kuramoto, Y.Wakata, K.Ando, R.Ishikura, T.Ishikawa, S.Hirano and Y.Hata, "Shape and appearance knowledge based brain segmentation for neonatal MR images", Proc. of 2012 World Automation Cong., 2012. (online)

[13] M.Mizumachi, "Relationship between subjective and objective evaluation of noise-reduced speech based on temporal fluctuation of speech distortion", Proc. Inter-noise, CD-ROM (Paper ID: 808), August 2012.

[14] M.Mizumachi, K.Ohga, M.Fujii, and T.Horiuchi, "Restoration of intermittent speech with composite gap-filling schemes relying on human auditory capability", Proc. 19th International Congress on Sound and Vibration (ICSV19), CD-ROM (Paper ID: 208), July 2012.

[15] M.Mizumachi, "Analysis of discrepancy between subjective and objective evaluation of noise-reduced speech", Proc. ACOUSTICS 2012, CD-ROM (Paper ID: 1aSCb7), May 2012.

[16] Y.Kawamura, B.Veenendaal, A.M.Dewan, M.Hayashi, I.Kitahara, H.Nobuhara, and K.ishii, "Emergency Management with ZigBee and GIS", Fifth International Symposium on Computational Intelligence and Industrial Applications(ISCIIA2012), 20th-23rd August 2012, Sapporo, Japan, Round Table Discussion 24th-26th August (2012)

[17] M.Haris, K.Sawase, T.Sawada, K.Kamijima, M.R.Widyanto, and H.Nobuhara, "Parameter Optimization of Fast Curvature Based Interpolation Using Genetic Algorithm", Fifth International Symposium on Computational Intelligence and Industrial Applications(ISCIIA2012), 20th-23rd August 2012, Sapporo, Japan, Round Table Discussion 24th-26th August (2012)

[18] S.Yasunobu, H.Nobuhara, and Y.Kawamura, "Efficient Construction of Wireless Personal Area Networks for Disaster Control", Fifth International Symposium on Computational Intelligence and Industrial Applications(ISCIIA2012), 20th-23rd August 2012, Sapporo, Japan, Round Table Discussion 24th-26th August (2012)

【国内口頭発表等】
[1] 生駒　哲一， "パーティクルフィルタによる運転者の顔姿勢および両手挙動の実時間推定", 自動車技術会2012年秋季大会学術講演会前刷集， Vol.95-12, pp.21-26, 2012.

[2] 川本一彦, "グリッド法を用いた粒子フィルタのラオ・ブラックウェル化", 情報処理学会研究報告, Vol.2013-CVIM-185, No.36, pp1-8, 2013.

[3] 田代祐志,川本一彦,岡本一志, "複数人物の移動軌跡データからの環境モデルパラメータの逐次ベイズ推定", 情報処理学会研究報告, Vol.2012-CVIM-184, pp1-8, 2012.

[4] 風間光, 川本一彦, 岡本一志, "画像検索を用いた図書館内での自己位置推定", 情報処理学会研究報告, Vol.2012-CVIM-182, No.27, pp1-8, 2012.

研究会を開催した場合は、テーマ・日時・場所・参加者数を記入してください。

国際ワークショップの共同開催を，下記の通り行った．

統計数理研究所「データ同化研究開発センター」主催
International Workshop on Particle Filters for Data Assimilation
共催：パーティクルフィルタ研究会
併催：統計数理研究所共同利用研究 一般研究２（24-共研-2017）
　「パーティクルフィルタによるマルチメディア信号における逐次的情報抽出」

【日時】 平成２５年２月７日（木）１３時〜１８時半過ぎ頃
【場所】 統計数理研究所，セミナー室５
【内容】
（１） 特別講演（英語）
　Brad Weir, Oregon State University （オレゴン州立大学）
　　http://people.oregonstate.edu/~weirb/
"Implicit Sampling: Theory and Implementation"

（２） 一般講演１（英語）
　Shin'ya Nakano, ISM（中野慎也、統数研）
"Two ways of representation of the probability density function for ensemble-based data assimilation"

　Masaya M. Saito, ISM（斎藤正也、統数研）
"Influenza epidemic simulation in an urban area"

　Hiromichi Nagao, ISM（長尾大道、統数研）
"Time-series modeling of tide gauge records using the particle filter for monitoring crustal activities related to oceanic trench earthquakes near Japan"

（３） 一般講演２（日本語）
　生駒哲一（九州工業大学）
「ピクセル比率を尤度とするパーティクルフィルタ動画像追跡のGPGPUへの並列実装」
"Parallel implementation of visual tracking by particle filter with pixel ratio likelihood to GPGPU", Norikazu Ikoma (Kyushu Institute of Technology, Japan)

　宮田太郎（九州工業大学大学院）
「疎に配置された複数カメラ動画像からの広域シーン中の移動対象追跡」
"On a moving target tracking in board scene from video images of sparsely located multiple cameras", Taro Miyata (Kyushu Institute of Technology, Japan)

　○椎名雄飛、池永剛（早稲田大学）
「交差後予測に基づくパーティクルフィルタを用いた外観類似物体同士の交差に頑健な物体追跡」
"Robust Object Tracking for Intersections of Objects with Similar Pattern using Prediction After Intersection based Particle Filter", *Yuhi Shiina, Takeshi Ikenaga (Waseda University, Japan)

　○小橋昌司，三田北斗，中川和也，西山浩二，前野 仁，倉本 圭，畑 豊（兵庫県立大学）
「反復画像再構成法による複数海洋レーダ画像合成」
"Iterative image reconstruction method for multiple radar image systems", Hokuto Mita, *Syoji Kobashi, Kazuya Nakagawa, Kohji Nishiyama, Hitoshi Maeno, Kei Kuramoto, Yutaka Hata (Univ. of Hyogo, Japan)

　寺田大介（水産総合研究センター 水産工学研究所）
「一般状態空間モデル解析による方向波スペクトルの逆推定」
"Inverse estimation for directional wave spectra based on the general state space modeling procedure", Daisuke Terada (National Research Institute of Fisheries Engineering, Japan)

　田代祐志，○川本一彦（千葉大学）
「確率的セルオートマトン型群集モデルに対するデータ同化」
"Data assimilation of probabilistic cell automaton for crowd modeling",Yuji Tashiro, *Kazuhiko Kawamoto (Chiba University, Japan)

参加者数は２５名程であった．

講演会の終了後に，懇親会も開催し，参加者相互の親睦を深めた（実費）．

研究参加者一覧
氏名	所属機関
石井 佑樹	九州工業大学大学院
石黒 真木夫	統計数理研究所
オセア ゼブア	九州工業大学大学院
折居 英章	九州工業大学大学院
河野 英昭	九州工業大学
川本 一彦	千葉大学
北島 一樹	九州工業大学大学院
小橋 昌司	兵庫県立大学
小林 篤司	九州工業大学大学院
田村 義保	統計数理研究所
張 ハク	九州工業大学大学院
寺田 大介	水産総合研究センター
西田 健	九州工業大学
延原 肇	筑波大学
橋岡 亜弥	兵庫県立大学大学院
樋口 知之	統計数理研究所
水町 光徳	九州工業大学
三田 北斗	兵庫県立大学大学院
宮田 太郎	九州工業大学
姚 強興	九州工業大学大学院
林 成春	九州工業大学大学院