研究内容RESEARCHES

Smart Vision & Sensing 高速ビジョン・センシング

広島大学大学院先進理工系科学研究科 電気システム制御プログラム
スマートロボティクス研究室 教授
石井 抱 Idaku ISHII
>> 研究テーマ
1秒間に1000コマ以上の実時間画像処理を実現する高速ビジョン技術を始めとして、人間の感覚能力を遥かに上回る実時間センシング技術の確立を目指した情報システム/デバイスの研究開発を行うとともに、高速化・集積化を念頭においたアルゴリズムの研究、さらには人間には感じとることが難しい振動ダイナミクス等の情報を積極的利用した新たなセンシング技術の実現を目指します。

ディープラーニングを用いた高速対象追跡

カメラを用いた対象追跡技術は,コンピュータビジョンの最も 基本的な技術の一つであり,様々な応用場面で用いられている.これまでにも数多くの対象追跡法が提案され,近年のコンピュータの高性能化に合わせる形で,画像特徴量に基づいた対象追跡法や,テンプレート画像に基づいた対象追跡法等の実時間動作が報告され,数百fpsでの実時間テンプレート追跡も実現されている.しかし,これらの局所的な対象追跡法では,対象近傍のみでの局所探索により実行速度が高速化できるメリットがある反面,追跡開始時の初期テンプレートの人為的な指定が必要となり,複雑な背景や対象自体のオクルージョンやスケール姿勢等の対象のアピアランス変化に伴う追跡失敗が多発する場合,持続的な追跡が難しくなる問題がある.一方で,近年,ディープラーニングを組み込んだ画像認識技術が自動運転,知能型ロボット等のリアルタイム制御システムに応用されつつあり,画像認識における正確性と高速実時間性の両立に向けた研究が数多く進められている.特に畳み込みニューラルネットワーク(CNN)をベースとした対象領域認識に関するディープラーニン グアルゴリズムは近年著しく性能が向上しており,高性能GPUへの並列実装により,数十fpsといったビデオレートレベルでの実時間対象認識が実現可能となっている.これらのアルゴリズムは,フレーム毎に独立した形で対象認識を行うため,一度対象を見失っても瞬時に対象を検出できる反面,全てのフレー ムで必ずしも認識が安定せず間欠的な認識結果になる場合が多発する点,さらには,現状コンピュータ技術ではアクティブビジョン等での機械的なビジュアルフィードバックに必要とされる数百fpsといった高速実時間対象検出が難しく,実行速度で限界がある点が課題として挙げられる.

そこで本研究では,フレーム独立した対象認識を可能とするCNN をベースとしたディープラーニングによる対象認識アルゴリズムと高速かつ連続的な追跡を可能とする局所的テンプレート追跡ア ルゴリズムのそれぞれのメリットを生かしたハイブリッド対象追 跡法を提案し,複雑な背景,オクルージョン,対象アピアランス変化等に対してロバストな高速対象追跡システムを実現する.提案アルゴリズムを500 fps高速カメラを搭載したパン・チルトアクティブビジョンシステムに実装し,ペットボトルを対象例とした,複雑な背景下で人間が高速に動かす対象を500 fpsビジュアルフィードバックにより機械的に追跡する実験結果を通してその有効性を検証した.

Environment

 



Environment

 

AVI movie(23.3M)
Multicopter tracking demo


参考文献

  • Mingjun Jiang, Yihao Gu, Takeshi Takaki, and Idaku Ishii, High-frame-rate Target Tracking with CNN-based Object Recognition, Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 599-606, 2018.