研究内容RESEARCHES

Smart Vision & Sensing 高速ビジョン・センシング

広島大学大学院先進理工系科学研究科 電気システム制御プログラム
スマートロボティクス研究室 教授
石井 抱 Idaku ISHII
>> 研究テーマ
1秒間に1000コマ以上の実時間画像処理を実現する高速ビジョン技術を始めとして、人間の感覚能力を遥かに上回る実時間センシング技術の確立を目指した情報システム/デバイスの研究開発を行うとともに、高速化・集積化を念頭においたアルゴリズムの研究、さらには人間には感じとることが難しい振動ダイナミクス等の情報を積極的利用した新たなセンシング技術の実現を目指します。

セルベースドラベリングに基づく高速複数対象特徴抽出

Algorithm

本研究では、画像中の複数対象の位置や特徴量を高速計算する方法としてセルベースドラベリング法を提案し、様々な画像特徴量に対応したセルベースドラベリングアルゴリズムを高速ビジョンプラットフォームにハードウェア実装することにより、512×512画素画像に対して2000fpsでの複数対象の画像特徴量を実時間計算可能とした。

セルベースドラベリングは、加法性のある画像特徴量を計算する場合、画像を小さな画像領域(セル)に分割し、セル毎に画像特徴量の総和を計算した上で、セル単位でのラベリングを行う考えであり、空間解像度を低下させることなく、ラベリングにおける走査画素数及びラベルマップ等の記憶領域の削減を可能とする。 セルラベリングアルゴリズムは、(1) 分割されたセル単位での画像特徴量計算, (2) セルベースド画像特徴量を用いた対象レベルでのラベリングから構成される。 右図にその処理の流れを示す。

モーメント特徴、高次局所自己相関特徴(HLAC)、カラーヒストグラムなどの加法性のある画像特徴量計算を高速化するために、セルベースドラベリングに基づく様々なハードウェア回路をFPGAベースド高速ビジョンプラットフォームIDP Expressに実装し、様々な高速複数対象特徴抽出システムの構築に成功した。 これらのシステム実装では、512×512画像において、最大1024個の対象に対して、8×8セルでのセルベースドラベリングを用いることにより、大きさや位置を求めるための0次, 1次モーメント特徴と同時に、様々な画像特徴量を瞬時に計算できることを確認した。

512×512画像に対して2000fpsで動作する高速複数対象特徴抽出システムの性能は、高速な運動対象に対する様々な動作実験において既に検証されている。 以下にこれらの動画を示す。


セルベースドラベリング(モーメント特徴)
16rpsで回転する文字パターン WMV動画(2.3M)
16rpsで回転する文字パターン
複数トランプスーツパターンの2000fps投影 WMV動画(2.2M)
複数トランプスーツパターンの2000fps投影

セルベースドラベリング(25個のHLAC特徴+モーメント特徴)
学習されたトランプスーツパターンの250fps投影 WMV動画(1.9M)
学習されたトランプスーツパターンの250fps投影
250fpsで投影された顔パターン WMV動画(1.0M)
顔パターンの250fps投影

セルベースドラベリング(16カラービンヒストグラム+モーメント特徴)
16rpsで回転する16種類のカラーパターン WMV動画(2.1M)
16rpsで回転する16種類のカラーパターン
カラーボトルを持つ人間の手の反復動作 WMV動画(0.9M)
カラーボトルを持つ人間の手の反復動作