研究内容RESEARCHES

Smart Vision & Sensing 高速ビジョン・センシング

広島大学大学院先進理工系科学研究科 電気システム制御プログラム
スマートロボティクス研究室 教授
石井 抱 Idaku ISHII
>> 研究テーマ
1秒間に1000コマ以上の実時間画像処理を実現する高速ビジョン技術を始めとして、人間の感覚能力を遥かに上回る実時間センシング技術の確立を目指した情報システム/デバイスの研究開発を行うとともに、高速化・集積化を念頭においたアルゴリズムの研究、さらには人間には感じとることが難しい振動ダイナミクス等の情報を積極的利用した新たなセンシング技術の実現を目指します。

高速実時間1000点マーカー抽出アルゴリズム


本研究では、計測対象としては、白黒ないしカラーマーカーが多数存在し、これらに対応した入力画像が輝度や色領域などの情報に基づき2値化できるものを想定した、高速化・ハードウェア化を念頭にした多点ラベリングアルゴリズムを導入し、実際に高速ビジョンプラットフォーム上にハードウェア実装することにより、その動作検証を行った。

導入するラベリング・モーメント計算アルゴリズムの処理の流れを右図に示す。 アルゴリズムの特徴としては、(1) 1スキャンアルゴリズム: ラベリングと同時に0次、1次モーメント演算を行い、1度の走査で処理を完了する。これにより計算中において画像サイズの記憶領域を保持する必要がなくなり、ハードウェアに必要な記憶領域が削減される。 (2) ラベルの再利用: ラベリング時にラベル貼替で不要となったラベルを回収し、新しいラベルをアサインすべき画素が現れた際に再利用する。これにより、ラベリングのために消費される記憶領域を抑えることができる。 (3) ブロック並列化:1024×1024画素の画像を1024×64画素の16ブロックに分割し、各ブロックにラベリング・モーメント計算回路を割り当てて並列動作させることで高速処理を行う。 これらのラベリング・モーメント計算アルゴリズムにより、ラベル毎に計算された0次、1次モーメント特徴量から、それぞれのラベル領域の重心位置、大きさを計算することにより、多点マーカー位置抽出・追跡の実現が可能となる。

カラー抽出処理、ラベリング・モーメント計算、マーカー追跡処理をH3 Vision システムに実装し、多点白黒/カラーマーカー抽出・追跡を実現した。 ここでカラー抽出、ラベリング・モーメント計算は、画像サイズでの処理が必要とされるため、H3 Vision システムの専用FPGAボード上にハードウェア実装し、ラベル数のオーダーでの計算となるマーカー追跡処理はパソコン上で行った。この結果、1000fpsで最大4032点、10000fpsで最大254点の実時間多点白黒/カラーマーカー抽出を可能とする高速実時間多点マーカー抽出システムが実現された。システムの実際の動作については、いくつかの運動対象に対して検証実験を行った様子を以下に示す。
1000点の白黒マーカー位置を抽出(1000fps) 1000点の白黒マーカー位置を抽出(1000fps)
MPEG動画(6.5M) 再生
複数のカラーマーカー位置を抽出(1000fps) 複数のカラーマーカー位置を抽出(1000fps)
MPEG動画(7.7M) 再生
扇風機(26rps)につけたカラーマーカー位置を抽出(1000fps) 扇風機(26rps)につけたカラーマーカー位置を抽出(1000fps)
MPEG動画(4.4M) 再生
高速に振動するギター弦振動(82Hz〜330Hz)を計測(10000fps) 高速に振動するギター弦振動(82Hz〜330Hz)を計測(10000fps)
MPEG動画(3.6M) 再生