研究内容RESEARCHES

Smart Vision & Sensing 高速ビジョン・センシング

広島大学大学院先進理工系科学研究科 電気システム制御プログラム
スマートロボティクス研究室 教授
石井 抱 Idaku ISHII
>> 研究テーマ
1秒間に1000コマ以上の実時間画像処理を実現する高速ビジョン技術を始めとして、人間の感覚能力を遥かに上回る実時間センシング技術の確立を目指した情報システム/デバイスの研究開発を行うとともに、高速化・集積化を念頭においたアルゴリズムの研究、さらには人間には感じとることが難しい振動ダイナミクス等の情報を積極的利用した新たなセンシング技術の実現を目指します。

剛体モデルを用いた高速3次元モーションキャプチャ

本研究では、高速ビジョンにより抽出・追跡された複数の計測点の三次元位置について、剛体モデルにあてはめることにより、回転運動を伴う剛体の三次元運動を高速リアルタイムに計測可能する三次元モーションキャプチャを実現する。

高速三次元モーションキャプチャシステムは、高速カメラヘッド、FPGAボード、パソコンからなるH3 Visionシステムをベースに構築され、高速カメラヘッドの画像はステレオステレオ視空間分割ミラーにより、左視野と右視野が同一画面上に投影される形となっている。構築したシステムの概要及び外観を下図及び写真に示す。


撮像されたステレオ画像は、ラベリング・モーメント計算アルゴリズムが実装されたFPGAボード上に送られることにより、画像内の複数マーカーの重心位置が計算され、パソコンに左視野におけるマーカー位置、右視野におけるマーカー位置の情報がパソコンに転送される。パソコン上では、同一マーカーの左右視野のマーカー位置を対応付けることにより、マーカーの三次元位置を計算するとともに、これらのマーカー位置は球対象や既知形状などに基づく剛体モデルにあてはめられる。これらの処理の結果、六自由度で表される剛体の三次元位置・姿勢、さらには並進運動速度・回転速度が実時間で計算することが可能となる。なお三次元モーションキャプチャのためのこれらの一連の処理については、フレームレート1000fpsで動作することを確認している。

最初に球形モデルに当てはめを行うことにより、高速な回転運動をしながら飛翔する変化球の三次元位置・速度を実時間計測する様子について動画に示す。この動画では、ピンポン球がドライブ回転している場合、カット回転している場合についての動作の様子を撮影したものである。次に任意形状に対する剛体モデルを構築した上で、運動する対象の三次元位置・速度を実時間計測する様子について動画に示す。この動画において、対象がマウスの場合については、最初に剛体形状を記憶させる初期処理を行った上で、三次元モーションキャプチャを実現している。
高速回転する変化球に対する三次元モーションキャプチャ
MP4動画(1.3M) 再生
様々な形状の剛体に対する三次元モーションキャプチャ 様々な形状の剛体に対する三次元モーションキャプチャ
MP4動画(1.8M) 再生