研究内容RESEARCHES

広島大学大学院先進理工系科学研究科 スマートイノベーションプログラム
スマートロボティクス研究室 教授
石井 抱 Idaku ISHII
>> 研究テーマ
1秒間に1000コマ以上の実時間画像処理を実現する高速ビジョン技術を始めとして、人間の感覚能力を遥かに上回る実時間センシング技術の確立を目指した情報システム/デバイスの研究開発を行うとともに、高速化・集積化を念頭においたアルゴリズムの研究、さらには人間には感じとることが難しい振動ダイナミクス等の情報を積極的利用した新たなセンシング技術の実現を目指します。

高速ビジョンを用いたバーチャル楽器

1秒間に1000枚以上の画像に対して実時間処理が可能な高速ビジョンの研究開発が進んでおり、人間の素早い動きにも対応可能な実時間インタラクション技術の実現が期待されている。 本研究では、このような視覚を用いた実時間インタラクションの考えとして、 視覚センサ情報を音声呈示情報に変換する実時間可聴化(VA: Visual Auditorization) の概念を提案し、そのデモンストレーションシステムとして、 高速ビジョンを用いたバーチャル楽器を開発した。

VAは、視覚情報の可聴化を意味し、実環境における対象の位置、速度・加速度情報などを視覚センサにより観測し、その情報を基に対象物からの仮想的な音声情報に変換した上で音声提示装置に出力することで、視覚 センサ情報を音声提示情報に変換する考えである。 このような概念を実現する上では、数kHz〜数十kHzレベルでの周波数帯域を持つ音声情報に対して十分に対応可能な高速ビジョンシステムが重要となる。

実時間VAシステムのデモシステムとして、バーチャル楽器を開発した。 本研究で提案するバーチャル楽器は、 高速メガピクセルビジョン、仮想楽器モデルを有するコンピュータ、 MIDI音源などの音声提示装置から構成される。仮想楽器モデルを入れ替えることにより、様々なバーチャル楽器を実現することが可能となる

以下に仮想楽器モデルを導入したいくつかのバーチャル楽器例について紹介する。


○バーチャルギター
バーチャルギターモデルは、人間の手の動きに合わせてギター音を鳴らす形態を持つ。 このモデルでは、仮想的な弦を弾く右手の動きのみに着目し、音階を決める左手の動きは自動的に決定している。演奏者の右手親指の先に標点があるとし、その座標が、仮想弦の位置を通過した瞬間に発音し、その大きさは通過した速度により決定される。

Virutal Guitar
MP4動画(1.1M) 再生


○バーチャル木琴
バーチャル木琴モデルは、演奏者が動かす2本のマレットと空間内にある架空の木琴との位置関係により、木琴の音を鳴らす形態を持つ。 このモデルでは、マーカを2本のマレットの先端 に設定し、マーカの高さ座標が指定した領域に侵入すると鍵盤が叩かれた状態になる。また座標値から、どの鍵盤が叩かれたかを決定し、対応した発音がなされる。2本のマレットは独立して処理されており、 別々の鍵盤を同時発音できる。
Virutal Guitar Virtual Mallet
MP4動画(1.7M) 再生