時系列情報を用いた顔追跡の高速化に関する基礎研究


近年,動画像を用いて運動,変形する顔の表情変化を取得する顔追跡が注目されている. なかでも,高速かつ高精度な顔追跡が求められる応用として,運動する顔に対して映像を投影するダイナミックフェイシャルプロジェクションマッピングなどがある. 同応用では,顔追跡が数 ms 程度で完了することが望ましい.同要請を満たさない場合,遅延によって,投影像と実際の顔の間にずれが知覚される問題が生じる. しかし,従来手法ではこのような性能を達成することが困難であった.

顔追跡は,顔検出と顔器官検出の 2 つで構成される. 顔検出は,画像内から顔が含まれる領域を探す処理である. 顔器官検出は,目や鼻などのパーツの画像内の位置を特定する処理である. この 2 つの処理のうち,顔検出の方が時間を要する. 時間を要する処理として,様々な傾きの顔を検出する処理や,画像全体から顔を探索する処理が挙げられる. 従って,顔追跡の高速化のためには,顔検出の効率化が重要であると考えられる. そこで,本研究では高フレームレートカメラを用いることで得られる時系列情報を用いた高速化手法を提案する. 本手法では,顔位置・回転を予測して処理量を削減する. 実験の結果,顔追跡が約 2.5ms で処理できることを確認した.



参考文献

  • 小石原 遼,渡辺 義浩:時系列情報を用いた顔追跡の高速化に関する基礎研究,第26回画像センシングシンポジウム,IS3-15,2020.