ダイナミックフェイシャルプロジェクションマッピングは，顔への映像投影によってその外観を塗り替える技術である．本来は簡単に変わるはずのない顔の外観が一瞬で変化する体験はインパクトが大きく，エンターテイメントの演出や化粧のシミュレーションなどさまざまな分野への応用が始まっている．
このような映像投影による新しい顔が自然に見えるためには，実際の顔と投影される映像がずれないことが重要である．しかし従来技術は，二つの問題により，この要請を満たすことが困難であった．一つ目の問題は，高速かつ複雑に動く顔の目・鼻・口などに遅れなく映像を投影することが難しいことである．これまでの研究により，人間はわずか約4msの映像遅れでも知覚できることが示されている．そのため，この短い時間で，画像の撮像から顔の追跡，顔形状の推定，投影像の生成，投影の処理までを完了する必要がある．特に顔の追跡は，高速性と高精度を両立する必要があるが，これまでの処理手法には，ダイナミックフェイシャルプロジェクションマッピングが求める性能を満たすものがなかった．
二つ目の問題として，カメラで認識された場所にプロジェクタで正確に映像を照射することが難しいという，光学系の構成上の問題がある．動的な対象へのプロジェクションマッピングでは，鏡を介してカメラとプロジェクタを配置する，同軸光学系の構成が広く用いられている．この構成は，カメラから奥行きを取得せずに，カメラ画像内の位置座標とプロジェクタ画像内の位置座標の対応を取ることができる点で優れている．しかしプロジェクタの投影光学系では上向き方向に映像を投影する構成が一般的であるのに対して，カメラの撮像光学系は方向を傾けない構成になっています．このようにプロジェクタとカメラの間で光学系の特性が異なっている状況で，正確な同軸光学系を構築することは難しく，顔と映像の間でずれを生じる要因となっていた．
今回提案するシステムでは，一つ目の問題である時間的遅れによる映像ずれを解決するために，高速かつ高精度な顔の追跡を実現する動画像の処理手法を採用した．前提として，ダイナミックフェイシャルプロジェクションマッピングでは，遅延を最小化するために，500 fpsレベルの高いフレームレートで撮像している．このような高いフレームレート下の動画像では，フレーム間の顔の動きが十分に小さいと仮定できる．この仮定のもと，時系列の動画像のリアルタイム処理では，1フレーム前の結果から，現フレームの顔の目・鼻・口などの特徴点の探索を開始することで，処理時間を大幅に短縮できる．ただし，このような時系列情報のみに頼る処理では，顔の一部が遮蔽されるなどの理由で特徴点検出に一度でも失敗すると，時系列情報を利用する仕組み上，復帰が困難になり，精度が低下する恐れがある．そこで，時間を要するものの顔特徴点の検出ミスが起こりにくい処理を並列に実行し，その結果の時間ずれを瞬時に補正したうえで，上述の時系列ベースの高速処理に統合することで，検出性能を強化する手法を新たに設計した．
一方で本システムでは，撮像した動画像の処理に機械学習が必要であるが，高いフレームレートの顔動画像のデータセットが存在しないため，学習を行えないという課題がある．そこで本システムでは，利用可能な静止画の顔画像のデータセットから，高いフレームレートの動画像情報を近似的に機械学習するようにした．
こうした時系列ベースの高速処理と低速・高精度の処理をハイブリッドに統合する手法と，静止画データセットを用いた時系列情報の機械学習を用いることで，顔の追跡をわずか0.107 msの遅延で完了できただけでなく，最新の関連技術と同等の精度も達成した．
次に，二つ目の問題である，プロジェクタ・カメラの空間的な座標対応のずれを解決するために，新たな同軸光学系を提案した．従来のシステム構成では，プロジェクタの光学系に合わせてカメラ自体を上向きに配置することで，同軸化を試みていた．しかしそうした構成では正確な同軸化が難しく，ずれの解消が困難である．そこで解決策として，カメラのイメージセンサとレンズを上下方向にずらして配置する，レンズシフトの機構を新たに導入することで，プロジェクタとカメラの光線が同じ条件で同軸化される構成を提案した．その結果，座標対応の精度が従来の同軸構成と比べて約10倍向上した．
最後に，以上の手法を組み込んだ新システムによるダイナミックフェイシャルプロジェクションマッピングを実証した．結果として，高速かつ複雑に動く顔に対して，従来技術よりも遅れが小さく，さらに高精度なプロジェクションマッピングを実現できることを確認した．
ダイナミックフェイシャルプロジェクションマッピングは，新しい顔を一瞬で纏うことができる技術である．これまでの顔の常識を塗り替える点で，エンターテイメントにおける演出効果，化粧のMR（Mixed Reality）を活用したシミュレーション（株式会社コーセーと共同研究にて実施），コミュニケーションの変革など，インパクトの大きい幅広い応用が見込まれている．本論文が提案する技術は，これらの応用をより現実のものとして実利用化するための基盤として役立つことが期待される．
参考文献
- Hao-Lun Peng, Kengo Sato, Soran Nakagawa, Yoshihiro Watanabe: Perceptually-Aligned Dynamic Facial Projection Mapping by High-Speed Face-Tracking Method and Lens-Shift Co-Axial Setup, IEEE Transactions on Visualization and Computer Graphics, DOI: 10.1109/TVCG.2025.3527203 (2025)