ダイナミックプロジェクションマッピング（DPM）は，特定の対象物に限定されるのではなく，環境全体の外観を変容させることが求められる． また，対象物にマーカをつけることなく，実現することが求められている．このようなDPMを達成するためには，シーンの深度の高精度かつ高速な取得，ミリ秒オーダーのマーカレス3Dトラッキング，テクスチャマッピング領域とそれ以外の領域へのシーン分離，各領域ごとのグラフィックスレンダリング，それらの映像の混合と低遅延投影が必要である． しかし，市販の深度センサを用いたシステムでは，DPMの要件を満たす速度で深度センシングと3Dトラッキングを実現できないため，このようなDPMを行うことは困難であった．
そこで本研究では，947fpsの24bit高速RGBプロジェクタ，500fpsの高速IRカメラ，そして新たに開発した2,880fpsの8bit高速IRプロジェクタを組み合わせた新しいDPMシステムを報告する． また，高速な構造化光法に基づいて取得した深度情報を用いて，高速なモデルベーストラッキングを提案する． 本手法はフレーム間運動が微小であることを利用して，約0.4msの処理時間でトラッキングを行うことができる． 提案システムは，シーン全体に対して深度情報に基づくDPMを約8.0msの遅延で達成するものである．
新たに開発されたRGB+IRプロジェクタを導入することでシステムの小型化も予定している．
参考文献
- Sora Hisaichi, Kiwamu Sumino, Kunihiro Ueda, Hidenori Kasebe, Tohru Yamashita, Takeshi Yuasa, Uwe Lippmann, Petra Aswendt, Roland Höfling, and Yoshihiro Watanabe. 2021. Depth-Aware Dynamic Projection Mapping using High-speed RGB and IR Projectors. In SIGGRAPH Asia 2021 Emerging Technologies (SA ’21 Emerging Technologies:), December 14-17, 2021. Tokyo, Japan