並列輝度制御に基づく複数台の高速プロジェクタによるダイナミックプロジェクションマッピング

image

物体の運動から投影までの遅延を数ミリ秒に抑えることで,運動物体に対して投影ずれを起こすことなく外観を操作するダイナミックプロジェクションマッピングが新たに実現された.しかし,このレベルの高速性を達成したダイナミックプロジェクションマッピングでは,1台の高速プロジェクタを用いたシステムしか実証されていなかった.このため,運動する物体表面の一部分にしかマッピングを適用できず,対象表面の全方位へのマッピングはできなかった.また,プロジェクタと対象の間に遮蔽物があった場合,投影映像が対象表面に届かず,影が生じる問題があった.

このような問題は,プロジェクタの台数を増やし,様々な方向から対象へ投影することで解決できる.ただし,複数台のプロジェクタが重複して同じ場所を投影する場合があるため,目標の外観を再現するためには,対象表面の各点に対してどのプロジェクタがどの輝度で投影すればよいかを,協調して決める必要がある.ダイナミックプロジェクションマッピングでは,対象が動くことで複数台のプロジェクタと対象の配置関係が刻一刻と変化するため,この輝度を決定するの問題を瞬時に解く必要がある.しかし,従来手法は複数枚の投影画像を同時に推定する大規模な最適化問題を解くアプローチをとっていたため,長い計算時間を要した.また,プロジェクタの台数に対して,計算時間が2乗のオーダーで増加する問題もあった.



そこで本研究では,複数台のプロジェクタの投影画像をそれぞれ独立に,さらには画素並列に計算できる手法を提案した.これは,投影される対象形状の凹凸に対して,プロジェクタの画像解像度が十分に高いという前提のもとでは,前述の最適化問題を緩和して並列に解くことができる点に着目したものである.このような並列化により,高速での計算を実現できる.また,プロジェクタが1台増加した場合の計算時間の増大はわずかである.

さらに提案手法の並列化によって,各プロジェクタの複数枚の投影画像を個別に計算できるようになった.これにより,複数台の高速プロジェクタをそれぞれ別の計算機にネットワークで接続して,分散して画像を生成するシステム構成を実現した.これによって,システム構築の面においても,台数増加に伴う課題を解決することができた.本研究では,市販のモーションキャプチャによるセンシングと複数台の高速プロジェクタからなるシステムを構築した.その結果,スループットは360 fps,センシングから投影までの遅延は9.5 msであることを実証した.この性能はセンシングによって律速されており,より高速なセンシング技術と置き換えることでさらなる速度向上が見込める.





image

参考文献

  • Takashi Nomoto, Wanlong Li, Hao-Lun Peng, and Yoshihiro Watanabe: Dynamic Multi-projection Mapping Based on Parallel Intensity Control, IEEE Transactions on Visualization and Computer Graphics, Vol. 28, No. 5, pp. 2125-2134, DOI: 10.1109/TVCG.2022.3150488 (2022) [link]
  • Takashi Nomoto, Wanlong Li, Hao-Lun Peng, and Yoshihiro Watanabe: Dynamic Projection Mapping with Networked Multi-projectors Based on Pixel-parallel Intensity Control, SIGGRAPH ASIA Emerging Technologies, December 2020. [link]