凹凸のある壁面，また建物やオブジェといった立体物にプロジェクタを使って映像を投影し、さまざまな視覚効果を実現するプロジェクションマッピングは，東京駅への映像投影による大規模イベントなどで広く知られるようになり，イベントなどのアミューズメント、またコンサートや舞台の演出、企業広告、さらには各種作業支援など多様なシーンで活用されている．
特に，最新の技術として、動いている物体に対してプロジェクションマッピングを行うダイナミックプロジェクションマッピング（DPM）が注目を集めているが，その実現の決め手になるのがスピードである．高いリアリティのマッピングを行うには，高速なセンシング，画像生成，投影によって，投影像と運動物体の間のずれを，人間が知覚できない範囲に収めることが重要となる．特にセンシングの高速化に向けて，従来では対象物を平面に限定したり，対象にマーカーを付けなければならないといった制約があった．
本研究ではこうした制約を解消するために，プロジェクタを映像提示だけでなく，センシング用途にも併用することに着目する．プロジェクタとカメラを連携するセンシングは，プロジェクタで既知のパターンを空間中に投影しながら，その反射像をカメラで撮像することによって，さまざまな空間情報を効率的に取得するものである．このようなセンシングの導入によって，マーカー不要で，動いているさまざまな形状の対象にも高度なDPMが可能になると期待されるが，十分に活用されてこなかった．これは，センシングと投影を高速で処理するため，センシング用の投影と映像ディスプレイ用の投影を同時に実施しようとする際に，従来の技術では互いを阻害しない形で実現するのが難しかったためである．
1. RGB画像とIR画像を同時に、高速で投影できるプロジェクタの提案と設計
本研究では，センシング用の投影に人の目では知覚できない赤外線を使ったIR画像を用いることで，前述の課題の解決できるのではないかと考え，RGB画像とIR画像を同時に，高速で投影できるプロジェクタの設計に取り組んだ．本プロジェクタは、DLP® （Digital Light Processing）投影方式を用いた，DLP® Digital Micromirror Device（DMD）を2基搭載しており，各デバイスにはそれぞれ1,024×768個の鏡が使用されている．これらのデバイスにより，24 bitのRGB画像と8 bitのIR画像を，同時に制御することができるようにした．さらに，RGB画像とIR画像の照明光学系を分離し，DMDの反射後に像を統合することによって，コンパクトな構成と高輝度の投影を達成した．
2. RGB画像とIR画像の同軸位置合わせ技術の新規開発と、高速投影を可能にする技術の開発 プロジェクタの応用展開を踏まえた場合，2種の別々のデバイスから生成されたRGB画像とIR画像を高い精度で重ね合わせる必要がある．そこで本研究では，両画像を重ね合わせる同軸位置合わせのシステム開発に取り組み，本プロジェクタに組み込まれる光源やデジタルマイクロミラーデバイスに最適化された光学系を独自に設計した．また，応用展開に必須の高速化を実現するため，超高速のDMDの制御と光源の変調を高精度に連携させ，最大925 fpsまでの高フレームレート投影を実現した．さらに独自の通信インタフェースにより，映像データの転送も高速化し，わずか数ミリ秒でコンピュータからプロジェクタへの映像転送から投影までを完了することができるようにした．
今後は，本プロジェクタの最初の応用事例として、ダイナミックプロジェクションマッピングへの導入を検討している．マーカーが付けられた対象物しか外観を変えられないなどのこれまでの制約を打破することで，応用範囲が広がることが期待できる．また，プロジェクタ・カメラによるセンシングは，さまざまな空間・物理情報の取得に利用可能であるため，プロジェクションマッピングのさらなる強化も今後の展開として目論んでいる．さらに応用分野として，エンターテイメントやアート，広告やファッションなどのビジネス分野，拡張現実分野，作業支援や医療支援など，幅広い社会実装にも着手していく予定である．
参考文献
- Uwe Lippmann, Petra Aswendt, Roland Höfling, Kiwamu Sumino, Kunihiro Ueda, Yoshihide Ono, Hidenori Kasebe, Tohru Yamashita, Takeshi Yuasa, Yoshihiro Watanabe: High-Speed RGB+IR Projector based on Coaxial Optical Design with Two Digital Mirror Devices, The 28th International Display Workshops, 2021.