3次元計測技術の一つに，プロジェクタとカメラで構成されたシステムを用い，パターンを投影することで3次元形状を取得する「構造化光法」がある．なかでも，少ない投影枚数で静止物体の高精度・高解像度な形状取得が可能な手法として，正弦波パターンを用いる位相シフト法が広く利用されている．しかし，位相シフト法では複数のパターンを順に投影・撮像するため，計測中は対象が静止していることが前提となっている．そのため，対象が動くと，各パターンを撮像するたびに物体の位置が変わり，プロジェクタとカメラの画素の対応関係がずれることで，従来の形状復元手法では，正確な形状を再現できない問題があった．
そこで，本研究では，ニューラルネットワークの高い表現力を活用したインバースレンダリングの枠組みとともに，1台のプロジェクタと2台のカメラによる3視点の情報を組み合わせることで，運動物体の複雑な3次元形状を高精度に再構成する手法を提案する．具体的には，提案したニューラルネットワークによるインバースレンダリングでは，物体の3次元形状，動きを表す変位場，さらに物体表面の反射率，投影パターン以外の光や投影パターンが2次反射することで生じる残差成分の4つのシーン情報を同時に最適化するように設計されている．特に，変位場を用いて，3次元空間上の位置や法線を複数のフレーム間で整合させることで，動きによって発生する形状の誤差を効果的に補正することが可能になっている．
さらに最適化の過程では，実際に撮像・投影された画像と，推定された4つのシーン情報から生成される画像の誤差が最小化されるように，ニューラルネットワークが学習される．このとき，1台のプロジェクタと2台のカメラによる3視点構成を活かし，プロジェクタの投影画像からカメラの撮像画像を生成，カメラの撮像画像からプロジェクタの投影画像を生成，さらに1台のカメラの撮像画像から別視点のカメラの画像を生成し，それぞれ対応する実際の画像と比較する．これによって，3次元形状や変位場などの再構成精度が向上するとともに，少ない枚数の投影パターンでも安定して再構成ができる手法となっている．
実験では，投影パターンの枚数，パターンの空間周波数，物体の速度などの条件について，評価を行った．その結果，物体が動いている場合においても，わずか3枚の標準的な正弦波パターンで，提案手法は平均誤差0.23mm程度の高精度な形状再構成を達成し，静止対象に対する計測と同程度の精度を維持できることを確認した．また，従来の手法と比較しても，動的シーンにおける再構成誤差を低減できることを実証した．
参考文献
- Yuki Urakawa, Yoshihiro Watanabe: Neural Inverse Rendering for High-Accuracy 3D Measurement of Moving Objects with Fewer Phase-Shifting Patterns, International Conference on Computer Vision (ICCV), 2025. [Paper]
- 浦川 雄気，渡辺 義浩：ニューラルインバースレンダリングによる位相シフト法を用いた運動物体の3次元計測の高精度化，第75回複合現実感研究会，MR2025-1，2025．