バンドル調整は異なる視点の画像セットから計算される再投影誤差を最小化することで，シーンのジオメトリやカメラの姿勢を同時に高精度化するものである．バンドル調整はVisual Odometryで広く使われている代表的な手法である．しかし，ディープラーニングに基づくVisual Odometryでは，バンドル調整は十分に活用されてこなかった．そこで，我々はバンドル調整をディープラーニングの学習時に組み込むことで，高速性を維持しつつ，高精度化を達成するアプローチを検討した．
特に本研究は，単眼Visual Odometryのための自己教師あり学習に着目する．提案手法では，デプスマップ，カメラ姿勢，入力画像と同じ解像度の特徴量マップを推定するニューラルネットワークを， それぞれに対応する3種類のバンドル調整に基づく損失関数によって学習する．これによって，複数視点の幾何拘束を備えたニューラルネットワークを推定することができる．さらに，バンドル調整は学習時にのみ利用されるため，推定時にはバンドル調整による計算量の増大を避けつつ，精度向上の恩恵を得ることができる．実験により，本手法が最新の関連研究と同等の推定精度を維持しつつも，GPU RTX 3090上で894fpsの高速性能を達成できることを確認した．
参考文献
- Weijun Mai and Yoshihiro Watanabe: Feature-Aided Bundle Adjustment Learning Framework for Self-Supervised Monocular Visual Odometry, 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) September 27 - October 1, 2021. Prague, Czech Republic