皮膚変形を再現する腕への
ダイナミックプロジェクションマッピング

image

本研究では,腕表面へのプロジェクションマッピングに注目する.このような技術によって腕表面を自在に拡張できれば,エンターテイメント,マンマシンインタラクション,ファッション,教育など、様々な日常生活の場面を変容させることができると期待できる. しかし,従来のプロジェクションマッピングでは,腕の動きに伴う皮膚の変形が再現されていなかった.さらに,腕の動作から投影までのレイテンシが大きかった.これらの問題は,ユーザエクスペリエンスを大きく低下させていた.

このような背景の下,新たなダイナミックプロジェクションマッピングを提案する.提案手法は,コンピュータグラフィクスにおける皮膚変形モデルと,独自の補正手法を統合するものである.本補正手法は,復元された3次元形状を維持したまま,関節情報をもとにテクスチャ座標のみを修正することで,高速かつ高精度なマッピングを達成することができる. 開発したシステムは10ms以内のレイテンシに抑えられており,様々なリアリスティックな表現を腕表面上で実現できることを示した.

Image
Image
Image
Image
Image
Image
Image

参考文献

  • Hao-Lun Peng and Yoshihiro Watanabe: High-Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation, Applied Sciences, Vol.11, Issue 9, Article No. 3753 (2021). [link]
  • Hao-Lun Peng and Yoshihiro Watanabe: High-Speed Human Arm Projection Mapping with Skin Deformation, SIGGRAPH ASIA Emerging Technologies, December 2020. [link]