Dynamic Facial Projection Mapping
-Basic Test-

image

顔には,フィジカルなアイデンティティが宿っている.人間であることを証明し,個人を識別し,内面を表層化する役割を担っている.そう信じてきたが,これはこの先も本当に変わることはないリアルか.

スマートフォンのアプリを始めとして,近年のテクノロジーは,現実の顔をリアルタイムに加工することが可能だ.バーチャルリアリティの世界に,現実の顔をそのまま持ち込むユーザは少ない.これらのメディアにおいて,顔はもはや交換可能で流動的な外殻であることが共有されつつある.

この変化のスピードは速い.テクノロジーによるアピアランスへの介入は,違和感のない新しいリアリティとして近いうちに確立されると予想される.ただし,この進化はサイバーワールドに留まっている.現実の世界で,顔を自在に変えることまではできていない.

我々のダイナミックプロジェクションマッピングは,このボトルネックを解消する.顔にぴったり貼りつくグラフィクスを投影し,見る者に現実とは異なる顔を知覚させる.これまでに, ダンサーの顔へのプロジェクションによって,そのインパクトを実証した.しかし,顔にマーカをつける,複数台のカメラを用いる,顔の表情を変えられないなど,より日常的なシーンへの適用には課題があった.

今回,これらの問題を解決するダイナミックフェイシャルプロジェクションマッピングを新たに構築した.このシステムでは,1台の高速カメラによってマーカレスで顔の表情を認識し,その位置と変形に応じた映像を生成し, 高速プロジェクタ DynaFlashによって投影する.頭を動かす,しゃべる,笑う,これらの普段と変わりない動きに追従して,顔の表面を完全に変質させることができる.顔を自在に切り替えることもできる.

Image
Image
Image

あなたの顔は,もはや生まれ持ったものだけに留まらない.フィジカルであると同時に,デジタルな側面を備え持つ.この事実が切り拓く応用展開は広い.既に,このマッピングを用いて,講演中のスピーカーの顔を変えるコラボレーションを実施し,その効果をアピールした.その講演のタイトルはThe Death of Reality.まさに,このテクノロジーが挑むテーマである.

一方,今回のデモはまだ初期の検証段階である.まず,用いられているプロジェクタはモノクロである.投影される映像の効果もテクスチャのマッピングだけで限定的だ.我々が培ってきた ダイナミックなプロジェクションテクノロジーは,まだ一部しか転用されていない.残された課題も多い.顔の進化は続く.可能性は広大だ.

Image
Image
Image
Image

研究メンバー

渡辺義浩