Mobile Scanによって、身体への入り口は身近になった。その身体を、次はどこへ連れていけるだろう。私が次に考えたいのは、静止した姿を表示するだけでなく、動きや周囲との関係を持つアバターだ。
これは、LiveAvatar/QMで取り組んできた試着や仮想空間への応用の延長にある。ここからは、AIによる動作生成をどう組み合わせたいかという、これからの話になる。
形を持つことと、動けること
写真から身体を得ることと、その身体を動かすことは別の仕事だ。体形が似ていても、関節の対応や基準姿勢が違えば、同じ動作データを渡すだけでは期待どおりに動かない。
接続を考えるとき、私は身体の特徴を保つことと、動作の意図を保つことを両方見たい。歩いているように見えるだけでなく、接地や接触、周囲との大きさの関係まで確かめたい。
三つの動作生成を、用途から見る
NVIDIAのKimodoは、テキストや動作の制約から3Dモーションを作る仕組みだ。ARDYは、途中で変わる指示に応じる対話的な生成を扱う。MotionBricksは、目標のポーズや物体との関係を使って動きをつなぐ。
私なら、まず「動作を制作する」「操作に反応する」「周囲とやり取りする」という体験の違いから検討したい。どれも同じものに見立てるより、アバターに何をしてほしいかを先に決めるほうが、接続の目的がはっきりする。
相性は、変換した先で確かめる
Kimodoには異なる身体表現向けのモデルが用意されている。ただし、モデルが用意されていることと、QMのアバターへそのまま接続できることは同じではない。
私が確認したいのは、骨格の対応、基準姿勢、尺度、接地、動作後の体形の見え方だ。さらに使うモデルの版と用途に合う利用条件も確認したい。SMPLやMHRへの変換を挟む場合も、変換したという事実だけで品質を判断しない。
最初の一歩としては、同じアバターで立つ・歩く・座るといった短い動作を比べるところから始めたい。これを、私の次の検証として位置づけている。
身体と動きを、動画の条件へ
私が次につなぎたいのは、ボディスキャンやMobile Scanで得たQMの身体と、AIが作る動きを、動画の表現へ持ち込む道筋だ。動作を身体へ合わせたうえで、OpenPoseのスケルトンや深度を動画生成の条件にすることを考えている。潜在表現を使う場合も、接続先のモデルに合う形を検討したい。
Kimodo、ARDY、MotionBricksは、目的に応じて選ぶ候補として見ている。同じ潜在表現をそのまま共有できると考えるのではなく、身体の個性と動作の意図が動画まで保たれるかを確かめたい。
デジタルツインと呼ぶ、その先
動くアバターができただけで、その人自身の動きまで再現できたことにはならない。生成された歩き方は、その人が実際に歩いた記録とは違う。
私がデジタルツインとして目指したいのは、本人から得た情報と、推定・生成した情報を区別しながら、目的に合わせて更新し続けられる身体だ。服を試す、仮想空間へ参加する、自分の身体を理解する。それぞれに必要な情報を選び、本人が見せ方と使い道を決められるようにしたい。
プライバシースキャンの「自分の体をどう見せたいか」という問いは、ここでも続いている。身体を得る技術から、その身体で何をしたいかを選べる体験へ。それが私の考える、Mobile scanのその先だ。
バナーは身体と動きをつなぐ未来像を描いたAIコンセプトイラストです。特定の動作モデルとの接続結果ではありません。説明図も今後の応用を考えるための概念図です。
