Mobile Scanによって、身体への入り口は身近になった。その身体を、次はどこへ連れていけるだろう。私が次に考えたいのは、静止した姿を表示するだけでなく、動きや周囲との関係を持つアバターだ。

これは、LiveAvatar/QMで取り組んできた試着や仮想空間への応用の延長にある。ここからは、AIによる動作生成をどう組み合わせたいかという、これからの話になる。

ボディスキャンとモバイルスキャンから灰色のQM正面レンダーへ。Kimodo、ARDY、MotionBricksとの接続、変換・描画、潜在表現・OpenPoseスケルトン・深度を用いた動画生成を構想する図。破線は未検証の接続。
QMは指定モデルの正面レンダー。破線は私がこれから検証したい接続で、潜在表現・OpenPose・深度は接続先に合わせて準備する条件の候補です。 — 図版: Enzoviz — original concept diagram with an author-supplied QM model render; prospective integrations

図を原寸で開く

形を持つことと、動けること

写真から身体を得ることと、その身体を動かすことは別の仕事だ。体形が似ていても、関節の対応や基準姿勢が違えば、同じ動作データを渡すだけでは期待どおりに動かない。

接続を考えるとき、私は身体の特徴を保つことと、動作の意図を保つことを両方見たい。歩いているように見えるだけでなく、接地や接触、周囲との大きさの関係まで確かめたい。

三つの動作生成を、用途から見る

NVIDIAのKimodoは、テキストや動作の制約から3Dモーションを作る仕組みだ。ARDYは、途中で変わる指示に応じる対話的な生成を扱う。MotionBricksは、目標のポーズや物体との関係を使って動きをつなぐ。

私なら、まず「動作を制作する」「操作に反応する」「周囲とやり取りする」という体験の違いから検討したい。どれも同じものに見立てるより、アバターに何をしてほしいかを先に決めるほうが、接続の目的がはっきりする。

相性は、変換した先で確かめる

Kimodoには異なる身体表現向けのモデルが用意されている。ただし、モデルが用意されていることと、QMのアバターへそのまま接続できることは同じではない。

私が確認したいのは、骨格の対応、基準姿勢、尺度、接地、動作後の体形の見え方だ。さらに使うモデルの版と用途に合う利用条件も確認したい。SMPLやMHRへの変換を挟む場合も、変換したという事実だけで品質を判断しない。

最初の一歩としては、同じアバターで立つ・歩く・座るといった短い動作を比べるところから始めたい。これを、私の次の検証として位置づけている。

身体と動きを、動画の条件へ

私が次につなぎたいのは、ボディスキャンやMobile Scanで得たQMの身体と、AIが作る動きを、動画の表現へ持ち込む道筋だ。動作を身体へ合わせたうえで、OpenPoseのスケルトンや深度を動画生成の条件にすることを考えている。潜在表現を使う場合も、接続先のモデルに合う形を検討したい。

Kimodo、ARDY、MotionBricksは、目的に応じて選ぶ候補として見ている。同じ潜在表現をそのまま共有できると考えるのではなく、身体の個性と動作の意図が動画まで保たれるかを確かめたい。

デジタルツインと呼ぶ、その先

動くアバターができただけで、その人自身の動きまで再現できたことにはならない。生成された歩き方は、その人が実際に歩いた記録とは違う。

私がデジタルツインとして目指したいのは、本人から得た情報と、推定・生成した情報を区別しながら、目的に合わせて更新し続けられる身体だ。服を試す、仮想空間へ参加する、自分の身体を理解する。それぞれに必要な情報を選び、本人が見せ方と使い道を決められるようにしたい。

プライバシースキャンの「自分の体をどう見せたいか」という問いは、ここでも続いている。身体を得る技術から、その身体で何をしたいかを選べる体験へ。それが私の考える、Mobile scanのその先だ。

身体をめぐるシリーズ

プライバシースキャン — 自分の体をどう見せたいか

LiveAvatar — 十年分の身体を、次の体験へ

Mobile scan — 二枚の写真で、身体への入り口を広げる

バナーは身体と動きをつなぐ未来像を描いたAIコンセプトイラストです。特定の動作モデルとの接続結果ではありません。説明図も今後の応用を考えるための概念図です。