身体スキャンをそのまま見せるだけでは、ユーザーが望む姿にはなりませんでした。プライバシーへの配慮から使われていたKinectやRealSenseなどの赤外線方式のスキャナーでは、埃や毛の影響で表面がざらつくことがあります。それに加えて、当時のユーザー調査では「自分の顔を映したくない」「モデルのような顔で見たい」という要望もありました。私は、こうした声を踏まえてスキャンモデルの再構築に取り組みました。
粗い形状から、人として見せられる姿へ
粘土の塊のようなスキャンを、人の姿として受け止められる表示へ。そのために、次の四つを一緒に扱いました。
- 審美的な見え方
- 顔・手足の再構築
- マテリアル
- リギング
あらかじめ用意したテンプレートに、TG3Dの身体計測によるランドマーク制約を与え、反復的なフィッティングとリトポロジーを行いました。手首と頭には課題が残ったものの、身体の多くの部分でメッシュの分布を整えられました。
テンプレートマッピングの結果

灰色がRawスキャン、肌色がテンプレートマッピング後のモデルです。
データの欠陥と向き合う
1. 髪の下にある頭の形を推定する
ノイズや髪の毛が混ざると、形状のフィッティングを誤りやすくなります。特に長い前髪では、顔のメッシュが髪へ投影されて歪んでしまうことがあり、そのまま学習データにすると後工程にも影響します。
そこで各国の研究から頭と手の寸法データを集め、信頼区間を参考に、テンプレートの頭部を剛体として移植する方法を取りました。
2. 不正データの除去と、スキャン範囲外の補完

統計データを参考に、スキャンされた頭のサイズを再構築した比較です。
再構築したモデルを次の用途へ
再構築できたモデルからは、輪郭、法線、深度、測定値などを取り出せます。これを機械学習に使い、専用スキャナーを使わないスキャンの支援へつなげました。実際のモデルから得た画像をStable DiffusionのControlNetへ渡し、AI画像生成に活用することもできるようになりました。
