身体スキャンをそのまま見せるだけでは、ユーザーが望む姿にはなりませんでした。プライバシーへの配慮から使われていたKinectやRealSenseなどの赤外線方式のスキャナーでは、埃や毛の影響で表面がざらつくことがあります。それに加えて、当時のユーザー調査では「自分の顔を映したくない」「モデルのような顔で見たい」という要望もありました。私は、こうした声を踏まえてスキャンモデルの再構築に取り組みました。

粗い形状から、人として見せられる姿へ

粘土の塊のようなスキャンを、人の姿として受け止められる表示へ。そのために、次の四つを一緒に扱いました。

  • 審美的な見え方
  • 顔・手足の再構築
  • マテリアル
  • リギング

あらかじめ用意したテンプレートに、TG3Dの身体計測によるランドマーク制約を与え、反復的なフィッティングとリトポロジーを行いました。手首と頭には課題が残ったものの、身体の多くの部分でメッシュの分布を整えられました。

テンプレートマッピングの結果

灰色のRawスキャンと肌色のテンプレートの重ね合わせ
灰色のRawスキャンと肌色のテンプレートの重ね合わせ — 図版: Enzoviz — Privacy Scan

灰色がRawスキャン、肌色がテンプレートマッピング後のモデルです。

データの欠陥と向き合う

1. 髪の下にある頭の形を推定する

ノイズや髪の毛が混ざると、形状のフィッティングを誤りやすくなります。特に長い前髪では、顔のメッシュが髪へ投影されて歪んでしまうことがあり、そのまま学習データにすると後工程にも影響します。

そこで各国の研究から頭と手の寸法データを集め、信頼区間を参考に、テンプレートの頭部を剛体として移植する方法を取りました。

2. 不正データの除去と、スキャン範囲外の補完

統計データを使った頭部寸法の再構築比較
統計データを使った頭部寸法の再構築比較 — 図版: Enzoviz — privacy-scan

統計データを参考に、スキャンされた頭のサイズを再構築した比較です。

再構築したモデルを次の用途へ

再構築できたモデルからは、輪郭、法線、深度、測定値などを取り出せます。これを機械学習に使い、専用スキャナーを使わないスキャンの支援へつなげました。実際のモデルから得た画像をStable DiffusionのControlNetへ渡し、AI画像生成に活用することもできるようになりました。