單純展示身體掃描,並不等於使用者想看到的樣貌。當時基於隱私考量採用的 Kinect、RealSense 等紅外線掃描器,可能因灰塵或毛髮而產生粗糙表面。使用者調查也出現「不想顯示自己的臉」「希望像模特兒的臉」等需求。我因此開始處理掃描模型的重建。
從粗糙幾何,走向人的樣貌
為了讓像黏土塊的掃描結果成為可辨識的人形呈現,我同時處理了四個面向。
- 美感呈現
- 臉部與手腳重建
- 材質
- 綁定
我以預先定義的模板,搭配 TG3D 身體量測的特徵點約束,進行迭代擬合與重新拓撲。手腕與頭部仍有問題,但身體大部分區域的網格分布已能改善。
模板映射結果

灰色是原始掃描,膚色是模板映射後的模型。
處理資料缺陷
一:推估頭髮之下的頭部形狀
雜訊與毛髮會干擾幾何擬合。尤其長瀏海可能讓臉部網格投影到頭髮上而扭曲,若直接當作訓練資料,問題也會延續到後續階段。
我蒐集各國研究中的頭部與手部尺寸資料,參考其信賴區間,將模板頭部以剛體方式移植。
二:過濾異常資料,補回掃描範圍外的部位

參考統計資料重建掃描頭部尺寸的比較。
讓重建模型走向下一個用途
從重建模型可以擷取輪廓、法線、深度與量測值。我把這些資訊用於機器學習,支援不依賴專用掃描器的掃描。由實際模型產生的影像,也能送入 Stable Diffusion 的 ControlNet,運用在 AI 影像生成。
