以前說到動態捕捉( Motion Capture ),會讓人想到在個大房間裡穿上貼了很多小圓球的緊身衣,用多部攝影機和大型電腦來進行,不過今時今日,在 AI 的加持,和日本 VTuber 熱潮的推動下,全身動態捕捉已是只要有一部 iPhone 就搞定的事情。日本最近就出了這樣的免費動態捕捉 App Michicon – VisionPose Single3D – 。
[ot-video][/ot-video]
《 Michicon 》是運用由 Next-System 開發的動態捕捉技術 VisionPose Single3D 來開發的手機程式。 VisionPose 技術只要透過廉價的 WebCam 就能實時同時捕捉多個人的骨格深度資料,它透過 AI 來進行推論分析,可以運用在顧客動態、醫學分析、保安監控和娛樂製作等範疇。
《 Michicon 》就是運用這技術,將鏡頭捕捉到的人的骨架資料,實時套用到軟件裡的虛擬角色 Michiko 身上,由於動態捕捉是在手機裡進行,需要一定的處理能力,所以開發商推薦使用 iPhone Xs 、 Xs Max 和 XR 這三款採用 A12 Bionic 處理器的手機。而針對影像製作,軟件還備有綠幕功能,方便將角色套在其他場景上。
筆者試過這個軟件,發現捕捉骨格的速度相當快,而且不使用雲端伺服器,即使是飛行模式也能用到。基本上只要鏡頭照到身體大部分做大動作,都能準確捕捉。不過一些具有深度的動態,例如向前踢腳、直伸手掌檔著身體一部分等動作,準確度就會開始下跌,但效果已相當好。
[ot-video][/ot-video]
不過可能這軟件仍在早期階段,用家現時只能夠透過 iPhone 的屏幕錄影功能將角色的動態錄下來,放到影片剪接軟件裡加工。開發商表示,今後還會加入更換及製作角色、更換背景、儲存動作數據和上半身動態捕捉等功能。
現時日本正興起一遍 VTuber 熱,相關的技術如 VRM 規格、角色製作、直播和收看軟件等都急速發展, VTuber 將來又會利用手機全身動態捕捉技術來製作甚麼新搞作呢?
下載《Michicon – VisionPose Single3D -》 iOS 版:按此