由談運動捕捉(motion capture)在電影裡的作用

運動捕捉（motoin capture，後文簡稱mocap）在科研領域大概有接近20年的時間，真正大規模用在電影領域，大概就是5年左右的時間。自從在《阿凡達》（Avatar）里一展伸手，開始為大眾所熟悉。之後的好萊塢大片裡，幾乎每部電影有用到mocap技術。之所以想拿這部片子來說運動捕捉，一是它剛上映，大家關注都比較高，二是這裡面同時用到了三種運動捕捉, 分別是肢體運動捕捉，表情捕捉和動物運動捕捉。廣義上的運動捕捉應該是包括這三大類的，不過大家平時說的mocap技術基本上是指肢體運動捕捉，也就是只捕捉四肢和軀幹的。要捕捉人的表情，難度在於其複雜程度，肌肉多，建模難度大，而同時表情豐富，需要的精度比較高（這可以看我同學寫的另一篇文章，是從談面部表情 。

動物捕捉難度在於沒有固定的尺寸和骨架模型，大到大象，小到螞蟻，這基本上很難有固定的模型，現在比較多的動物捕捉也就是狗的運動。在里，製作組就曾試圖採集駱駝的運動數據來模擬Tharks他們騎的「犀牛」的運動。



第一部廣泛使用mocap技術的電影是Sinbad: Beyond the Veil of Mists, 這是一部2000年的動畫電影(Feature Animation)。面部表情缺失很嚴重，運動也很單調，基本上是以簡單的走路，跑步，跳躍等運動，角色之間的打鬥也比較簡單。而且當時的渲染的技術確實讓人汗顏，整體的畫面比起現在的來說，差距太遠，不過這也是由當時的技術限制的。

 

《極地特快》(Polar Express)也是一部大量採用mocap技術的電影，其中我們的湯姆漢克斯(Tom Hanks)還同時做了若干個角色的運動表演。但看完了這部動畫電影以後，人物的動作確實顯得僵硬，這也是後文里即將要提到的mocap的一個致命缺點。




正如前文所說，在近幾年的大片裡，mocap幾乎如同吃飯離不開筷子一樣，在每部電影的製作中都能看到它的身影。誇張的說，它的出現，讓無數人「聞風散膽「，一方面，演員認為自己的飯碗不穩了，以後的電影已經和真人演員告別了，另一方面，動畫師認為自己要徹底下崗了。而事實上，到目前為止，這兩種人都沒有下崗，而且也基本肯定的說，這兩類人不會因為mocap而下崗。相反，mocap技術在電影裡的應用還需要依靠這兩類人。雖然呈現在螢幕上的是虛擬角色，可是捕捉到的真實演員的運動的好壞直接決定了角色的表現力，好演員依然是電影裡至關重要的因素。不過可能偶像派的演員會有影響，實力派的演員則可以有更大的施展空間。而對於動畫師來說，mocap採集到的數據不可能直接應用到虛擬角色上面，基本上都要有動畫師的後期處理，甚至有些不能被捕捉的運動，依然要靠動畫師的傳統關鍵幀的手段來實現。

mocap作為一項新興的技術，對於行業的推動是顯而易見的，但現在我們卻沒有看到它具有顛覆傳統生產流水線的實力。事實上，在如今的電影製作流程中，它的角色是十分尷尬的。很多導演都不喜歡用mocap，重要的角色都是要動畫師一幀一幀的手調每個關節。皮克斯在里打出的標語是"純手工動畫，無運動捕捉"的標語（"100% Pure Animation – No Motion Capture!"）。深究其原因，我們可以看到mocap有若幹的缺點限制了它的應用：

1. 預算限制。一套教學級別的設備下來大概是100萬RMB，工業級別則另說了，要看導演想要什麼樣的配置。對於小成本製作的電影來說預算承受不了。現在商業產品做的最好的是Vicon和Motion Analysis兩家


2. 場地限制。mocap採集數據主要靠兩種途徑：光學捕捉和感應器捕捉。光學捕捉又分為有標記(marker-based)和無標記(marker-less)兩種，現在成熟的商用產品基本上是marker-based，它精度高，marker-less正處於科研到工業應用的過程。為了避免可見光的干擾，一般採用的是紅外線來捕捉marker的運動。所以前期的mocap依靠光學捕捉，它必需要在室內固定的場所進行，要搭建紅外線的發射器和感應器，這極大的限制了mocap的應用。而除了光學捕捉，通過磁場和加速度感應關節運動也是另一種技術，它不受場地限制，但精度有問題。


3. 表演限制。mocap如果採用光學捕捉的話，當被遮擋的光學感應器太多時，系統就無法正確的分析此時演員的姿勢。這個缺點限制了演員不能做過於複雜或迅速變化的運動，進一步限制了mocap的實際應用。


4. 無法即時判斷效果。現在的大部份mocap系統已經可以即時的用與表演者相同的骨架模型來觀察運動效果了，可是無法即時的呈現出最後虛擬角色上的效果。如果失敗，則需要重複拍攝，如果涉及多個角色，則多個角色均要重拍.


5. 能捕捉到的運動有限。mocap只能捕捉真實角色可以做出的運動，但是很多電影裡面，主角是很牛的！！！於是超自然的運動也是無法捕捉的，需要動畫師自己來製作。


6. 運動難以修改。捕捉下來的數據難以修改，如果修改一部份的話，會顯得和剩餘部份不協調，失去自然。而如果去改變全身動作的話，又成本很大，這和動畫師完全手調就區別不大了，效果還沒有後者好。再比如很多導演喜歡用Retiming這個效果，這對於mocap的數據來說挑戰就很大，因為mocap的數據說到底是離散的幀數據，要去做retiming就要去重新採樣，容易出現失真的情況。


7. 運動重定向（motion retargetting）困難。運動重定向也就是把捕捉下來的運動數據重定向到虛擬角色上面，這在前10年還是很熱的研究課題，大家提出了各種各樣的解決方法，但是依舊沒有完美的解決，現在還有人在做。當真實角色和虛擬角色相差太多的時候，比如里真實演員和Thark之間的骨架有明顯的不同，單純的拉伸四肢會導致明顯的運動失真（比如走路的時候支撐腳會有滑動，稱為foot-skating,也比如兩個角色之間握手或者打鬥，或者角色和外部環境有接觸的時候，失真很明顯就看出）。在皮克斯的《汽車總動員》里，遇到非人物的角色，給運動重定向帶來了很大的困難。



(虛擬角色和真實演員存在差異，即使骨架的拓撲結構是一樣的，比例不一樣也會有很大的問題)


以上的缺點限制了mocap技術的應用，但是這也不代表mocap就沒有它的地位了。正如前文所說，絕大多數的好萊塢大片都採用了這個技術。隨著技術的進步，比如說在 (Avatar) 里卡梅隆用來捕捉面部表情只用了一個攝影頭，在里，他們就用了兩個攝影頭同時來捕捉面部表情。而同時隨著科研人員不斷的提出各種方法來改進mocap數據的處理，mocap也越來越多的應用在了實際的電影製作里。





(裡的面部表情捕捉)

事實上，除了真正將捕捉到的運動附加到虛擬角色上面，mocap技術現在正在更廣泛的用在電影製作的其他領域：

1. 給動畫師做Reference。這是最常見的一種應用。雖然說捕捉的數據不能直接應用在虛擬角色上面，但是給動畫師做參考還是有價值的。

 


2. 做Previsulization。這是大家不太熟悉的一塊，現在電影在真正上攝影機拍之前，導演是需要把劇本按照故事線先來個草稿，這個時候不需要精確的動作，也不需要高標準的渲染合成，也不用複雜的模型和貼圖，主要目的是場景的佈置和攝影機的定位。這個時候虛擬角色的運動一般就用mocap來做，速度很快，很多導演都願意用這個。現在的Previs已經應用很廣泛了，已經有很多公司專門為電影做Previs



（Shrek的Previs的效果）


3. 做群體運動仿真(Crowd Simulation)或者背景角色的仿真。群體仿真裡面，像裡面的Tharks，製作組就用mocap採集了大概800個不同的人的運動片段，然後再附到群體中單一角色上，這樣做出來的效果更豐富，自然。



(里Tharks的群體運動的仿真)

mocap技術發展到現在，基本上已經進入了成熟期，或者也是瓶頸期。大家除了提高幀速、感應器數量、攝影機數量等硬件之外，突破性的創新還沒有。mocap的未來發展，一是要看電影行業的整體發展趨勢，比如走入立體放映的話，對於mocap來說還是有優勢的，二是要看能不能解決運動重定向的問題，能否提出簡單有效的方法來把捕捉到的運動數據重定向到任意的虛擬角色上，三是要看自身技術能否有創新，除了光學捕捉和感應器捕捉之外，如果能有其他捕捉方式，則有可能會進一步提升mocap在電影製作裡的地位。


歡迎大家來踩我的個人網站，嘿嘿

www.motionsynthesis.org

(豆瓣上不能貼圖，恩)原文發表在我的校內上：

http://blog.renren.com/blog/238158471/812364639?frommyblog