丁丁表情背後的故事

原文在小站上，大家多關注啊。
http://site.douban.com/widget/articles/5193059/article/15391763/


丁丁歷險記上映了，電影最為觀眾稱道的可能是那虛擬角色逼真傳神的表情。
對於捕捉CG技術讚不絕口。
實際上，捕捉並不是表情技術的全部，也不是丁丁表情動畫中最為關鍵的部份。
如果以為我們買套捕捉設備就可以實現丁丁表情動畫就更是大錯特錯了。
本文就詳細介紹一下表情動畫的技術，滿足對技術感興趣觀眾的好奇心。

從技術角度講，角色表情動畫系統實際上有三部份組成。
第一部份是運動系統。
第二部份是控制系統。
第三部份是形變系統。
運動系統定義運動的方式，控制系統提供動畫師的人機連接埠，而形變系統則是負責真正的表情形變。
而捕捉系統說白了，不過只是控制系統的輸入設備而己。在功能上，可以跟鍵盤差不多。
對於一個完成表情動畫這樣複雜的系統來說，輸入設備實際不是其中最重要的成份。
因為對角色動畫來說，採集數據其實不難，難的是將演員的動作轉換到虛擬角色上而不產生不必要的失真。
所以這種轉換的技術才是核心。
而輸入設備的設計也是取決於轉換系統的設計，比如再表情捕捉中，放置多少個捕捉點，位置放在哪裡，這都是由後面的處理系統決定的。
一般說來，越是高級的轉換系統實際上對輸入數據的要求越低。
從理論上講，最高級的設備可能不需要很複雜的捕捉。
演員只要正常表演，系統看一下錄像就可以將虛擬角色的動畫合成出來。

CG中這種技術實際上有一個專門的名詞，叫rigging。
動作系統叫motion rig,表情系統叫facial rig。
rig這個詞不好翻譯，國內同行們通常說成是骨架安裝，實際理解有些窄。
準確的說，rig 可以理解為腳手架之類的東西，不只有角色rig，實際上攝像機也有rig，甚至在物理仿真中也有rig，以便控制仿真的結果。
靜態三維模型之上安裝一套機械系統，使動畫師能操縱很少的幾個控製器就可以控制角色。
表面的起伏完全是由rig自動控制的。


在歐美的工作室中，模型並不是核心資產，但rig是。
一個商業大片中主角的rig可以要花上三年的時間才能完成，而模型一個月就可以了。
高級的工作室不會將rig外包。
rigging實際上是一個非常技術的活，不僅要求理解動畫師的易用性要求，更難的是對所有的動畫跟形變技術有非常深的理解。
角色rig師還要理解生物系統的力學跟解剖結構。
在國內CGer中，可能很少有人專業作rigging的。
但實際上，如果沒有好的rig師，就不會有好的動畫師。
因為動畫師根本無法控制角色。

理解了rig之後，我們將介紹一下現代的facial rig技術。
這也是丁丁等新一代大片中角色表情的核心技術。

在大片中的動畫表情rig大至可以分成四類，在技術上由簡到難。
後一代的技術並不是同前一代的技術完全不同，是在前代技術加入新的技術內容。
在製作中的rig實際上也不是一個，一個模型上完全可以裝多個rig，在不同的場景中使用不同的。

第一代的技術是skinning技術，也叫蒙皮骨骼技術。
最初只是動作上用。
蒙皮骨賂中的運動系統定義了一個層次結構的作標系，叫骨架。
模型被分成多個部份，每一部份都被定義在一個骨頭的作標系中。
如果你轉動手的骨架，角色的手就會轉。
對於關節部份，通常是表面頂點會被定義在相臨的幾個骨頭中，最終作標是通過加權平均得到的。
這代系統中，rigging師的主要工作就是安骨架，給每個頂點設置混合的權值。
對於表情也可以作，就是加上多個骨骼。

在今天的CG中，遊戲還主要是用這套技術完成的，但是電影中己很少用這種技術作表情了。



第二代技術實際上是叫morphy blending。
可以理解為形態混合。實際上riggling師什麼也不用做，主要工作都給建模師了。
建模師為同一個角色的不同表情手工建模，然後線性差值。
在代技術在今天的電影中實際上也是使用的，主要是用於只有幾個鏡頭的角色。
遊戲中實際上也有部份使用。



第三代技術就是所說的面部捕捉，想法跟原理同morphy blending類似。
低質量的要求就使用幾十個點捕捉一個臉模，最高水準的是班傑明巴頓奇事中的技術。
那套技術是在臉上塗料，再打光，採集的數據可以在0.05mm之下的高精人臉。
實際上班傑明這套技術的效果可以非常好，問題是這套技術只能將人臉還原或是將其轉換到一張類似的人臉上。
班傑明中試著實現了部份的表情轉移，將表情轉到不同年紀角色的臉上。
但無法完成更複雜表情的轉移，如把男人的表情轉到猩猩上。

下面我們要說的就是第四代技術了，起始於也就是海盜系列，史萊克系列，在今天的丁丁和猩猩身上己經基本成熟。
這套技術實際上是建立在兩項研究基礎之上。
一是解剖學基礎的仿真研究。
二是心理學上的表情編碼研究。

解剖學方面的研究主要貢獻是一套完整的圖形肌肉仿真系統。
這套系統最初可能是動畫片中最先用的。
動畫中最先只使用簡化的骨骼，而且按解剖學結構安裝了幾塊主要的肌肉，這樣就可以比較真實的反映卡通角色的表情。
這時的骨骼是簡化，肌肉的仿真只是簡單的計算了在拉伸時保持體積不變。
後業這套技術藉著高準度的物理仿真進步了。
今天的骨骼是高精度的，仿真的肌肉數目也大大增強，更重要的是仿真算法，其本上己經是基於材料力學的有限元分析的算法。
不僅可以算出形態，更重要的是要以算出應力大小。
但這只是故事的一部份，我們只是得到了一張真實的人臉肌肉，還不知道怎樣驅動它來產生表情。


這個問題是由神經心理學研究解決的。
人的一個表情不是驅動一塊肌肉，而是非常有規律的配合驅動一組肌肉。
心理學研究了人各種表情驅動肌肉的規律，研究成果叫FACS，面部驅動編碼系統。
FACS中不僅指出了各動表情是驅動哪些肌肉，還指出了如何定義表情的強度和表情的混合規律。
另外FACS的編碼主要是依靠action unit點的位置來定義，所謂的action unit實際上可以理解為產生表情肌肉肌鍵的位置。
因而第四代技術中，採集的是表情，不是臉的形狀。
外行覺得面部捕捉很神奇。
對專來人來說，神奇的是採樣點如些之少，只有四十八個。


最後我們來說一下第四代表情技術工作流程。
它的rig 是一個至少四層的結構。
它的第一層是一個硬質的頭骨模型，上有安有骨架rig。
在這個骨架rig上安有第二層結構，是action unit和action line。也可以理解為線性肌肉模型。
這一二層上安有控製器。

第三層是肌肉模型，每一塊肌肉的形狀都被準確的再現，並且配置好材料力學參數，被電腦當成三維強性材料處理。
最後一層是表皮層，就是我們平時說的模型，電腦當成二維的彈性材料處理。
這三四層動畫師是無需控制的，屬於形變層，完全由電腦自動計算完成。
而且三四層中有一個粘連層，處理皮膚在肌肉表面的滑動。

控製器的輸入有二種，一種是動畫師來做。
工作流程是這樣的。
動畫師在骨頭上擺姿勢，在線性肌肉上設置表性。
然後電腦仿真肌肉的形變。
然後電腦仿真皮肌的滑動，並分析皮膚的應力。
在應力大的地方加上皺紋。
這便是動畫片中的作法。


另一種自動化的方法則更複雜一些。
演員先作出各種動作，件進行較正，而後演員表演時，電腦對捕捉來的數據進行處理。
分析其中有哪幾種表情，各種表情的強度怎樣，形成表情編碼。
然後根據FACS推斷出不可能被組合在一起的表情，當成噪聲去掉。
這部份系統就是其它文中說的solver。
solver其實指的是矩陣求逆件，因為這些複雜的運算在電腦中最後都會被轉化成矩陣運算。

得到表情編碼後，加上rig上，就產生了動畫。


所以第四代系統中，核心的東西一個是分析表情的程序，一個是後台的facial rig及其處理程序。
捕捉設備實際上無關緊要。



這就是今天表情動畫處理的大致流程，對於電影導演來說，今天的電影不是拍出來的，是畫出來的。
而對於製作的藝術家來說，今天的CG不是畫出來的，是算出來的。
功夫其實都在詩外。



許多讀者在知道後可能會對技術有一種望而卻步的感覺。
甚至會問，難道拍個動畫片值得費這麼大勁研究個十幾年嗎？
商業上值不值是早有定論的。
我要說的研究的意義不只在於拍電影。
實際上電影中用到的技術實際上可能是其它研究中的副產品。
生物力學的研究在醫療特別是手術規劃的意義不言而喻。
而表情心理學的研究實際上是智能研究的一部份，實際上solver就是理解人表情的程序。
你可以想像得到不久機器人和電腦就將可以理解人的表情，看得懂人的喜怒哀樂。
甚至我們不應該從應用角度來理解。
其實當電腦生成的表情可以騙過所有人的時候，我們得到的不是一部好看的電影，我們己經對表情，對我們人類自己有了更深的理解。