掃描細節 馬萬鈞
台灣大學資工系博士、南加大創意科技中心博士後研究員,專長電腦繪圖、電腦視覺。曾任威塔數位特效公司研究員、蘇黎世理工大學訪問學者、動視暴雪資深研究員及谷歌AR/VR部門資深軟體設計師,2019年獲頒奧斯卡科學技術成就獎,現為TikTok字節跳動智能創作部門研究員。
電影角色回春、複製人題材、科幻片裡的真人CG角色…這些大銀幕上維妙維肖的數位人類(digital human)或數位分身(avatar),隨著人臉電腦繪圖的技術日益精進,效果更逼真,成本也大幅降低。
軟體工程師出身的馬萬鈞對視覺圖像有興趣而與好萊塢結緣。2005年,他考上台灣大學資工系博士班,萌生出國念頭,申請國科會獎學金,赴美國南加大創新科技研究機構(Institute for Creative Technologies ,簡稱ICT)的視覺圖像實驗室擔任研究員,在指導老師保羅戴貝克(Paul Debevec)帶領下,研發高解析度臉部捕捉技術。
製作數位演員前要先拍攝真人的臉部表情,馬萬鈞加入團隊時,戴貝克已研發出Light Stage球體攝影裝置,設有LED燈和攝影機。打在人臉上的光線經過巧妙設計,可拍下細部表情變化和臉部特徵,演員陶比麥奎爾擔綱的《蜘蛛人2》和《阿凡達》等片,都用到此項技術,讓戴貝克與團隊於2010年拿下第一座奧斯卡科學技術成就獎。
為精益求精,他們不斷改良技術。由於打光的方式或亮度涉及數學推演,馬萬鈞加入後著手開發相關軟體。初期Light Stage設計較陽春,相關人員持續修改,調整軟硬體,找到最佳參數,掃描臉部時連毛細孔都可以捕捉,成為一大突破。馬萬鈞說:「拍攝畫面連唇邊細紋都不會遺漏,也可以保留皮膚顏色。」
新技術陸續應用於《鋼鐵人3》《班傑明的奇幻旅程》和《遺落邊境》等數十部電影;大型科技公司如Meta、Apple等為了製作虛擬資料,也打造自家專屬的Light Stage;美國前總統歐巴馬想以3D列印技術取代歷來白宮為卸任總統打造石膏像的傳統,也是在臉部3D掃描技術的輔助下完成。
2019年,戴貝克與馬萬鈞等4人獲頒奧斯卡科學技術成就獎,理由為研發「基於球體上偏振漸層光源的臉部捕捉特寫技術」,以及Light Stage X動態捕捉系統的設計和工程。本屆艾美獎也頒發終身成就獎給戴貝克,表彰他對視效產業的貢獻。
演員受傷、或有不宜親自上陣的動作,都可透過數位效果來解決。
馬萬鈞日前返台參加北市電影委員會舉辦的國際動畫視效講座,他分析數位人類技術的另一個優點,是萬一演員受傷、或有不宜親自上陣的動作,都可透過數位效果解決。比方他參與電影《鋼鐵人3》時,主角小勞勃道尼不慎摔斷腿,劇組不想延誤進度,就打造數位人類繼續拍攝。
另一個知名「換臉」案例,是主演《玩命關頭7》的保羅沃克在拍攝期間意外過世,劇組找了他的兩個弟弟擔任替身,且以長相相似的卡萊沃克(Caleb Walker)為主。馬萬鈞與特效團隊面臨兩大挑戰:首先必須利用弟弟的皮膚資料重現數位保羅沃克的外觀;其次在換臉程序上,也花很多時間追蹤鏡頭裡卡萊的頭部位置,再完美無縫銜接在數位保羅沃克的頭上。
拜科技進步之賜,如今換臉成本已大幅降低。馬萬鈞透露,早在20年前迪士尼便有意拍攝《雙子殺手》,並研究讓演員變得更年輕的方法。當年他們以石膏建模,再拍真人照片擷取膚色,可惜成本太高而放棄。2017年,李安導演宣布開拍該片,相關技術已發展成熟,才順利搬上大銀幕,馬萬鈞認為該片的數位人類「做得非常好,沒有破綻。」
馬萬鈞拿到博士學位後,對數位演員其他的製作面向產生興趣,於是赴紐西蘭視覺特效公司威塔數位(Weta Digital)擔任動態捕捉研究員,最得意的作品是《猩球崛起》系列。當時劇組去溫哥華的森林實景拍攝,為了拍下臉部表情,演員在頭上戴攝影機。但因天候,不僅鏡頭沾有水漬,演員走路震動也影響畫面,取得影像資料較差。為此他與團隊想辦法修正,解算出來的結果依然讓後製部門做出栩栩如生的猩猩臉孔。
好萊塢視覺特效技術日新月異,歸功緊密的產學合作,他待過的ICT視覺圖像實驗室便是一例。業界人士的努力耕耘也功不可沒,例如喬治盧卡斯創立的視效公司光影魔幻工業,以及迪士尼旗下的皮克斯動畫工作室,早期為了拍片不惜投入研發資源,「他們花3年開發一項技術,接下來十年都用得到,累積不少經驗。」長此以往,讓美國站穩視效技術開發者的角色。
馬萬鈞目前在TikTok創意部門擔任研究員,負責開發元宇宙相關技術。回顧過往的產學歷練,他體認到每個團隊或公司都有獨到技術,重點是提高能見度,讓外界知道。例如戴貝克為角逐奧斯卡獎持續申請、投稿,2019年獲獎前被美國影藝學院退件兩次,直到第三次才認可他們的成就和貢獻。
技術可遇不可求,要看天分與資源,但經營社群網絡有助打入這個行業。
此外要參與國際專業社團。馬萬鈞直言:「技術可遇不可求,要看天分與資源,但經營社群網絡有助打入這個行業。」他目前是好萊塢視覺效果協會(Visual Effects Society,簡稱VES)的成員,該協會目前亞洲僅印度有分會,馬萬鈞有意在台灣推動成立「東北亞地區首個VES分會」,帶動本地影像工作者接軌國際資源,企盼早日實現。