2022.10.22 05:58 臺北時間

【娛樂透視】臉部捕捉技術獲頒奧斯卡 馬萬鈞突破虛實打造數位人

mm-logo
娛樂
電影《阿凡達》(圖)藉Light Stage,捕捉真人演員的臉部細節特徵和表情。(二十世紀影業提供)
電影《阿凡達》(圖)藉Light Stage,捕捉真人演員的臉部細節特徵和表情。(二十世紀影業提供)
視覺特效產業不斷進步,近年與臉部動態捕捉相關的技術快速發展,廣泛應用在以特效取勝的電影和各種虛擬製作。
專長開發臉部生成工具的馬萬鈞,參與過《哈比人》三部曲、《猩球崛起》系列和《玩命關頭7》等好萊塢賣座片,2019年與團隊獲頒奧斯卡科學技術成就獎,是台灣繼李安導演之後第二人。現居美國的他,來台與業界人士分享臉部捕捉技術的演進與製作過程,也表達對本地視效產業的期許。
軟體工程師馬萬鈞因研發高解析度臉部捕捉技術,與好萊塢結緣。

掃描細節 馬萬鈞

台灣大學資工系博士、南加大創意科技中心博士後研究員,專長電腦繪圖、電腦視覺。曾任威塔數位特效公司研究員、蘇黎世理工大學訪問學者、動視暴雪資深研究員及谷歌AR/VR部門資深軟體設計師,2019年獲頒奧斯卡科學技術成就獎,現為TikTok字節跳動智能創作部門研究員。

電影角色回春、複製人題材、科幻片裡的真人CG角色…這些大銀幕上維妙維肖的數位人類(digital human)或數位分身(avatar),隨著人臉電腦繪圖的技術日益精進,效果更逼真,成本也大幅降低。
軟體工程師出身的馬萬鈞對視覺圖像有興趣而與好萊塢結緣。2005年,他考上台灣大學資工系博士班,萌生出國念頭,申請國科會獎學金,赴美國南加大創新科技研究機構(Institute for Creative Technologies ,簡稱ICT)的視覺圖像實驗室擔任研究員,在指導老師保羅戴貝克(Paul Debevec)帶領下,研發高解析度臉部捕捉技術。
電影《阿凡達》藉Light Stage(圖),捕捉真人演員的臉部細節特徵和表情。(翻攝自fxguide.com)
製作數位演員前要先拍攝真人的臉部表情,馬萬鈞加入團隊時,戴貝克已研發出Light Stage球體攝影裝置,設有LED燈和攝影機。打在人臉上的光線經過巧妙設計,可拍下細部表情變化和臉部特徵,演員陶比麥奎爾擔綱的《蜘蛛人2》和《阿凡達》等片,都用到此項技術,讓戴貝克與團隊於2010年拿下第一座奧斯卡科學技術成就獎。
為精益求精,他們不斷改良技術。由於打光的方式或亮度涉及數學推演,馬萬鈞加入後著手開發相關軟體。初期Light Stage設計較陽春,相關人員持續修改,調整軟硬體,找到最佳參數,掃描臉部時連毛細孔都可以捕捉,成為一大突破。馬萬鈞說:「拍攝畫面連唇邊細紋都不會遺漏,也可以保留皮膚顏色。」
美國前總統歐巴馬(圖中)欲製作3D列印雕像,戴貝克(上圖左一)在白宮架設小型Light Stage協助掃描臉部。
新技術陸續應用於《鋼鐵人3》《班傑明的奇幻旅程》和《遺落邊境》等數十部電影;大型科技公司如Meta、Apple等為了製作虛擬資料,也打造自家專屬的Light Stage;美國前總統歐巴馬想以3D列印技術取代歷來白宮為卸任總統打造石膏像的傳統,也是在臉部3D掃描技術的輔助下完成。
美國前總統歐巴馬欲製作3D列印雕像,戴貝克在白宮架設小型Light Stage(圖)協助掃描臉部。(翻攝自Paul Devebec臉書)
2019年,戴貝克與馬萬鈞等4人獲頒奧斯卡科學技術成就獎,理由為研發「基於球體上偏振漸層光源的臉部捕捉特寫技術」,以及Light Stage X動態捕捉系統的設計和工程。本屆艾美獎也頒發終身成就獎給戴貝克,表彰他對視效產業的貢獻。
演員受傷、或有不宜親自上陣的動作,都可透過數位效果來解決。
馬萬鈞日前返台參加北市電影委員會舉辦的國際動畫視效講座,他分析數位人類技術的另一個優點,是萬一演員受傷、或有不宜親自上陣的動作,都可透過數位效果解決。比方他參與電影《鋼鐵人3》時,主角小勞勃道尼不慎摔斷腿,劇組不想延誤進度,就打造數位人類繼續拍攝。
《玩命關頭7》的演員保羅沃克意外過世,由與他長相相似的弟弟卡萊沃克擔任數位替身。(翻攝自thehollywoodreporter.com)
另一個知名「換臉」案例,是主演《玩命關頭7》的保羅沃克在拍攝期間意外過世,劇組找了他的兩個弟弟擔任替身,且以長相相似的卡萊沃克(Caleb Walker)為主。馬萬鈞與特效團隊面臨兩大挑戰:首先必須利用弟弟的皮膚資料重現數位保羅沃克的外觀;其次在換臉程序上,也花很多時間追蹤鏡頭裡卡萊的頭部位置,再完美無縫銜接在數位保羅沃克的頭上。
紐西蘭視效公司威塔數位負責製作《雙子殺手》裡的數位人類,成果逼真無破綻。(UIP提供)
拜科技進步之賜,如今換臉成本已大幅降低。馬萬鈞透露,早在20年前迪士尼便有意拍攝《雙子殺手》,並研究讓演員變得更年輕的方法。當年他們以石膏建模,再拍真人照片擷取膚色,可惜成本太高而放棄。2017年,李安導演宣布開拍該片,相關技術已發展成熟,才順利搬上大銀幕,馬萬鈞認為該片的數位人類「做得非常好,沒有破綻。」
《猩球崛起》系列讓演員配戴攝影機演戲,蒐集影像資料供後製部門打造猩猩臉孔。(翻攝自variety.com)
馬萬鈞拿到博士學位後,對數位演員其他的製作面向產生興趣,於是赴紐西蘭視覺特效公司威塔數位(Weta Digital)擔任動態捕捉研究員,最得意的作品是《猩球崛起》系列。當時劇組去溫哥華的森林實景拍攝,為了拍下臉部表情,演員在頭上戴攝影機。但因天候,不僅鏡頭沾有水漬,演員走路震動也影響畫面,取得影像資料較差。為此他與團隊想辦法修正,解算出來的結果依然讓後製部門做出栩栩如生的猩猩臉孔。
好萊塢視覺特效技術日新月異,歸功緊密的產學合作,他待過的ICT視覺圖像實驗室便是一例。業界人士的努力耕耘也功不可沒,例如喬治盧卡斯創立的視效公司光影魔幻工業,以及迪士尼旗下的皮克斯動畫工作室,早期為了拍片不惜投入研發資源,「他們花3年開發一項技術,接下來十年都用得到,累積不少經驗。」長此以往,讓美國站穩視效技術開發者的角色。
馬萬鈞(右二)與指導老師保羅戴貝克(左一)及另外兩位成員,於2019年獲頒奧斯卡科學技術成就獎。(翻攝自fxguide.com)
馬萬鈞目前在TikTok創意部門擔任研究員,負責開發元宇宙相關技術。回顧過往的產學歷練,他體認到每個團隊或公司都有獨到技術,重點是提高能見度,讓外界知道。例如戴貝克為角逐奧斯卡獎持續申請、投稿,2019年獲獎前被美國影藝學院退件兩次,直到第三次才認可他們的成就和貢獻。
技術可遇不可求,要看天分與資源,但經營社群網絡有助打入這個行業。
馬萬鈞日前回台與業界人士分享臉部捕捉技術的演進和製作過程。
此外要參與國際專業社團。馬萬鈞直言:「技術可遇不可求,要看天分與資源,但經營社群網絡有助打入這個行業。」他目前是好萊塢視覺效果協會(Visual Effects Society,簡稱VES)的成員,該協會目前亞洲僅印度有分會,馬萬鈞有意在台灣推動成立「東北亞地區首個VES分會」,帶動本地影像工作者接軌國際資源,企盼早日實現。
更新時間|2023.09.12 20:44 臺北時間
延伸閱讀

支持鏡週刊

小心意大意義
小額贊助鏡週刊!

每月 $79 元全站看到飽
暢享無廣告閱讀體驗

更多內容,歡迎 鏡週刊紙本雜誌鏡週刊數位訂閱了解內容授權資訊

月費、年費會員免費線上閱讀動態雜誌

線上閱讀

更多內容,歡迎 鏡週刊紙本雜誌鏡週刊數位訂閱了解內容授權資訊

月費、年費會員免費線上閱讀動態雜誌

線上閱讀