2024.07.25 05:28 臺北時間

【文化AI進行式4】把人體電流轉譯成聲音 雲門舞作《波》藉AI生成影像與舞者對話

mm-logo
娛樂
雲門舞作《波》採集舞者動作,經過AI運算轉化成影像和音樂,在舞台上創造與舞者對話的效果。  (翻攝自雲門官網,劉振祥攝影)
雲門舞作《波》採集舞者動作,經過AI運算轉化成影像和音樂,在舞台上創造與舞者對話的效果。 (翻攝自雲門官網,劉振祥攝影)
表演藝術的本質是現場演出,難與AI產生聯想,但雲門舞集總監鄭宗龍和日本新媒體藝術家真鍋大度攜手以舞作《波》寫下範例。團隊人員採集舞者的動作,經過AI運算轉化成影像和音樂,在舞台上創造出與舞者對話的效果。
表演藝術的本質是現場演出,難與AI產生聯想,但雲門舞集總監鄭宗龍和日本新媒體藝術家真鍋大度攜手以舞作《波》寫下範例。團隊人員採集舞者的動作,經過AI運算轉化成影像和音樂,在舞台上創造出與舞者對話的效果。
雲門文化藝術基金會執行總監洪凱西不諱言,科技人和藝術人的語彙相距甚遠,溝通上需要磨合。當時真鍋大度來到台灣,雙方在排練場試了很多可能性。真鍋的團隊在舞者身上放置可傳遞電流的裝置,在舞者律動過程中,從他們的肌肉捕捉到一些電流,再轉譯成聲音。
洪凱西表示,真鍋大度是音樂家出身,但他接觸的技術頗超前,因此很多溝通的語彙要彼此磨合。比方真鍋團隊的討論內容常提到參數,如影像的速度範圍或要使用哪些變化元素,對此 表演藝術工作者總是回說:「都可以,但是要有呼吸感,讓AI生成的影像與舞者對話。」呈現出科技與藝術跨域合作的有趣對比。
20240718insight005
洪凱西(右二)向與會人士說明,團隊在舞者身上放置可傳遞電流的裝置,再把電流轉譯成聲音。
雙方在創作《波》的過程不斷嘗試可能性,原本為了打造一個AI舞者, 拍攝很多雲門舞者的素材去訓練AI。當時拍了很多舞者的身體,也使用過去的排練帶,希望訓練一個呈現在舞台螢幕的AI舞者,可惜最後因訓練所需的資料不足而作罷。
洪凱西表示,整個實驗過程也是一種學習。有時藝術家希望做細微的修改,比方速度再慢一點,結果等了4個小時電腦才運算完,才了解修改不如想像中容易。真鍋的團隊也跟她說,有時不會知道整個運算過程要多久,也不會知道出來的結果如何。
洪凱西坦言,藝術家只想改3秒鐘長度的內容,卻花了數小時運算才結束,且成果不見得符合想像。面對這樣的情形,只能時時調整心態,在訓練AI模型的同時也訓練自己的耐心。
更新時間|2024.07.25 05:29 臺北時間
延伸閱讀

支持鏡週刊

小心意大意義
小額贊助鏡週刊!

每月 $79 元全站看到飽
暢享無廣告閱讀體驗

更多內容,歡迎 鏡週刊紙本雜誌鏡週刊數位訂閱了解內容授權資訊

月費、年費會員免費線上閱讀動態雜誌

線上閱讀

更多內容,歡迎 鏡週刊紙本雜誌鏡週刊數位訂閱了解內容授權資訊

月費、年費會員免費線上閱讀動態雜誌

線上閱讀