新晉抽象之神!AI 復刻爆火出圈名場面,效果真的很難繃
威凜凜,氣堂堂,花身電目逞兇狂。腥風血雨起殺意,銅頭鐵尾鎮四方。
這段描述源自《黑神話:悟空》 Boss——虎先鋒。只是,或許許多人很難將三拳打碎大聖夢的虎先鋒動捕原型與溫順的貓聯繫起來。
據官方介紹,七隻貓佩戴無線傳感器,在工作人員的引導下,完成攀爬,跳躍,急速轉身等一系列動作捕捉動作,纔將虎先鋒的威嚴姿態生動地呈現在玩家面前。
當然,傳統動捕技術往往耗時漫長且複雜 ,比如「悟空」的真身也 覆蓋了遊戲中 60% 的角色,但整體拍攝週期卻長達四年之久。
而隨着 AI 的崛起,未來這一製作週期有望被大幅縮短。
譬如最近 Wonder Dynamic 就上線了視頻轉 3D 的功能,圓我們簡單的動捕夢,或許比想象中還要簡單。
附上體驗鏈接:https://wonderdynamics.com/
真人秒變 3D 動畫,至少比想象中簡單
先來感受一下官方分享的演示視頻。
原本是一對男女在街頭漫步的畫面,經過 Wonder Dynamic 的神操作後,搖身一變成了一個鐵皮機器人以及一個年輕小夥。
跑步,轉身等具體動作也被輕鬆地「複製」到機器人身上,步伐也是一板一眼地還原。
這幾年,我們已經被不少官方的演示 demo「詐騙」過,所以不看廣告看療效,我們也試着用 Wonder Dynamic 生成幾段視頻。
例如,男主變成了鬍子拉碴的大叔,姿態角度保留得原汁原味,與坐在樓梯上的女主同框時,有種跨次元的碰撞感。
再進一步,我們對女主以及背景環境也進行了一番大改造。
很遺憾,男主標誌性的摸鼻樑手勢還是沒有被識別出來,而女主則從坐着變成了站着,且鏡頭出現的時機也有些突兀。
而面對甄子丹手指向一側,並扭頭微笑的經典表情包,乍一看,場景轉換非常到位。但仔細看,人物置身的畫面背景卻有些不對勁。
原視頻片段截自 B 站 UP 主五十五克
作爲人形機器人愛好者,我經常刷到許多人形機器人做家務、打羽毛球、做飯等視頻。
這些視頻都有一些共同點,機器人動作宛如真人,嫺熟地像是經過了無數次訓練,連 TeslaBot 都得自愧不如。
但現實總比理想骨感一些。
作爲對比,前不久波士頓動力公佈了人形機器人的「鼻祖」Atlas 的最新視頻,並宣稱可以自主完成工廠的分揀任務。
聽起來很酷炫,但顫顫巍巍的動作還是出賣了它的青澀。
而早在去年,Wonder Dynamic 就已經因爲能夠給視頻真人換上機器人的「衣裳」而引起廣泛關注。
機器人註定會走入家庭生活,在此之前,我們或許可以靠視頻來先行想象。
不過,在上手體驗之前,需要給各位打個預防針。 因爲經過實測,配置生成 5 秒視頻的格式轉換頂多五分鐘,但渲染環節往往耗時接近 1 個小時,且視頻時間越長,耗時越長。
原視頻片段來自 @heyBarsee
花點時間「抽卡」,偶爾還是能抽出一些不錯的視頻,沙灘踢足球,海上衝浪,Wonder Dynamic 的角色一致性保持得不錯。
原視頻來自 Alex G New Media Journalism
那如果是機器人舉重呢?
我試着將巴黎奧運會舉重的經典名場面轉換了一下,沒有出乎太多意外,遠看還行,但近看的細節處理則有些馬馬虎虎。
原視頻片段截取自互 聯網
舉完重,機器人稍作休息,讓 AI 展示一下太極的柔和之美。
原視頻片段截取自 B 站 UP 主 Jerry_2020
原視頻面面細節有些抖動,而經過技術處理後生成的片段,其抖動問題則更加突出。
相信你已經看出,Wonder Dynamic 屬於可以遠看,但沒法細看的那種,比如拿捏不了微表情,碰上動作幅度大的動作,細節處理也不夠精細。
一旦拉近觀察,其侷限性便暴露無遺。用高情商的話來說,那就是 Wonder Dynamic 還有很大的上升空間。
AI 引入動捕行業,演員面臨失業危機?
今年出現的怪事是,底層語言模型的發展沒有多大長進,反而內卷的戰火卻在 AI 視頻賽道上愈演愈烈。
具體來說,早期生成式 AI 的一個流行應用是使用樣式遷移來創建人物照片的卡通版本。
比如,之前 Snapchat 就曾通過提供「皮克斯風格」濾鏡,讓用戶的臉看起來像是皮克斯動畫電影中的角色。
而與樣式遷移的圖像處理方法不同,Wonder Animation 從視頻轉換到 3D 場景技術的輸出是完全可編輯的 3D 動畫。
它能夠輸出包含 3D 動畫、角色、環境、和攝像機跟蹤數據,可加載到用戶的首選軟件中,比如 Maya、Blender 或 Unreal。
當然,缺點也說了,這款工具目前稱不上成熟,只是相當於省事地爲創作打好草稿。
或者說,你可以暫時把它當作一個娛樂的小工具,讓 AI 替你出鏡,幾乎零成本的動作捕捉,遇上更專業的需求,你還得需要接入後期軟件,一點一點地修改。
Wonder Dynamics 的聯合創始人 Nikola Todorovic 也曾在其博客中寫道:
你可以在家中客廳進行視頻的拍攝和編輯,包括你想要的表演、剪輯和鏡頭設置,就像你在動畫中期望看到的那樣,這個過程可以迅速給你一個預覽效果。
更重要的是,提供 3D 場景,讓你能夠在 Blender、Maya 或 Unreal 等軟件中逐個編輯每一個元素。
在無人在意的角落,上週 Runway 也悄悄發佈了一款帶有類似功能的工具——Act-One。
相較於 Wonder Animation 的抓大放小,Act-One 能夠生動地捕捉用戶的眼神、面部表情、以及動作節奏等細微之處,從而生成富有表現力的角色表演。
視頻來自 @iamneubert
並且,與傳統手動面部建模以及多步流程不同,Act-One 只需要一臺普通的攝像頭來捕捉演員的表演,即可生成高質量的虛擬角色動畫,大大降低了製作門檻和成本。
不信,你看,草稿紙上畫的人像就這麼水靈靈地活過來了,真·神筆馬良。
圖片來自 X 網友@sainimatic
當然,傳統的動捕行業往往相對複雜。
動作捕捉的原理主要是通過記錄演員的身體運動,將這些運動數據轉化爲數字信息,以便用於動畫、視頻遊戲和影視製作中。
最經典的例子莫過於安迪·瑟金斯在《指環王》三部曲中飾演的咕嚕。
爲了實現這種效果,動捕團隊需要在幾個月的拍攝過程中,使用複雜的設備和軟件,捕捉瑟金斯的每一個細微動作和表情,這些數據隨後被轉化爲咕嚕在大銀幕上的生動形象。
後續接受紀錄片時,瑟金斯也曾表示:
我扮演了咕嚕這個角色,作爲計算機生成的角色,咕嚕相當一部分仰賴共同創作。但我認爲,是我真正賦予了它「表演」賦予角色背後的情感驅動,賦予身體,以及最重要的,賦子它聲音。
《阿凡達:水之道》在上映之初,也曾分享過動捕幕後的一些花絮。
1.
導演詹姆斯·卡梅隆和其團隊開發了一套名爲「虛擬攝影機」的系統,結合了動作捕捉和實時渲染技術,允許攝影師在虛擬環境中「拍攝」場景。演員的動作和表情被實時捕捉並轉化爲數字化的角色。
2.
爲了提高角色表情的真實性,《阿凡達》採用了先進的面部捕捉技術。演員佩戴了專門的面具,上面裝有小型攝像頭,用於捕捉細微的面部表情。
3.
拍攝過程中,使用了紅外線攝像頭,形成一個 360 度的捕捉空間,能夠精確捕捉演員在複雜場景中的動作。
4.
團隊在捕捉後,對數據進行細緻處理,結合傳統的動畫技術,確保角色的動作流暢自然。
5.
通過實時捕捉,演員能夠與虛擬環境中的元素互動,增強了表現力,使觀衆能夠更好地投入到故事中。
儘管目前 AI 動捕行業的發展處於萌芽階段,但隨之而來的,卻是失業危機的隱患。
所以我們看到,不久前,好萊塢因爲 AI 再度爆發罷工。
當時,美國演員工會和美國電視廣播藝術家聯合會(SAG-AFTRA)下屬的視頻遊戲配音演員和動作捕捉演員要求行業不能輕易濫用 AI。
他們的主要訴求之一是,AI 的使用可能會剝奪那些經驗尚淺的演員通過扮演小角色來「練級」的機會。
誠然,任何一項新技術的到來通常伴隨着非議。 蒸汽機的響聲送走了馬車伕,AI 看起來也將如此。
最近英偉達創始人黃仁勳也給出了一個類似的觀點,AI 目前還不能完全接管人類所有的工作,但不懂 AI 的人會被懂 AI 的人取代。
人們常常問我:「AI 會奪走你的工作嗎?」我告訴他們,絕對不會。
那些利用 AI 自動化完成 20%或 50% 工作任務的人,纔可能替代你的工作。