"毒液"AI宣傳片驚豔刷屏，導演楊晟與Vidu揭秘幕後細節！
文| 劉澍
這是好萊塢“五大”首次在華擁抱AI，不僅自破了曾經公開抵制AI的宣言，而且扶持了本土創作者和技術公司，是全球頭部電影公司合作國內科技文化人才和成果的一次成功嘗試。
潑墨成畫，萬物皆可毒藥。
隨着一點墨跡暈染整個屏幕，毒液以自由靈動之姿變幻爲戰馬、魚、鶴等形態，肆意穿梭於海陸空，更能化身“毒液孔明燈”露出頑皮笑容，最後以本姿態落在中式樓閣的屋頂上，傲視周圍。
10月23日，正值《毒液：最後一舞》登陸全國院線，索尼電影官微發佈了一支由AI製作的水墨風宣傳片，引發了業內外的劇烈熱議。
△ 《毒液：最後一舞》水墨風獲網友好評
一方面在內容畫面維度，衆人驚歎於AI創作的精細度和絲滑度，另一方面在行業趨勢維度，這是好萊塢“五大”首次在華擁抱AI，不僅僅只是製作了一部好看的預告片，而且幫助了本土創作者和技術公司，是全球頭部電影公司合作國內科技文化人才和成果的一次成功嘗試。
日前，基於這支AI宣傳片，極客電影獨家專訪了視頻的幕後核心——導演楊晟和北京生數科技有限公司（以下簡稱：生數科技）產品總監張旭東，邀請他們各自從內容和技術的角度，分享了宣傳片的製作過程、相關難點和所用的AI模型Vidu，以及AI應用於影視行業的趨勢觀點。 △ 楊晟導演
△ 北京生數科技有限公司產品總監張旭東
01 合規之內，AI支持和增強創意實現：
楊晟直言，AI宣傳片是索尼、生數科技和他自己三方碰撞出來的結果。
最開始，索尼的要求是製作一支足夠具有東方元素和中國特色的視頻，但是不能透露太多劇情，方式則不限定。
這顯然是一個開放性命題，給了藝術家很大空間，楊晟很興奮。
作爲索尼重點扶持的導演，他認爲索尼更深層次的想法是：內容本身優質之外，製作方式也要走在行業前沿，產生廣泛的影響力。
就此，楊晟選擇聯合生數科技，共同完成命題。
生數科技是一家成立於2023年3月的新興科技公司，核心成員來自清華大學人工智能研究院，其自研的AI模型Vidu是國內首個長時長、高一致性、高動態性的視頻大模型，支持文生視頻、圖生視頻、主體參照等功能，這次的AI宣傳片即由藝術家與Vidu合作執行。
△ Vidu
據楊晟透露，索尼曾專門派人到生數科技，用一張2018年出圈的水墨風海報去檢驗Vidu的能力。
現場，張旭東演示了數個版本的效果，得到了索尼的認可，合作得以繼續推進。
特別要提的是，考慮到合規性，索尼直接購買了藝術家與楊晟團隊所使用的200餘張水墨風原稿，然後再授權給楊晟團隊基於Vidu創作。”
簡言之：承製方創作畫稿→索尼購買畫稿→索尼授權畫稿→承製方使用畫稿生成視頻→索尼驗收併發布。
整個流程類似於動畫製作，而且是結合了日式和歐美式的動畫生產方式，形成了一種新的工作流。
使用的過程裡，Vidu相當於攝影機、手機、PS或者Premiere，是創意實現的高效生產力工具。
這樣一來，索尼獲得了所需的創意效果，承製方則得到了實際操作的空間和自由度。
不過相關過程並非一蹴而就，在實際執行環節裡，楊晟與生數科技曾遇到過一個巨大挑戰，即藝術家與AI 技術人員在創作邏輯、主觀審美和工作方式等方面的理解差異。
對比來說，技術人員可能更注重技術和流程，而藝術家更注重創意和表現。
對於這種差異，轉譯工作就顯得尤爲重要。楊晟和張旭東正式擔任了這種角色。
張旭東回憶，開始他不能對齊藝術家的需求和標準，比如什麼樣的效果是導演更想要的。直到資深動畫導演凱倫坐在工位旁，從藝術的角度下講解後，他逐漸理解了導演的藝術偏好，並和內部美學專家討論後，轉譯成相應的指令輸入給模型。
Vidu 作爲一個通用模型，能夠理解和表達很多風格，但如何寫出合適的 prompt 和生成模型進行“溝通”，調動起模型的能力來生成出藝術家想要的東西，確實需要懂模型技術的人和藝術家來共同完成。
△ Vidu參考文森特·梵高《星月夜》生成的視頻
雙方深入溝通理解後，自然會促進效能快速提升，張旭東分享到，根據策劃和原稿，Vidu僅用半個工作日就生成了上千支視頻，供給藝術家挑選和優化，再從中選出最優質的作品。
這種合作模式使得雙方都能充分發揮各自優勢，極大節省了時間成本，提高了工作效率和產出效率，實現了高效率和高質量的創意實現。
02 AI大模型Vidu：節省近90%的後期投入
談及應用的技術原理，張旭東介紹，在圖生視頻之外，Vidu的首尾幀功能同樣對《毒液：最後一舞》的生成起到了重要作用。
這種作用特別體現在IP圖像的一致性上，比如經常會看到這樣一種AI創作的情景，一個老爺爺牽着小女孩過馬路，一輛車駛過，下一秒老爺爺換了一個人。
首尾幀功能正好能盡力降低偏差率，以開頭和結尾的圖片約束和糾正影像細節，讓IP圖像前後高精度一致。
衆所周知，索尼在IP圖像上有嚴謹的要求，一絲一毫都不能有差錯，而Vidu有效避免了圖變bug，這是國內AI技術的一大進步，也是AI應用於影視IP的重大突破口。
張旭東進一步表示，基於模型的不斷升級，當下Vidu的一鍵生成視頻能力可以極大簡化短片的製作流程，同步顯著提升相關生產效率。
製作同樣一支宣傳片，對比傳統影視的投入，Vidu節省了近90%的後期投入，驅動總體的時間效率提升3倍。
數據規格上，Vidu能夠同時支持中英文指令輸入；時長方面，模型最長可支持一鍵32s視頻的生成，產品端開放了4s/8s的視頻時長；畫面質感方面，最高可輸出1080p分辨率。
張旭東還提到了Vidu未來的升級方向，他們起了一個名爲“參考生視頻”的概念，希望Vidu可以參考相對多的物體，現在它能夠參考單個物體，例如用一雙鞋，模擬人穿鞋在月球上，生成一支廣告片；或者提供一個“怪獸”的形象，安排怪獸做一些事情，都能保持很好的一致性。
△ Vidu產品中的“參考生視頻”功能
未來，據生數科技介紹，Vidu也將補充風格參考能力，提升生成視頻的品質感和藝術性，並且在同種風格呈現中，同並保持人物、場景、道具等多個物體的一致性。
另外，張旭東和楊晟還提到，Vidu的設計也能啓發藝術家，提供超出預期的創作新思路。
在《毒液：最後一舞》的宣傳片裡，中式樓閣就是典型案例。
本來只是給了Vidu一個很大概的想法，做一箇中式屋頂，但是Vidu既做出了合理性的補全預測和3D模型，也自動生出了很驚豔的運鏡和各類細節。
△ 《毒液：最後一舞》AI宣傳片的“神運鏡”
值得說明一點，對於這支宣傳片，區別於絕大多數AI模型，Vidu的主要指令不是提示詞，而是首尾幀圖像。
這能更直觀地表達創作意圖，減少誤解，可以讓承製方更好地控制視頻的質量和效果。
03 藝術家，只有跟科技公司結合纔有未來
就在索尼發佈AI宣傳片的同期，全球影視行業亦傳來兩大重磅消息。
一個是大導演詹姆斯·卡梅隆（James Cameron）官宣加入Stability AI公司，這家公司的開源模型Stable Diffusion在圖像生成領域有着舉足輕重的地位。
△ 詹姆斯·卡梅隆加入Stability AI公司
詹姆斯·卡梅隆，面對生成式AI技術的崛起，他看到了AI與影像創作交匯的巨大潛力。
這兩種完全不同的創作引擎的融合，將爲藝術家開啓全新的講故事方式，這是他們從未想象過的。
另一個是張藝謀談執導《三體》，他直言，網友的正向或負向評價，他都接受，這會倒逼團隊創新視聽表達。
△ 張藝謀執導《三體》
他已經精選十餘位AI人才，組成AI小組，將運用“中國製造”的新科技、新觀念開展創作。
隨着詹姆斯·卡梅隆和張藝謀的公開支持，影視行業將會加速AI應用的進程。反之，這也會驅動AI科技公司快速精進技術，全球範圍內皆是如此。
就現在的AI水平，張旭東和楊晟說到，如果將AI模型的發展階段比作電影學院的學生，ChatGPT3.5相當於初中生，可以理解部分內容；GPT4相當於研究生，思考較爲全面；OpenAI o1則更進一步，具有獨特的思維方式。
而隨着應用案例和經驗愈多，AI 的“學歷”將更高。
現在，AI能夠記住更多的專業詞彙，理解並執行復雜的微調任務，如3D動態故事板着色；
其學習能力使得它在不同場景中的應用更加靈活，可以根據具體需求進行定製化訓練，從而提高工作效率和效果。
通過AI的這些能力，可以降低對上層構造數據的訓練難度，使整個流程更加智能化和高效。
細分到鏡頭運動，AI通過學習和訓練，能夠理解和應用鏡頭運動的基本原理，如推拉搖移等，從而提升視頻的視覺效果。
以及，通過對大量電影和視頻的分析，AI能夠學習到鏡頭運動的基本規律，並在實際應用中加以運用。
△ Vidu生成的俯視視角視頻
△ Vidu生成的第一人稱視角視頻
這種對鏡頭運動的理解和應用，使得AI在視頻製作中的應用更加廣泛和深入，提升了整體的視覺體驗和藝術效果。
而鑑於AI模型規模的擴大和技術的升級，其性能和應用範圍將得到進一步提升。
未來，AI模型有望在更多領域發揮作用，如綠幕特效、視頻補全等，這會更大地降低視頻製作的難度和成本，更快速地提高創作效率。
然而，儘管效能在一直升級，但是現階段AI並不能完全替代人類的創造性勞動，而是作爲輔助工具存在。
許多人錯誤地認爲AI可以直接生成商業化的內容，但實際上，生成的內容需要經過一系列的加工和優化，才能達到最終的商業標準。
畢竟，藝術作品的評價往往依賴於人的主觀感受。
但不能否認，按照這樣的趨勢，AI將拓寬創作者的門檻，同時也提高了對藝術家的要求，它更重要地強調了藝術創作力的重要性，會讓強者會變得更強大。
預計在未來，AI能夠幫助更多有創意的人實現他們的想法，誕生更多優秀的作品。
感謝【故事接龍StoryStorm】友情支持。