英偉達中國區Omniverse Lead何展:技術裂變,讓元宇宙變得觸手可及
更多精彩內容,請關注 《2022本站未來大會》專題報道
何展:技術裂變讓元宇宙觸手可及(來源:本站科技)
記者:普子胥
12月19日-23日,2022本站未來大會盛大舉行。2022本站未來大會全新升級爲“未來周”,囊括三天的思想之夜和兩天的峰會,包括思想之夜、創新力論壇、元宇宙論壇、內容力論壇、智美之夜F·F盛典。
12月22日下午元宇宙論壇上,英偉達中國區Omniverse Lead何展發表了《技術裂變讓元宇宙觸手可及》演講,就近一年來英偉達技術與實踐的突破,以及3D的標準和英偉達在AIGC相關技術儲備進行了分享。
“這隻老虎身上有350萬根毛髮,這樣的製作通過算法優化之後,可以穩定在左上角30fps幀數上,單塊GPU就可以完成。”何展表示,經過一年的發展,英偉達實現了Audio2Face的技術更迭,於AIGC生成的內容進化上取得了意想不到的進步:“去年我們在AIGC整個市場創造的價值大概80多億美金。”
以下爲英偉達中國區Omniverse Lead何展演講實錄:
大家下午好,和去年一樣也是在年底,在本站未來大會上和大家分享內容,非常的開心,心情也特別的不一樣,去年和今天也都不一樣。
我們幾位演講嘉賓準備資料時都沒有通過氣,但內容契合度非常高。我今天的內容也是分幾塊和大家分享一下,我們過去一年裡,如果看過去年本站元宇宙大會的分享,一年之後英偉達做了哪些事情,和大家彙報一下。第二部分,我會重點提3D的標準和AIGC,AIGC是大家熱聊的話題,我們在這方面儲備了一些技術也和大家分享一下。
這是我們年初我剛剛發佈的路徑追蹤算法視頻。這段視頻展示了一隻老虎在熱帶雨林裡行走的鏡頭,大概幾十秒,大家看到每一幀畫面全部都是數字化完成的。這裡一共有31億個三角面,在這個過程中進行渲染。過程中,我們做了30億次光線追蹤、反射、折射。這隻老虎身上有350萬根毛髮,這樣的製作通過算法優化之後,可以穩定在左上角30fps幀數上,單塊GPU就可以完成。背後是來自於我們對於算法優化的迭代,這是我們過去一年做的事情。
去年,我也和大家分享過我們AIGC的工具Audio2Face,也是在Omniverse平臺上。今天我帶來一個升級版,以前的Audio2Face顧名思義,我們和本站這方面合作也很多,今天分享一個Audio2Emotion,語音輸入,驅動面部表情。現在可以看到AI進化到什麼程度,大家看看這個視頻。這是數字人,仍然是輸入一段臺詞,已經識別到這個臺詞是看不到東西的一張臉,同時眼睛的情緒,所有情緒都通過這個算法完成。還有一些很搞笑的對話,這一類數據在去年的時間裡和大家分享的時候,我是沒有想象到,對於技術的探索在過去一些年裡我們的AIGC生成的內容進化是非常快的。
今天主要和大家分享兩塊我們的一些想法和思路,一個是對於3D標準的探索。大家都知道不管是創建數字世界也好,還是做Metaverse世界也好,我們離不開大家一起共建,這裡需要一些標準。比如今天我提到採用開源的全球標準USD,另外是分享一下我們在AIGC的探索。
首先看一下USD,通用場景描述。我們展示這樣一個例子,如果大家想要創建類似這張圖片的城市,大家都聽說過BIM或者CIM這樣的概念,做這樣的項目時我們的設計師會用很多工具,非常知名偉大產品都在這上面,但它又隸屬於不同公司,它的3D標準不一樣。
我們看到一些問題,如果我們的標準沒有統一,相對於每個人之間語言是不同的,隔了一堵牆。現在想要解決這個事情,就需要把每個設計環節打通,形成一個閉環。可以看到從概念的設計到計算,到仿真,到最後經驗積累要形成一個閉環。閉環形成前提就需要一個標準,所以USD和OMNIVERSE作爲結合就可以解決這件事情,不管用什麼樣不同的軟件,都可以通過這樣的標準交互同一個項目,通過OMNIVERSE強大的計算平臺,這是我們想實現的。
最終達到的目的,我們通過USD技術連接不同地方、不同時區、不同職能部門的設計師,工程師,藝術家們,大家可以共建這個項目。這是我們今天分享的第一個,需要一個標準。同樣的標準不單單是描述標準,還有交互、傳遞,像3D的GLTF,更多投資在這方面的研發中,不久的將來我們會在工業界推出一些新的內容,旨在打通孤島。
這是我們和用戶合作的,創建了火星表面的項目,不同工具有非常知名的軟件,在不同的軟件界面下實時操作一些系統,可以看到在概念設計的細節,在添加材質的過程中可以看到右側實時渲染效果,這就是USD帶來的顛覆性變革,希望未來大家會更多使用它。
第二部分和大家同步的是在AIGC上一些探索,給大家展示一下我們在過去一年裡全球發佈的工具。
這是我摘取的一些內容,去年我們在AIGC整個市場創造的價值大概80多億美金,我們看到成長的倍速是非常快的,到2028年達到630億美金。同樣我們在亞太區也一樣,年複合增長率在35%以上,這些數據已經告訴大家實際上是未來非常大的市場。它能帶來什麼:首先它可以創造新的產品和服務、改變新的營銷模式、最終還會幫助我們企業決策者提供參考的依據,這個工作非常有意義。
這個工具叫Get3D,這個過程完全是通過輸入照片,圖片,就可以生成這些3D的模型,這樣的算法叫Get3D,這是幾個月之前我們研究院發佈的,相信給美術、藝術師、設計團隊提供很好的工具。二是Magic3D,它是用文本生成3D模型的。過去圈內公司也都做了很多工作,Magic3D可以達到通過一段文字,實時生成,可以看一下它的內容。這裡也做了很多優化,比如輸入一段文字怎麼生成3D模型。雖然現在還不夠快,我們再過一兩年,它的進展速度是值得讓大家期待的。大家可以看到一個月前,我們發佈的3D match模型都是有顛覆性和變革性的,通過一些文字生成的3D模型。
Stable-Diffusion,我們已經做入Omniverse裡,大家看到右側的圖可以通過輸入一段文字,生成一些你想要的圖片,同時導入到Omniverse中,得到完全逼真可視化的作品。
這裡給大家展示一下藝術家通過這個功能能做到什麼,或者能改變什麼。這裡就是界面,如果你想要設計室內裝修效果圖,我們輸入一段文字,大家可以在裡面通過深度學習方式檢索到對應文字的所有數字資產。我們在右側可以佈置好所有一系列的,像花瓶,你怎麼樣佈置,我們展示實時的通過AI工具來佈置空間的視頻。
最後,展示一下這段視頻,也是我覺得很震撼:今年幾個月前有一條新聞,科學家在研究月球形成的過程,大家看這段視頻。這段視頻通過計算機圖形學的方式,展示了當時月球形成的過程。大家看這裡數據量之大,你不可想象的。它的過程是這樣的,當年有一個很大的碰撞,到了地球。碰撞之後,碰撞的物體裂成了兩塊,一塊變成很大的一塊,因爲地球引力吸進去了。另外一小塊被甩出來了,那一小塊就是月球,所以我們整個用這種方式來做了一下整個過程的展示,非常震撼的。
我覺得一個宏觀角度是在天文學角度,很多未解之秘沒有探索,這個有4000塊GPU復現了這個過程。用這個例子告訴大家,我們很多技術演變顛覆還遠沒有到達我們想象的結果。
契合我們的主題,技術裂變讓我們很多事情變得觸手可及,同樣需要在這個過程不斷修煉我們自己的產品也好,我們自己也好,包括疫情之下大家保持健康,我們怎麼樣在接下來時間裡發揮企業自己個人的勤奮和努力。非常榮幸,而且非常感恩我們生活在這個時代,大家可以在這個時間裡充分的貢獻自己的力量。
這是我今天的分享,謝謝大家!