英偉達引爆AI PC革命，RTX給1億打工人送算力！40系卡秒生百張圖，「黑神話：悟空」畫質爆表玩家顫抖
新智元報道
編輯：編輯部
【新智元導讀】如今炙手可熱的AI PC之戰，英偉達也下場了！RTX GPU給1億打工人加持的算力，已經破了紀錄，生圖、視頻、會議、直播，統統被RTX AI史詩級升級；《黑神話：悟空》《永劫無間》的玩家，更是雙廚狂喜！
昨天深夜，英偉達CEO黃仁勳甩出能訓萬億參數大模型的新核彈B200，直接打破了摩爾定律。
同時推出的AI推理微服務NIM，號稱能讓全世界用上AI。
與此同時，英偉達又爲1億RTX PC用戶和開發者，更新了AI應用和工具，直接要讓我們快進到AI PC時代：
一臺筆記本，Instant ID 15秒就能做出一張影樓級質量的肖像照；
一張RTX 4090D，Stable Diffusion更是達到了8張圖/秒的生成速度；
Sora大火之餘，英偉達已經在和剪映，共同探索生成式AI在視頻製作上的落地；
國產遊戲之光《黑神話：悟空》，在全景光追和DLSS 3.5的加持下，畫面已經得到了史詩級提升。
準備好，一場RTX AI PC的革命之火，已經被引爆。
RTX AI PC革命來襲！
早在2018年，英偉達就已經在探索AI PC的雛形了。
當時，隨着RTX技術和首款專爲AI打造的消費級GPU（GeForce RTX）的推出，英偉達加速了向AI計算的轉變。
在RTX GPU上，這些專用的AI加速器，也就是我們熟知的Tensor Core。
即使運行要求極爲嚴苛的工作和娛樂應用，它都能顯著加速AI性能，還能讓PC用戶用上在雲端才能運行的新功能。
從軟硬件到生態加速，英偉達正憑藉實力，有力地證明了這一點：RTX就是AI PC的核心。
硬件方面，新一代GeForce RTX GPU提供的算力，不僅從200 AI TOPS到1300 AI TOPS全覆蓋，還提供了筆記本、臺式電腦的多樣選擇。（TOPS即teraops，萬億次運算/秒）
相較之下，沒有獨立GPU的AI PC，算力僅爲10到45 TOPS。
軟件層面，從2018年到現在，全球搭載英偉達RTX GPU的PC已經有超1億的用戶。
如今，它所加持的領域，已經覆蓋了AI繪畫、平面設計、視頻編輯/體驗、3D創作，到AI遊戲、遊戲開發，再到AI應用開發、文檔助手等等。
地表最快Stable Diffusion
有了RTX AI，創作者可以專注於創意本身，無需在等待系統加載，乏味的重複性工作上浪費時間。
只用一張RTX 4090D，Stable Diffusion就能在每秒內生成8張圖片，迅速讓創意成爲現實。
NVIDIA TensorRT的引入，徹底改變了遊戲規則。
通過8位量化成爲當前SD最快的加速方法，最快可達120 imgs/s。（StreamDiffusion）
開啓TRT之後，1分鐘的視頻生成比以往快了足足30秒，效率提升了40%。
以及當前已經支持支持SD 1.5 & 2.1、SDXL、SDXL Turbo、LCM以及Stable Video Diffusion等模型的加速。
另外，CUDA還提供了對LoRA、ControlNet、微調、AnimateDiff、InstantID等模型支持
圖像編輯
想要一張質量不錯的肖像照，但只能用電腦攝像頭拍一張很糊的照片，怎麼辦？
答案非常簡單：只需上網找一張自己想要的「模板」，再用Instant ID把它和自己的人臉融合在一起，就能得到一張質量不錯的照片了，甚至在影樓還不一定拍出這樣的效果。
而這一整套工作流，在一臺RTX 4090筆記本上就能完成。
這，就是真正的生產力，真正面向專業用戶的AI PC應用。
另外，修圖師還可以通過Photoshop快速實現對圖片各種細節的處理和編輯。
視頻製作
視頻剪輯工作者可以更輕鬆使用AI加持在深度圖生成、表面追蹤、風格轉換等工作流中的高級效果。
就拿轉描（突出顯示圖中某個元素）來說，如果要靠人工完成，就需要逐幀選出下圖中的「頭戴式耳機」，這無疑會消耗大量時間。
藉助AI，只需選擇耳機就可以創建蒙版，再讓AI具體裁剪出確切的形狀，並且可以跨越不同幀進行追蹤。
與30系相比，RTX 40系顯卡，直接將這一性能提升了70%。
另外，RTX 40系擁有第八代NVENC AV1編碼器，滿足了不同工作者對導出視頻格式的需求。
英偉達還在和國內深受用戶喜愛的剪輯軟件剪映專業版，共同探索推進生成式AI在PC端的落地。
目前，已通過TensorRT推動剪映AI藝術字功能上線，並正在通過RTX AI平臺加速生成式AI在剪映產品功能中的應用。
AI 3D創作
3D創作者通過UE等AI工具，加速3D創作渲染。
生成式3D材質，也可以用RTX AI來加速。
視頻會議/直播
在視頻會議/直播中，RTX AI還能做到多項流媒體質量的優化。
比如，這個全新上線的目光接觸功能，可以輕鬆矯正人物的眼神方向。
別看現在鏡頭裡的人正在看腳本，目光接觸功能一開，他的目光就會立馬看向鏡頭了！
此外，還有虛擬背景、虛光濾鏡、噪音消除等多項功能。
遊戲開發
毋庸置疑，RTX AI更是強化遊戲體驗的利器。
遊戲開發者們可以利用生成式AI創建自己的遊戲MOD、重製遊戲助手、自動捕獲遊戲場景。
可以在NVIDIA Ominiverse中，通過生成式AI重製物體材質。
AI增強的光追技術，能夠讓遊戲環境更加真實。
更重要的是，開發者們可以爲遊戲製作支持實時光追、DLSS 3/DLSS 3.5的RTX重製版。
這不，一些玩家、開發者、創意者們，已經開始用上RTX AI了。
DLSS 3.5：遊戲體驗史詩級提升
剛剛開幕的英偉達遊戲開發者大會，簡直讓玩家們激動到把拳頭捏爆。
包括多款 RTX 遊戲的最新消息：《黑神話：悟空》，《永劫無間》，《星球大戰™：亡命之徒》，《暗黑破壞神IV》，光聽名字，就讓人想起立致敬。
特別值得一提的是：在今年的GDC上，英偉達宣佈，支持DLSS 3.5的遊戲陣營進一步擴大！
國產遊戲之光、質量和流量的扛鼎之作——《黑神話：悟空》，就將支持全景光線追蹤和DLSS 3.5。
雖然還未正式推出，但這兩年江湖上一直有它的傳說，衆多玩家都在翹首以盼。
果然，玩家們果然沒有白等——在光追和DLSS 3.5的加持之下，無論是場景，光影，還是畫面細節，體驗都全部刷新！
如今，《黑神話：悟空》的B站預告片觀看數已破228萬，網友紛紛追問：這真是實機畫面，不是渲染的？
想象一下這個畫面：打開搭載 GeForce RTX 顯卡的PC，開啓支持光線重建技術的NVIDIA DLSS 3.5 和全景光線追蹤，接下來，就是一場視覺盛宴。
爲什麼通過DLSS 3.5呈現的畫面如此激動人心？
原因在於，它包含了英偉達全新的DLSS光線重建技術（Ray Reconstruction），利用全新統一的AI模型，取代了多個人工設計的光線追蹤降噪器。
因此，光線追蹤效果和全景光線追蹤的圖像質量，再次得到了史詩級提升。
而在《黑神話：悟空》中開啓全景光追後，我們就可以更加沉浸式地體驗史詩級的遊戲場景。
可以看到，水面上可以反射出周圍所有場景的細節。
水的散焦效果，進一步增加了場景的真實感，光的折射和反射效果，都被渲染得更好。
全景光追的全局光照，也讓室內外的光照效果更加完美，即使是因被遮擋而無法照亮的較暗區域，也會通過反射光被照亮。
在光照系統的配合之下，無論是接觸處的硬化陰影，還是光追帶來的柔化陰影，都可以輕鬆投射到各處。
小到葉片和卵石上每一處最小的陰影，大到主角、巨大的怪獸、擁有精緻外表的建築，全部被細緻入微地刻畫了出來。
下面是一波高清大圖，請欣賞：
此外，率先將支持DLSS 3.5的，還有在國內外遊戲社區中人氣超高的國產多人動作競技端遊《永劫無間》。
《永劫無間》會在PVP和PVE模式下的三個地圖中，添加全景光線追蹤，之後也將在更多地圖中陸續支持全景光線追蹤。
更豐富細緻的全景光線追蹤效果，可以讓全局光照、反射、環境光遮蔽和陰影得到全面優化，而DLSS 3.5的光線重建技術，會讓這些效果進一步增強。
具體來說，DLSS 3.5通過將人工降噪器替換爲英偉達超級計算機訓練的AI網絡（在採樣光線之間生成更高質量的像素），提升了GeForce RTX GPU光線追蹤圖像的質量。
同時，DLSS 3.5 AI網絡的訓練數據量也是DLSS 3的5倍，可識別不同的光線追蹤效果，從而可使用時間和空間數據做出更明智的決策，並保留高頻信息以實現更高質量的圖像效果。
此外，光線重建還會從訓練數據中識別光照模式，例如全局光照或環境光遮蔽等，並在遊戲中重新創建。其最終效果比需要人工設計的降噪器更出色。
而DLSS 3.5除了能夠讓新遊戲帶來更好的性能表現和畫面效果外，還能讓用新技術復刻的老遊戲重新煥發光彩。
《傳送門》RTX版是首款採用NVIDIA RTX Remix打造的遊戲，這是一種變革性的Mod工具，可幫助Mod玩家升級和重製經典遊戲。
現在，《傳送門》RTX版也將支持NVIDIA DLSS 3.5，利用AI驅動的光線重建(Ray Reconstruction)技術，提高全景光線追蹤的保真度和全局動態照明效果的響應速度。
在DLSS 3.5加持之下，GeForce RTX 4090的幀率可提升至原來的6.2倍，GeForce RTX 4080 SUPER的幀率可提升至原來的6.7倍，遊戲速度分別能達到100 FPS和70 FPS。
除了這些新鮮出爐的遊戲大作之外，目前已有超500款遊戲和應用支持NVIDIA RTX技術，未來還會有更多大作加入。
比如《星球大戰™：亡命之徒》：
《戰國王朝》：
在封建日本的動盪時期，玩家可以建立併成爲自己王朝的主宰
《暗黑破壞神IV》：已經支持DLSS 3，將於3月26日支持光線追蹤。
ACE：AI NPC「活了」
除此之外，英偉達還利用「世界級數字人技術」讓那些遊戲NPC們活了！
同時，還爲商業應用創建了栩栩如生的數字化身。
其中就包括，用於語音和動畫的NVIDIA ACE、用於語言功能的NeMo，以及RTX渲染技術。
這些技術都將成爲開發者創建，AI驅動的自然語言交互的數字人的基石。
去年GTC大會上，老黃髮佈會上直接與遊戲NPC實時對話，網友表示這簡直顛覆了整個遊戲行業。
這一次，英偉達直接帶來了更多行業裡的應用。
在GDC 2024上，英偉達與InWorld聯手呈現了全新的技術Demo——Covert Protocol。
有了Covert Protocol，每個玩家的體驗都是獨一無二的。
因爲NPC可以在遊戲世界中感知周圍世界，做出決策和行動，突破了遊戲中角色互動的侷限。
這裡，你扮演的是一名私家偵探，將根據與場景中人物的對話結果完成目標。
它們可以學習和適應，表現也會存在細微差別，有時還會自主發起行動。
針對同一場景，NPC有着豐富的語言表達能力。
具體來說，InWorld引擎集成了NVIDIA Riva自動語音識別技術，可實現精確的語音轉換文字。
同時NVIDIA Audio2Face提供逼真的面部表情，增強了動畫效果。
而在InWorld端，開發人員可以針對每個特定的NPC調整各種參數：個性、知識和認知、目標、場景、安全性、長期記憶。
InWorld引擎可以讓遊戲開發人員，添加更多響應玩家的行爲「多模態AI智能體敘事」。
它將認知、感知和行爲系統集成在一起，在精心製作的環境中呈現令人驚歎的RTX渲染角色，以實現身臨其境的敘事效果。
另一家遊戲巨頭育碧也開始利用Inworld和NVIDIA ACE技術，來探索數字人在遊戲中可能性。
最具代表性的項目是NEO NPC——讓遊戲NPC可以自由即興對話。
Inworld的角色引擎和LLM技術，使育碧的敘事團隊能爲每個NPC建立完整的背景、知識庫和對話風格，而NVIDIA ACE技術套件中的NVIDIA Audio2Face則用於實現實時面部動畫。
育碧通過三個獨立技術Demo展示了NEO NPC的功能。
每個場景都側重於NPC行爲、環境和上下文意識的不同方面；一系列實時反應和動畫；以及連續對話、協作和戰略決策。
這些實驗發現突破了遊戲設計和沉浸感的界限。
另外，《誅仙世界》、《渾噩》也將 Audio2Face 加入了開發流程。
Audio2Face可以精準生成口型同步，讓腳本編寫人員更容易爲《誅仙世界》添加新配音內容。
在醫療行業中，數字助理可以爲世界各地的患者提供有用、及時和準確的信息。
初創公司HippocraticA創建了由NVIDIA ACE加持的醫療保健智能體，可以給患者打電話，跟進護理協調任務，提供術前指導，執行出院後管理等。
NVIDIA App：一個應用搞定一切
爲了讓玩家擁有更加流暢無縫的使用體驗，英偉達還推出了全新的NVIDIA app——它最大的亮點是：無需登錄即可更新驅動。
它還徹底解決了之前GeForce Experience使用體驗卡頓，在後臺資源佔用過大的問題。響應速度提升50%，磁盤佔用減少17%。
而且無論是遊戲發燒友還是內容創作者，NVIDIA app都能讓用戶更輕鬆及時地更新到最新的驅動，讓用戶快速找到和安裝NVIDIA Broadcast和NVIDIA Omniverse等最新應用。
GPU「大一統」控制中心：最優遊戲設置 + 驅動配置。
NVIDIA app將GeForce Experience的遊戲設定優化功能與NVIDIA控制面板的3D設置整合到一個統一的界面中。
玩家能在一個集中的應用中查看修改各種優化選項，同時調整驅動程序設置。
玩家可以針對遊戲和應用自定義控制中心選項，也可以對所有遊戲和應用使用全局配置文件。
全新升級的驅動面板：快速查看概要，獲取最新驅動信息。
在「驅動程序」頁面中，玩家可以快速瞭解每次驅動更新的重點內容。
如果玩家想要查看具體的更新或者是修復細節，也能方便的獲取到全部的細節信息。
全新的遊戲覆蓋界面：實時統計數據顯示，支持120 FPS ShadowPlay錄製。
NVIDIA app還重新設計了遊戲中的浮窗，玩家依然可以方便地使用「Alt+Z」快速調出Shadowplay錄製工具、Freestyle 遊戲濾鏡、NVIDIA Highlights、照片模式和性能監控工具。
重新設計的統計信息浮窗，增強了性能監控功能。
玩家可以通過多種選項自定義性能浮窗在遊戲期間的顯示方式，最大限度地減少HUD佔用的空間。
全新的AI圖像濾鏡：支持RTX HDR和RTX數字自然飽和度。
藉助NVIDIA Freestyle，玩家可以利用實時後處理濾鏡爲自己喜愛的遊戲打造個性化的視覺效果。
由玩家喜愛的Digital Vibrance（數字自然飽和度）功能改進而來的RTX Dynamic Vibrance（RTX數字自然飽和度）可針對每個應用增強視覺清晰度，讓玩家能夠靈活、方便地調整每個遊戲的視覺設置。
它不僅能在屏幕上呈現更多顏色，而且可以在不同的顏色之間實現完美平衡，最大限度地避免顏色崩壞，保證圖像質量和沉浸感。
而RTX HDR是一款新的AI增強Freestyle濾鏡，可以將高動態範圍 (HDR) 的豔麗視覺效果無縫引入到原本不支持HDR的遊戲中。
藉助RTX HDR濾鏡，現在玩家可以利用兼容HDR的顯示器暢玩DX12、DX11、DX9和Vulkan平臺上運行的大量遊戲。
NVIDIA app還能讓用戶方便探索英偉達的各類前沿應用：包括NVIDIA ICAT、NVIDIA Omniverse等。
ChatRTX：專屬大模型，本地就能跑，還免費開源
英偉達在前段時間也上線了自己第一款支持本地運行的大模型技術demo——Chat with RTX。
Chat with RTX（簡稱ChatRTX），使用檢索增強生成、NVIDIA TensorRT-LLM軟件和NVIDIA RTX加速，將本地生成式AI功能引入到支持RTX的Windows系統中。
用戶可快速、輕鬆地將本地文件作爲數據集連接到開源大語言模型，快速查詢與上下文相關的答案。
想要運行Chat with RTX的要求也非常簡單，用戶在搭載 NVIDIA GeForce RTX 30 系列或更高版本的 GPU（至少 8GB 顯存）進行本地部署，打造個人專屬聊天機器人。
目前，Chat with RTX已經可以支持Mistral、Llama2等多款開源模型。
但很快，Chat with RTX將增加對語音、圖像和新模型的支持。
RTX AI工具：全面加持開發者
LLM巨大的參數規模，讓「部署和推理」的難度和成本一直居高不下。
爲此，英偉達推出了一款專門用於提升AI推理性能的開源軟件——TensorRT-LLM。
TensorRT-LLM將TensorRT的深度學習編譯器、FasterTransformer的優化內核、預處理和後處理以及多 GPU/多節點通信，封裝在一個簡單的開源Python API中。
開發者不需要深入的C++或CUDA專業知識，就能夠部署、運行、調試各種大語言模型，還能獲得頂尖性能表現，以及快速定製化的功能。
對於RTX PC和工作站用戶來說，藉助英偉達定製的TensorRT-LLM for Windows，可以讓模型的推理性能最高提升5倍之多。
這些大語言模型的版本將能夠在任何配有8GB及以上顯存的GeForce RTX 30系和40系GPU上運行。
這意味着即便是最輕便的Windows設備，也能快速、準確地實現本地大語言模型處理能力。
除了成本居高不下外，定製和維護生成式AI項目也需要大量的時間和精力，尤其是在嘗試跨多個環境和平臺進行協作和部署時。
針對這一問題，英偉達提出了一站式解決方案——AI Workbench。
基於此，開發者可以輕鬆地在PC或工作站上快速創建、測試和定製預訓練的生成式AI模型和大語言模型。
2024年伊始，AI PC一躍成爲了消費級市場的兵家必爭之地。
就在各芯片廠商和PC品牌商發力之際，英偉達憑藉多年佈局，早已不知不覺地走在了AI PC前列。
英偉達掀起的這場RTX AI PC革命，必將席捲我們這一代人的工作和娛樂，改變一切。