AI智能體引擎加持：天璣9400讓「完全體」AI手機提前問世
機器之心報道作者：澤南AI 手機的形態，再次進化了。
已經快「捲到頭」的手機芯片，終於迎來了一次能力突破。
今年刷爆整個科技圈的 AI 視頻生成，不打招呼就落地到了手機上。
[frs.tejero.net）
很多大廠還在邀請測試中的 AI 短視頻生成能力，現在用手機算力就可以本地搞定了。
大模型的訓練，現在也可以在端側完成：勾選手機相冊裡的幾十張照片，我們就可以構建出個性化 LoRA 模型，然後生成獨有的數字分身。
[frs.deandv.com）
端側的 AI 訓練能力不僅可以保護數據隱私，還可以花式提升拍照技術。
比如這個生成式 AI 修圖功能，通過訓練已有的照片就能自動修正新照片中的模糊、暗光等問題。以後拍照時再也不用擔心抓不住經典瞬間了。
joke.teaopu.com
相比之下更加「基礎」的能力，如多模態大模型的推理，也可以在手機端側進行：
jaw.baiyaotong.com
無論是拍數學題讓 AI 解題，還是看一張外文菜單讓 AI 幫忙點菜，都是幾秒鐘就能辦到的事。這一系列技術的驅動力，都來自聯發科上個星期推出的新一代旗艦 5G 智慧體 AI 芯片天璣 9400。
[wera.trecelabs.com）
發佈沒多久，它就成爲了 2024 年旗艦手機芯片的標杆，而且隨着 vivo X200 系列手機的上市，馬上就會與我們見面。
在這塊芯片的幫助下，手機的 AI 算力獲得了大幅提升，前沿大模型算法獲得了來自底層的優化，無數 App 之間的壁壘也被打通。
而衆多手機的用戶，即將見證一場人機交互體驗的變革。
AI 算力暴增，全面承載 AI 應用生態天璣 9400 被稱作是 AI 時代的新里程碑，它是一塊專門爲 AI 時代打造的芯片。
首先，天璣 9400 在算力和能效上都達到了新的高度：在 AI 領域權威的評測基準 AI Benchmark 最新榜單中，它以 6773 分的成績名列第一，是上一代分數的 1.4 倍。
joke.fanzhuo8.com
這並不是一個極限狀態下的參考值，而是可以落地到實際體驗層面上的性能提升。因爲新制程和新架構的加持，天璣 9400 在進行 AI 計算任務時的平均功耗還降低了 35%。
說到實用程度，天璣 9400 帶來了一大串業內第一，其中包括但不限於：
首發天璣 AI 智能體化引擎；端側高畫質視頻生成能力 —— 可實現本地的微電影創作；支持端側 AI 訓練 —— 可實現本地 LoRA 訓練；業界首發支持端側混合專家模型（MoE），全面實現端側 NPU 上運算；獨特的 backpropagation 算子硬件訓練加速；獨特的時域張量 (Temporal Tensor) 硬件指令加速。
james.miyabiiro.com
面向生成式 AI 時代，天璣 9400 不僅着重提升了 AI 算力，也針對大量軟件、算法進行了優化。它帶來了更強的 AI 性能、多模態、高速 Token 輸出，可以實現端側大模型的隱私訓練。
它採用的聯發科第八代 NPU 890，率先支持了端側 LoRA 訓練和端側高畫質視頻生成，AI 性能和能效得到顯著提升。相較於上一代產品，天璣 9400 的大語言模型（LLM）提示詞處理能力提升了 80%，爲大量新一代 AI 應用打好了計算底座。
通過基礎算力的提升，手機的原生 App 可以實現大模型與應用的分離管控，結合端側大模型的 RAG + LoRA，讓雲端的 AI 助手變成了本地智能助手。另一方面，通過定義標準的接口，手機上互相獨立的智能應用實現了雙向交流，我們第一次擁有了一體化的智能體驗。
AI 解決方案的碎片化，可能是未來一段時間內各家手機廠商面臨的挑戰。天璣 9400 與很多科技公司、AI 創業公司進行了深度合作，包括阿里雲、百川智能、Google、面壁智能、Meta、微軟、零一萬物、騰訊混元、百度文心等，實現了對主流大模型的大面積優化。
jk.mingliu18.com
9 月 26 日，在 Meta 發佈開源大模型標杆 Llama3.2 的同時，聯發科也正式宣佈與 Meta 合作完成了新模型 1B、3B、11B 等版本的端側部署。通過上到應用廠商，下到硬件架構的全鏈路優化，搭載天璣 9400 的智能手機就能夠在本地運行更爲複雜的大模型，承載起前所未有的豐富應用生態。
AI 智能體的「iPhone 時刻」在天璣 9400 的一系列新能力中，業界首款「AI 智能體化引擎」最爲引人關注，它能夠支持端側的智能體級硬件加速。
我們知道，面對日益增長的 AI 算力需求，近年來很多芯片廠商陸續提出了針對卷積、Transformer 架構的硬件優化。而這一次，聯發科直接把優化提升到了智能體的層面。
[wera.zspcb.net）
究其原因，在技術爆發的背景下，AI 智能體已是大模型應用不得不走的方向。
「AI 智能體」可以定義爲：一個被賦予行動能力的 LLM，可在環境中對如何執行任務做出高層次的決策。
通過對工作流程的自動化、增強決策能力和提供個性化體驗，智能體技術就像一個倍增器，大幅增強了大模型的應用範圍和能力。
首先，面對複雜的任務，智能體可以進行規劃：它將大型任務分解爲若干更小、易處理的子目標，每個子任務由一個更小、更專業的工具處理，從而高效處理複雜的任務。智能體可以進行反思和完善，對過去的行爲展開自我批評和自我反思，從錯誤中吸取教訓，並針對未來的步驟進行完善，提高最終結果的質量。
其次，智能體提升了大模型的記憶能力：在大模型的工作過程中，大部分上下文學習都是利用模型的短期記憶來進行的。智能體利用外部向量存儲和快速檢索等機制，提供了長時間保留和回憶「無限」信息的能力。
最後是工具的使用：智能體可以學會調用外部 API ，利用多種工具來獲取額外能力，包括當前信息、代碼執行能力、對專有信息源的訪問等。
joke.cy100.org
AI 智能體系統概覽。圖片來自：https://lilianweng.github.io/posts/2023-06-23-agent/簡單來說，利用智能體，小模型可以實現大模型才能完成的任務，大模型可以嘗試以前無法想象的任務。通過智能體的方式，大模型技術可以獲得更好的普及應用， 讓 AI 表現出我們真正期待的樣子。
比如前不久，來自 FutureHouse、羅切斯特大學等機構嘗試構建的科研智能體 PaperQA2，它在檢索和總結任務上的表現已經超過了人類博士後。
除了一系列研究論文，很多科技公司正在涉足 AI 智能體領域。然而，在見證了許多 AI 智能體的嘗試之後，我們會發現它們距離實用化似乎仍爲時過早。
比如在手機上，雖然智能體在使用工具、工具調用的方面很有潛力，但仍然面臨着速度較慢、成本高、以及應用間接口不統一，調用難等問題。天璣 9400 的 天璣 AI 智能體化引擎，率先開啓了 AI 智能體產品化的競賽。
聯發科正在積極與開發者合作，爲 AI 智能體、第三方應用程序和各種大模型提供統一的標準接口，實現 AI 跨應用的快速互聯，提升端側 AI 計算的體驗。
讓 AI 手機學會自主思考當前，AI 前沿算法的更新速度幾乎以天計，人們對於大模型應用的能力需求已經逐漸上升到多模態、多任務、多領域的層級上。
在人們的設想中，人與手機之間的溝通會覆蓋語音、文字、圖片等多模態內容。AI 手機可以清晰地理解你的意圖，也可以根據你的位置、喜好、環境等制定出可用計劃，進而自動幫你完成各類任務。相比過去簡單的 AI 語音助手，有智慧的 AI 可以對話交流，進行決策，進而變得更加「主動」。新的範式下，智能手機需要展現出三種關鍵能力：自主化理解需求、自動推理策略以及自動完成任務。
在手機上，一端是大模型這樣的新技術，另一端是無數我們現在每天在用的 App。聯發科指出，在手機端側 AI 能力升級後，很多傳統應用都會變得更加智能化。
天璣 9400 在發佈時就爲我們演示了一系列應用在「智能體化」後的新玩法。
在新一代手機上，點餐應用會記得你的個人喜好，並感知環境給出有用的建議；出行 App 可以跨應用獲得行程規劃，自動根據你的習慣預定酒店；購物App 也可以根據特定複雜的需求，快速挑選出合適的潮品……
[frs.bhaban.com）
這樣複雜的操作，很大程度上是通過把用戶需要完成的任務切分成多個步驟，通過智能體 AI 來一步步實現的。而且只有手機充分利用起端側 AI 的處理能力，在日常不間斷的交流不斷加深對使用者的理解，AI 才能給出有用的建議。
因此我們會發現：天璣 9400 實現的端側 AI 算力和賦能應用智能體級的優化，大幅提升了手機智能化的上限，也是 AI 手機進化的必要條件。只有做到了這一步，手機纔算是由「智能」進步到了「智慧」的層面，改變了人機溝通的方式。
這不由得讓我們想到了蘋果在今年 6 月發佈 Apple intelligence 時展示的願景：生成式 AI 的應用，必須強大、直觀、完[asc.ebarc.net）全整合、個性化且保護隱私。
[bfy.eky1.com）
作爲目前唯一一家從芯[sht.miinome.com）片層面上打通 App 之間 AI 能力壁壘的廠商，聯發科提前兌現了我們對 AI 手[fter.1n1f.com）機的期待。
結語種種跡象表明，生成式 AI 的應用已經到了新的節點。
上個月 O[mag.3ddawn.com）penAI 發佈的新一代大模型 o1，爲我們打開了未來的想象空間。
現在，AI[tank.02vs01.com） 終於擁有了足夠強大的思維能力。OpenAI CEO 山姆・奧特曼發表長文，對智能[fter.8kxl.com）時代提出了設想：「我們將擁有解決困難問題的工具，與 AI的合作可以大幅提升工作效率。[sht.v0dk.com）最終，每個人都會擁有一個由不同領域虛擬專家組成的個人 + AI 的團隊。」
[tmy.jxshende.com）jaw.jasqfhfh.com
圖片來自：https://ia.samal[tank.danicol.com）tman.com/ OpenAI 代表着技術革新的一面，它推崇的思維鏈和強化[sht.xyjzfwgs.com）學習正在開拓大模型的前沿方向，或許在幾千天之後，我們就會見證「超級智能」的誕[tank.kaseban.com）生。而在人們每天都在使用的智能手機上，革新也已顯現。
天璣 9400 通過一系列技術[van.p-sk.com）突破，在芯片端側 已經具備了完整的生成式 AI 能力，正在幫助 AI 手機走向[tank.arunek.com）智能體化。
不得不說，在計算攝影、摺疊屏等方向以外，我們終於看到在手機、芯片和應[tmy.expopz.com）用廠商的不懈努力下，生成式 AI 構建 AI 智能體成爲了新的發展方向，也從底[pen.ipcf-az.com）層革新了智能手機的用戶體驗。未來的智能手機，還可以幫助我們做到更多。
[asc.xianghua-sh.com）天璣 9400 將首發搭載於 vivo X200 系列手機上。在這之後，OPPO[fter.qtfun.com）、小米等各家廠商的產品也會接踵而至。
有趣的是，在聯發科的發佈會上，核心合作廠商[tmy.fikrin.net）米 OV 的高管們輪流上臺，都宣稱自己是天璣調校最好的那一家。這一次，哪家會率先在 AI 智能體上展現出真本事？