“接管數字世界”的AI，需要適配怎樣的監管框架

南方財經全媒體記者 吳立洋 杭州報道

“生成式AI最大的想象力，絕不是在手機屏幕上做一兩個新的超級APP，而是接管數字世界，改變物理世界。”

這是阿里巴巴集團CEO吳泳銘在2024雲棲大會上發表的觀點，也展示了業界對未來人工智能應用圖景的設想：在應用範圍上，AI將涵蓋數字世界、物理世界的方方面面；在應用深度上，大模型在內容轉化與生成、輔助人類工作等現有職能外會被賦予更多主動性，以至能夠“接管、改變世界”。

這種設想一方面展現了人工智能未來的發展潛力與應用方向，另一方面也隱約帶來了技術高速發展下的安全憂慮——對於目前應用尚窄且功能有限的大模型，如何保證其內容輸出和行爲邏輯安全可控已難點重重。而一個能夠接管、改變世界的超級人工智能，必然會涉及更廣泛的社會安全與利益，如何在AI技術演進的過程中逐步完善對AI的監督、控制能力，將是在大模型廣泛應用過程中需要同步關注的重點問題。

在本屆雲棲大會同步舉辦的“數智未來，責任同行：AI倫理與安全”分論壇上，來自法學、計算機、產業、監管等多領域的專家針對AI發展的現狀和前景，展開了進一步的交流與討論。

監管應與產業發展階段相適應

就目前大模型發展過程中出現的典型問題來看，數據、算法與內容是安全威脅頻發的關鍵環節，這一方面是由於其直接與人工智能的輸入輸出環節相關聯，另一方面也直接作用於人類社會，對人們的生產生活產生影響。

從既有案例來看，無論是在B端還是C端的應用中，大模型本身的漏洞都可能引發不小的負面影響。

在數據領域，據媒體報道，三星電子在引入ChatGPT不到20天后，便被爆出機密資料外泄的意外事件，涉及半導體設備測量資料、產品良率等內容，傳已經被存入ChatGPT的數據庫中；在內容安全方面，近日國內多個品牌兒童手錶安裝的大模型應用被有毒數據污染，導致其搜索出歧視中國人內容的問題亦受到廣泛重視。

北京大學教授，法制與發展研究院執行院長王錫鋅在論壇發言中表示，由於法律等並非與技術研發直接相關的研究領域，往往難以在其發展的第一時間就對其充分了解和介入，因而在對人工智能的管理中往往存在各類過期的安全觀。

例如，歐盟在立法過程中，從GDPR到數字市場法再到近期的人工智能法案，都有很明顯的以人權爲中心的導向，但其也存在超出產業發展階段的“價值迷信”問題，容易導致產業空心化的布魯塞爾效應；再如，對於人工智能這樣不斷迭代發展的技術，法律規則的設計面臨着極高難度，要警惕在此過程中的“立法迷信”，避免法律出臺的滯後。

他進一步表示，對於前者，價值在本質上需要可落地、可實現，要考慮其技術可行性及成本；對於後者，可以在立法路徑上將“硬法”與“軟法”相結合，“硬法”緩行，“軟法”先行。總體而言，要在治理框架上統籌安全與發展。

從立法進度來看，國內的監管框架建設基本也與產業發展實際相同步。近日，國家互聯網信息辦公室發佈《人工智能生成合成內容標識辦法（徵求意見稿）》，爲AI生成內容標識提供了規範標準，主要是對當前已在社會中廣泛應用的大模型內容輸出應用進行管理。

中國信通院安全所副總工楊劍鋒在論壇發言中表示，就目前的產業實踐而言，目前主要集中於對模型內部的安全檢測，其方法也較爲成熟，但對於近期興起的多模態大模型，例如今年OpenAI推出的視頻生成模型Sora，其在不同應用場景下的測評標準和安全措施尚在起步摸索階段。

多角度切入大模型合規

在治理思路明確的同時，哪些主體、採用何種手段、以怎樣的形式切入大模型研發應用的過程，亦是各類監管標準落地面臨的實際問題。從大模型公司、行業機構和監管部門目前的實踐經驗來看，其正在各自摸索不同的方法與路徑。

浙江大學計算機學院院長、區塊鏈與數據安全全國重點實驗室常務副主任任奎在論壇發言中表示，大模型在訓練、開發、部署和維護等不同階段面臨不同的安全威脅，需要分階段分步分層次對其進行衡量與評測。

他以浙大網安在人工智能安全評測、深度合成檢測、合成內容標識三方面研發的安全技術平臺爲例，指出相關的技術平臺需要在間接信任的框架下，兼顧評測覆蓋面、評測效率、可解釋性等多個維度。

“評測並不是終極目的，關鍵是能否根據評測結果找到加固大模型的空間。”任奎表示。

而在第三方研究機構之外，作爲大模型產業開發的直接參與者，業界對技術進展中產生問題的感知要更爲敏銳，對於如何在高頻更新的項目研發和商業應用過程中，同時保證用戶的使用安全和大模型本身的安全，頭部廠商的經驗做法提供了重要的行業參考。

通義實驗室安全負責人張榮在本次論壇發言中表示，安全、可靠、可信賴、可用是通義大模型治理的基本目標。其中，安全需要多方協同共治共同參與，可靠則意味着大模型輸出的結果需要是穩定的而非脆弱的，可信則要保證大模型的決策是能夠被觀測和理解的，可用則是在上述條件被滿足後產品能夠適用於各類場景。

同時他也強調，作爲服務提供商，一方面需要積極引入國家的強制性標準，推動落地方案，另一方面也要保持與業界的廣泛溝通聯動，用模型開源等方式提升其透明度與可信度。

“廠商發佈的內容不追求所有技術小白都能看懂，但是要保證業界能夠理解我們做內審安全的方式，以及安全測試的結果，從而快速驗證某一類方法的安全性，在此基礎上加以完善。” 張榮表示。