沈昌祥院士：構建安全可信的人工智能需在三方面發力

由中國企業改革與發展研究會、本站財經、本站財經智庫聯合主辦的2024本站經濟學家年會·夏季論壇於7月在上海舉行，本屆論壇的主題是《智造聚力 質煥新生》。

中國工程院院士沈昌祥在會上表示，我國提出要發展新質生產力，尤其要聚焦產業和產業鏈，改造提升傳統產業、培育壯大新興產業、佈局未來產業、完善現代化產業體系，而人工智能對我們整個產業來說，不僅是支柱，而且是很大的驅動力。

他表示，我們要提高產業鏈、供應鏈韌性和安全水平，保證產業體系自主可控、安全可靠，這是非常重要的。黨的二十大指出，“要加快建設網絡強國、數字中國”，沒有網絡安全就沒有國家安全，安全是發展的前提。

我國《網絡安全法》第16條提出，“國務院和省、自治區、人民政府應當統籌規劃，加大投入，扶持重點網絡安全技術產業和項目，支持網絡安全技術的研究開發和應用，推廣安全可信的網絡產品和服務，保護網絡技術知識產權。”我國《國家網絡空間安全戰略》提出，“堅持創新驅動發展，積極創造有利於技術創新的政策環境，統籌資源和力量，以企業爲主體，產學研用相結合，協同攻關、以點帶面、整體推進，儘快在覈心技術上取得突破。”

在ChatGPT出來以後，新的大模型不斷涌現，大模型也在逐步擴大逐步完善，大模型參數規模越來越大。在沈昌祥院士看來，這麼大體量的數據，如何去順利保證安全運行，這是一個挑戰。“爲什麼人工智能的安全問題被放大了呢？關鍵是大模型繼承了深度學習的模型，我們叫‘黑盒子’，構成了學習的閉環環節，導致決策和推理過程中難以被理解，因此也埋下了極大的風險隱患。”他解釋道。

工程院院士警告：人工智能危險性比肩核戰爭（來源：C位觀察）

此外，模型在構造過程當中還可能存在數據來源不可信的問題，如果有人故意破壞這個模型的數據，這會給人們帶來災難。沈昌祥認爲，如果智能硬件被應用於恐怖襲擊，智能化機器人殺人放火更厲害，智能化武器與軍備競賽引發了國際擔憂，機器人智能行爲一旦失控將危及人類的安全，只有在確保人工智能安全可信的前提下才能健康發展。安全可信的系統能夠提供動態的全方位保護，確保計算任務的邏輯組合不被篡改或破壞，從而實現預期的計算目標，“這相當於人體具有免疫力，確保健康。”

人工智能大模型一定要可信，那麼該如何構建安全可信的人工智能？沈昌祥認爲，應從三方面展開：第一方面，物理環境信息數據、算法模型規則與倫理要實現軟件代碼和流程都要可信可控；第二方面，計算機處理服務資源安全可信，比如傳感控制設備，通信網絡、計算能力都要安全可信；第三方面，安全可信的管理，離開法治管理是不行的，系統資源配置要滿足高強度計算，可信策略行爲一定要有準則，異常控制與審計監控不可或缺。第一，信息數據要可信；第二，設備資源要可信；第三，管理要可信。