治理之智 | 算法影響評估的三個基本問題：制度定位、機制模式與改革啓示（上篇）
摘要：
人工智能技術和應用的迭代創新正在推動算法影響評估作爲一種新的並在全球興起的技術治理制度。雖然繼承了環境影響評估、數據保護影響評估等類似制度的部分要件，但算法應用浮現出的社會嵌入性、難解釋和難窮盡、公平性悖論等新特徵，要求算法影響評估作出新的制度發展。算法影響評估的制度內涵在於平衡“開放性”和“責任性”，並最終致力於形成合作治理框架，以實現動態積累治理經驗與知識的目標。通過對歐盟、美國、英國、加拿大等主要國家或地區算法影響評估的實踐梳理，認爲列表清單、底線規制、放權賦能等三種實踐模式在體現各自特徵的同時仍然存在不足。由此啓發，算法影響評估的制度構建應圍繞“合作治理作爲制度目標、探索平衡開放性與責任性的關鍵機制、堅持‘技術-組織-社會’的系統論思維”三個維度展開，而相應的機制設計將助力算法影響評估制度的改革完善與實踐應用。
一、引言
伴隨着新一代人工智能技術的跨越式發展與普及應用，人工智能治理的重要性得到了多方共識。算法影響評估作爲治理層面的重要制度創新，也被越來越多的國家政府所採納，甚至成爲人工智能治理的基石之一。典型代表例如美國、歐盟、加拿大都在人工智能治理框架中引入了算法影響評估要求。在中國，算法影響評估已被視爲一般性治理原則而納入國家或地方出臺的多部法律規章之中。例如《互聯網信息服務算法推薦管理規定》《互聯網信息服務深度合成管理規定》《生成式人工智能服務管理暫行辦法》都明確提出了開展算法安全評估的治理要求。2024年2月，全國網絡安全標準化技術委員會發布的《生成式人工智能服務安全基本要求》（以下簡稱《安全基本要求》）更是將算法治理原則轉換成了具體可執行的評估要求。這一非強制性技術文件可被視爲我國國家層面治理機構第一次對算法影響評估提出的實質性治理意見，對於我國完善算法影響評估制度建設具有關鍵性的推動作用。同時，這也標誌着算法影響評估已繼算法備案、算法分級分類之後，成爲敏捷治理理念指引下的新一類算法治理工具與政策實踐。
儘管當前國內外政策實踐已圍繞算法影響評估展開了積極探索，提出了一系列評估要求甚至在部分領域形成了詳盡的指標體系，但算法影響評估作爲一種治理制度，其在若干關鍵問題上仍然未得到清楚解釋：爲什麼算法治理需要算法影響評估（制度定位）、算法影響評估制度設計過程中需要考慮的關鍵機制是什麼（制度內涵）、算法影響評估制度落地的實踐模式是什麼（制度表現）。對這些問題答案的探究，不僅涉及算法影響評估制度的理論解釋，同時也是對實踐困惑乃至實踐亂象的迴應。以《安全基本要求》爲例，儘管其提出了明確的評估要求，但諸如評估結果應如何與算法備案和算法分級分類治理等制度要求相銜接、評估結果究竟應作爲事前准入的監管要求還是事後追責的評判標準、自評估或第三方評估的有效性應如何界定、評估基準如何取得行業共識、監管者與被監管者之間究竟是“監督-執行”關係還是合作治理關係等問題，仍然是迫切需要回應的重要實踐挑戰。也正因爲在這些問題上的模糊理解，導致算法影響評估同樣可能演化爲“監管套利”的工具而非提升算法治理水平的“良藥”。
從相關文獻來看，圍繞算法影響評估主題的制度研究還不夠充分。已有研究大致遵循了比較制度分析的思路，或者參考環境影響評估、隱私影響評估、個人信息保護評估等類似制度，或者以國際上某些較成熟的政策實踐爲基準，對算法影響評估的國內製度建構提出一些建議。這一思路固然能夠豐富算法影響評估的制度內涵，但卻不能構建邏輯自洽的算法影響評估制度理論。一個典型問題例如，諸多研究以環境影響評估制度爲參考，認爲算法影響評估制度需要強化問責、公開，但卻忽視了源起於歐盟《通用數據保護條例》的數據保護影響評估制度卻並不要求強制公開。由此引發的制度疑惑便在於：爲什麼同爲影響評估，環境影響評估和數據保護影響評估的公開性要求不同？算法影響評估究竟應該參考環境影響評估還是數據保護影響評估？對該問題的回答無法僅從政策實踐中找答案，而需要回到算法影響評估本身的制度邏輯、制度理論中去，這也正是本文的邊際貢獻所在。
二、算法影響評估的制度定位：
算法治理的制度困境與突破
一般理解認爲，算法影響評估作爲影響評估制度在算法治理領域的延伸，其分析單位應是算法系統的設計與應用過程，而分析對象則是該過程對個體、集體或環境等各個維度的多類型影響。這一定義看似清晰，卻並沒有對根本性制度問題做出界定和回答。典型疑惑如爲什麼算法治理需要影響評估，評估目的是作爲監管懲處的依據還是服務於治理知識的累積，算法評估與算法審計等相關制度的聯繫和差別是什麼，等等。概括而言，這些疑惑事實上都圍繞着“爲什麼需要算法影響評估”這一問題而展開。下文將以算法歧視治理議題爲例，對算法治理不同於傳統技術治理議題的特殊性做出說明，進而解釋算法影響評估制度在迴應此種特殊性方面的價值。
算法歧視風險可能是人工智能技術普遍應用以來被頻繁提及的算法治理風險之一，其普遍存在於各個決策場景（例如招聘簡歷篩選、信用評分評級、公共服務審覈批准、犯罪風險評估、警力資源部署等），而這些決策場景往往都跟人們的切身利益緊密相關，尤其是與社會公平以及少數或弱勢羣體的特殊屬性緊密相關，涵蓋性別、種族、膚色、身體、收入、地域、行爲偏好等指標。一般而言，從算法作爲決策的技術功能實現邏輯和流程來看，引致算法歧視風險的原因主要可被總結爲三點：算法決策目標選擇的主觀性偏差，具體指標既定前提下的數據集採納和指標測度偏差，在指標和數據集既定前提下的模型架構採納選擇偏差。然而，理解了上述三點原因是否就意味着算法歧視治理問題就迎刃而解了呢？可能並非如此，算法歧視治理的複雜性和特殊性主要體現在以下兩個層面。
一方面，建立在過錯原則基礎上的現行反歧視法律框架，不僅要求明確權益侵害的現實，還要求明確導致權益侵害過錯的因果鏈條，而這二者在算法決策環境下都將面臨新的不確定挑戰。在傳統的非算法決策環境下，導致歧視結果的原因往往是可解釋、可重複、可預 期的；相比之下，算法決策邏輯則相反，儘管決策結果 基於概率計算的統計特徵是可預期的，但每一次決策結果並不確定，由此使得歧視結果的追蹤、確認必須建立在連續且大量的測試、記錄、統計基礎上，這也自然增加了歧視性權益侵害確認的成本和難度。同時，反歧視法律框架要求將決策者行爲與被決策對象所處社會環境相獨立，並通過比較可能的不同決策方案以判斷決策者實際行爲在影響受保護權益屬性方面是否“中立”。然而，算法決策的嵌入性與不可窮盡性使這一“中立”原則面臨新挑戰：就嵌入性而言，與非算法決策相比，算法決策與社會環境的相互影響關係更爲複雜，基於數據訓練的技術邏輯導致其很難被獨立於社會環境；就不可窮盡性而言，算法決策技術方案的多樣性使得證明某一特定決策算法的歧視性最低（或“中立性”最強）較爲困難。這也使得我們往往只能比較算法決策與非算法決策，而不能窮盡不同算法決策方案之間的結果差異，由此司法責任的界定標準也只能演化爲判斷算法決策者是否盡到了比較義務而非是否採用了“最中立”算法。
另一方面，歧視作爲一種社會建構問題，在算法普及應用的情況下將可能出現過度簡化或過度複雜化的雙重困境，而它們都不利於針對算法歧視的追責與救濟。諸多研究已揭示，歧視更多表現爲社會建構問題而非生命特徵屬性問題，即歧視性結果並非源於不同個體生命特徵屬性的差異，而是社會生產生活進程的演化結果。例如，導致黑色族裔人羣歧視性結果（或分化性結構）的根本原因是其成長、學習、工作的整個社會生產過程，而並不一定是種族或膚色等表面生命特徵。在反事實假設情況下，將白色族裔人羣置於當前黑色族裔人羣的生存環境，其可能同樣面臨類似的歧視結果。在將歧視視爲社會建構問題的視角下，算法決策普及應用帶來的複雜性在於其將陷入或者簡化、或者複雜化的“雙重悖論”：對於不是建立在機器學習基礎上的非人工智能算法而言，其要求將複雜現實抽象爲具體變量，這將極大簡化歧視作爲社會建構問題的複雜性，可能產生“緣木求魚”的治理錯位結果，即針對具體變量的歧視風險治理措施可能錯誤定位問題內涵而起不到救濟作用；與之相對，建立在海量數據學習、訓練基礎上的人工智能算法，其可能把握住了導致歧視結果的社會過程的綜合性特徵，但卻受限於“不可解釋”的技術邏輯而難以釐清因果鏈條，從而也將影響歧視問題的追責與救濟。換言之，歧視作爲社會建構問題的治理複雜性在算法決策普及的背景下才真正表現了出來。
算法歧視現象蘊含的治理挑戰並非孤例，其事實上反映了算法治理的一般特徵。第一，算法相對於環境的嵌入性將挑戰過錯原則和因果鏈條推定這兩項既有制度基礎。或者以單一變量代替現實中多重因素的綜合影響，或者基於海量數據訓練而將原本隱藏在表面現象背後的社會分化結構外化出來，算法與環境的這兩種關係都導致建立在“過錯原則”基礎上的現有侵權法或責任法框架可能失效，試圖追溯因果鏈條的基本原則在算法與環境的相互混雜中也難以被充分滿足。第二，算法技術方案難以被解釋、難以被窮盡的基本邏輯使得算法治理將始終處於動態演化過程之中，並要求敏捷性、實驗性的治理改革。實現相同功能的算法技術方案的多重可能性，以及算法優化標準可能具有多重內涵的模糊性，都使得追求“最優算法”的技術努力幻化爲“烏托邦”，任何試圖提前界定而不做調適的治理思路都難以真正迴應算法治理需求，治理與技術開發、應用伴隨而生、伴隨而變需要成爲新的主導性理念。第三，算法應用風險往往以統計意義而非具體個案形式出現的基本規律，使得算法治理不得不陷入集體效用改善與個體權益侵害同時發生的公平性悖論之中，而這一治理風險並非傳統治理框架的關注重點。算法應用的價值往往體現爲統計意義上的指標優化和福利提升，但算法本身將始終存在“漏洞”的技術特點決定了個體權益侵害現象必然發生，前述算法難解釋、難窮盡的基本邏輯又使得此種個體權益侵害不能在明確的責任因果鏈條下得到救濟，如何破解這一公平性悖論便成爲隱藏在算法治理不同案例下的共性要求。
以上三點一般性特徵揭示了算法治理所需要面臨的制度困境，即既有制度框架難以做出有效迴應的原因。在此背景下，向算法技術開發、應用過程的治理延伸必不可少，而這也意味着治理機制的重構與創新。仍然以算法歧視爲例，對該治理問題的迴應需要對下述一系列問題做出回答：算法作爲決策方式的應用要解決何種功能性問題，而衡量是否實現該功能的具體指標是什麼，爲什麼選擇該指標而非其他指標？測度該指標的具體數據集是按照何種標準選取的，其收集、維護、清洗過程是什麼，其是否體現了現實決策環境的完整性？與其他方案相比，該算法決策方案在涉及利益相關方歧視性影響方面是否“中立”，這一結論是否經過測試和驗證？不難看出，對上述問題的回答事實上構成了算法影響評估制度的基本內涵，而這也反過來說明算法影響評估作爲一種治理制度，在迴應算法治理問題、突破算法治理制度困境方面的必要性和重要性。
同時，如果考慮到信息不對稱、共同無知等因素的存在，針對上述問題的答案往往是非唯一、不確定的，甚至是算法開發者、部署應用者都難以做出準確而完整的回答。在缺少標準答案的情況下，算法影響評估的制度定位就很可能不是作爲監管懲處的依據而只能服務於治理知識的累積、治理方案的探索，這也意味着算法影響評估要求監管方、被監管方形成“合作治理關係”而非“命令-控制”結構。在此意義上，算法影響評估便與算法審計等相關制度具有了本質上的差異。從共性上講，算法影響評估和算法審計都將治理要求延伸至算法設計、應用過程之中，但二者制度定位的關鍵差別則在於：算法審計的關鍵是評估“名義值”與“實際值”的差別，即判斷算法系統的實際運行過程與既定、明確規則要求之間的差距，因此算法審計的前提是形成可供審計依循的具體規則；相比之下，算法影響評估的制度價值則在於迴應不確定性，即在多方不斷對話的持續過程中共同積累治理知識、尋找治理方案。
在明確算法影響評估制度定位的基礎上，接下來的問題就在於討論算法影響評估制度“是什麼”，而這又可進一步細分爲“應該是什麼”和“實際是什麼”這兩個層面，前者涉及算法影響評估制度建設在理論上需要考慮的關鍵機制，後者涉及算法影響評估制度在各國的當前實踐。
三、算法影響評估制度的應然內涵：
基於兩類制度的機制總結
影響評估作爲一種治理手段，已經在環境治理、數據治理等領域得到了廣泛實施，而環境影響評估、數據保護影響評估也成爲該領域的重要制度得以建立並不斷完善。
影響評估制度的理論基礎可定位爲協同治理，即其試圖將多元主體（監管者、被監管者、第三方、公衆等）納入共同的治理框架以發揮各自相對優勢。協同治理理論的關鍵問題還在於，將多方主體納入統一治理框架後，如何通過差異化的制度要求進一步建構起能夠平衡不同主體相對優勢的治理關係與結構。具體而言，這主要涉及“開放性”與“責任性”的平衡。
一方面，“開放性”要求是指監管過程需要給予被監管對象以自主決策、自主行動空間，這既包括其對如何收集、分享、處理信息的自主決策，也包括其對如何探索可行解決方案以迴應治理需求、創新治理方案的自主決策；另一方面，開放性並不意味着協同治理等同於自規制，非政府主體（私人部門）仍然需要像政府主體（公共部門）一般保持對於公衆的“責任性”，即其需要在不同程度承擔程序性（例如信息公開）或實質性（例如非歧視）的治理責任。在很多時候，開放性與責任性是相互衝突（或者此消彼長）的，並因此需要機制上的改革創新以實現二者的平衡，而這才體現出影響評估制度設計的關鍵考量。從已有文獻的討論來看，相關機制主要體現爲三種類別。
第一類是透明性機制。通過將監管信息向公衆開放以實現公開監督，從而在爲多元主體提供自主決策空間的同時也將其置於“陽光”下，避免監管俘獲並提升多元治理主體的責任性。正如對環境影響評估和數據保護影響評估的比較分析所指出的，追求絕對意義的透明並不一定有利於協同治理績效的發揮，因其可能遭到被監管對象的反對或抵制而導致“監管合作”失敗。
第二類是懲罰機制。即當一線主體“不負責任”的時候對其施加懲罰，而根據懲罰類型的差異又可進一步分爲“螺旋式懲罰（escalating penalties）”或“懲罰性默認（penalty default）”等。前者會推動一線主體爲避免可能出現的頂格懲罰而主動承受一定成本來接受或參與合作；後者是指設定懲罰的自動觸發條件，此時監管者並不作爲監督者或懲罰發起者，因此避免了與被監管者的對立，進一步還可推動監管者與被監管者“合作”以共同避免達到自動觸發條件。
第三類是激勵機制。即爲一線主體的合作參與提供正向激勵條件，以使之在考慮合規成本扣減之後仍然能實現正收益。激勵機制需要推動被監管者同樣能在共同監管的環境中受益，而不僅僅只是付出合規成本。考慮到市場競爭的必然存在，激勵機制的實現往往需要改變市場環境，而非僅僅針對被監管者個體施加約束條件。
本文首發於《電子政務》
- 因篇幅限制，略去原文註釋及參考文獻 -
版塊介紹 —治理之智
在全球化背景下，科技的快速發展也帶來了前所未有的治理挑戰。本板塊內容依託阿里巴巴集團先進的AI科技能力、豐富的應用場景與負責任的技術生態，聚焦於AI風險、AI大模型安全、AI大模型開閉源生態、AI大模型出海等AI治理政策研究，基於技術理性的風險觀，爲大模型發展與安全平衡與取捨提供獨到見解。同時，我們致力於收集和分享海內外AI治理先進理論與經驗，爲構建合理的科技治理體系提供智慧與靈感。
Reading
3、
4、
5、
6、
7、
8、
9、
10、
11、
12、
13、
14、
15、
17、