Percy Liang、李飛飛等百餘位學者聯名發佈：「基礎模型」的機遇與挑戰

大數據文摘授權轉載自智源社區

撰文：趙言，秦紅川，程晨

校對：賈偉

隨着BERT、GPT-3、DALL-e等超大模型的興起，自監督學習+預訓練模型微調適配方案，逐漸成爲主流。這種範式會先在超大規模海量數據上進行自監督的模型預訓練，然後適配到廣泛的下游任務。

自監督訓練使得基礎模型（Foundation Models）對顯式註釋的依賴性下降，也帶來了智能體基本認知能力（例如，常識推理）的進步。

但與此同時卻也導致了基礎模型的「涌現」與「同質化」特性。所謂「涌現」，意味着一個系統的行爲是隱性推動的，而不是顯式構建的；所謂「同質化」，即基礎模型的能力是智能的中心與核心，大模型的任何一點改進會迅速覆蓋整個社區，其隱患在於大模型的缺陷也會被所有下游模型所繼承。

目前AI研究的涌現性和同質化特徵

自監督學習+微調的方案，作爲一種研究範式，其帶來的利弊在當下的人工智能研究中日益凸顯。如何才能更好地研究這種範式（以及這些模型）呢？

針對這一問題，

近期，Percy Liang、李飛飛等人將爲此舉辦一場 Workshop of Foundation Models(8月23~24日)。在研討會之前，100多位學者聯名發表了一份 200 多頁的研究綜述《On the Opportunities and Risk of Foundation Models》。

關於基礎模型的核心觀點，可關注8 月 23 日到 24 日，HAI和CRFM這兩個組織發起的關於基礎模型的 workshop，討論基礎模型的機遇、挑戰、限制和社會影響。

論壇鏈接：https://crfm-stanford.github.io/workshop.html

本文爲這篇綜述的解讀文章，按照原文體系結構重新調整和梳理了基礎模型的時代問題，旨在幫助領域科研工作者更好的研究、部署以及形成安全可靠的應用提供借鑑和研究參考。

限於長度，本文對原文內容有刪改。

論文研究路線按照四個部分，分別闡述了基礎模型的能力、應用領域、技術層面和社會影響四個方面，層次結構組織如下：

能力：語言、視覺、機器人學、推理、交互、理解等；

應用：醫療、法律、教育等；

技術：模型內部角度(建模、訓練、適應、評估)，模型輸入輸出角度（數據），模型的系統性分析角度（數據、安全與隱私、穩健性、理論、可解釋性）

社會影響：不平等、濫用、環境、法規、經濟、倫理道德等。

文章組織結構

論文鏈接：https://arxiv.org/pdf/2108.07258.pdf

基礎模型的能力

基礎模型沒有一個精確的技術定義，而是很多大型模型的代稱，它們唯一的共同特徵是「自我監督性」。基礎模型在學習過程中會體現出來各個不同方面的能力，這些能力爲下游的應用提供了動力和理論基礎。本文會討論這些基礎模型的能力，以及這些能力對於下游任務的影響、優勢和侷限性，並給出未來可能的研究重點方向。

1.1 語言能力

語言是大多數人類交流和互動的基礎，是人類思維的核心。下圖是人類語言學習的基礎模型示意：

基礎模型的語言數據

文章從自然語言的屬性展開，分析了基礎模型在NLP領域所產生的影響，即基礎模型在NLP領域表現出了強大的通用性和適用性。文章進一步探討了語言變體和多語種的問題，並對未來模型的高效理解、學習人類語言學習的動態方法等研究方向做了深入探討。

1.2 視覺能力

視覺是生物體理解其環境的主要模式之一，但是將同樣的能力轉移到機器上非常具有挑戰性，下圖表示通視覺基礎模型視覺知識的提煉。

視覺基礎模型具備一種潛力，即提取原始多模態感知信息並轉化爲視覺知識，可有效支持傳統感知任務，並能夠在具有挑戰性的高階技能方面取得新進展。

文章概述了計算機視覺領域的關鍵能力和方法，闡明瞭計算機視覺領域的幾大關鍵任務，包括：語義理解任務，含有幾何、運動等元素的三維任務，多模態集成任務等，基礎模型在這些任務中可以起到重要作用。但文章也同時指出基礎模型處於初級階段，可能會整合和影響視覺模型，如面向醫療保健和家庭環境的外圍（ ambient ）智能領域；移動和消費領域；可互動的智能中體領域等。未來發展大規模動態視覺輸入的高效建模，將視覺有效推廣到自然場景和人類層面的技術將是前景。

1.3 機器人

機器人研究中的一個長期挑戰是賦予機器人處理現實世界環境中遇到的無數不同情況的能力，基礎模型在機器人方面的應用關鍵挑戰在於數據採集，安全性和魯棒性方面，如圖所示，開發通用機器人的關鍵是根據任務需求建立模型，基礎模型具備可以使解決新任務的學習過程更加高效和可靠。

基礎模型在機器人應用的關鍵挑戰

爲了基礎模型的順利部署，一方面， 必須收集足夠大小和多樣性的機器人數據集，這些需要合適的機器人通過傳感器感知環境狀態和順利學習，另一方面還要需要合理機制確保在現實世界中合理安全地部署學習過程。

1.4 推理和搜索

推理和搜索一直是人工智能歷史上的一箇中心主題，許多推理問題造成了無限的搜索空間，系統必須處理各種各樣的開放式選擇。

搜索推理任務

文章從當前的任務展開，詳細闡述了通用模型的優勢，即人們可以快速建立最優決策的分佈模型，模型可以不同的在任務和領域之間傳遞和共享，對於學習深層的語義信息幫助極大等。

但是由於高質量數據集的稀缺，對模型的通用性提出了挑戰，尤其是對於提高高級推理能力更是難題，此外，模型的適用性，魯棒性等等也是需要解決的問題。

1.5 交互

隨着基礎模型開發的成熟，模型的容量將不斷擴大，它們的多功能性最終可能導致我們與 AI 交互的方式發生根本性變化

基礎模型與人的交互過程

基礎模型將通過降低難度爲開發者帶來重大機遇，降低構建 AI 應用的門檻，並提高應用程序的交互上限。基礎模型還可以增強用戶的能力，促進實際交互形式的多樣化，甚至可能模糊開發者和用戶之間的界限，允許用戶積極參與模型的開發過程，優化交互接口。

1.6 理解的原理

文章從哲學角度出發，以實用主義、內在主義、參照主義爲基礎，重點討論自然語言的情況，討論了語言的理解問題，並得出結論：多模態很可能是基礎模型理解語言的最可行戰略。

基礎模型的應用

在衆多可以應用基礎模型的應用領域中，文章將重點關注三個學科——醫療保健、法律和教育，它們都是社會功能的基礎。針對每個模型，文章討論了基礎模型爲該領域帶來的可能應用方向以及存在的各種問題。

2.1 醫療保健

基礎模型的醫療應用場景

上圖是醫療保健和生物醫學的基礎模型，它們的訓練數據來自於醫療保健系統中的多模態數據，進而實現跨醫療保健和生物醫學的各種任務。

與此同時，醫療保健和生物醫學應用方面提出的獨特挑戰，推動了基礎模型的進一步研究，例如在醫療保健和生物醫學中整合多模態數據，以及遵守醫學中的道德和法律規定(隱私、安全和可解釋性等)。

基礎模型可以通過醫療服務提供者和醫院改善對患者的護理，可以提高醫療服務提供者的效率和準確性，並促進生物醫學研究，如發現新藥物和疾病。在未來，研究方向將主要集中於多模態和模型的可解釋性等方面。

2.2 法律

上圖是美國法庭處理民事案件的各個步驟，基礎可能會在每個階段有所輔助。在這個過程中，需要處理不同模式的案件，並需要適應新的法院審理方式或法律條款。

基礎模型可以通過提高法律服務質量和降低成本的方式來提高現有司法和法律服務的質量，並擴大法律服務的覆蓋範圍。但是法律的嚴謹性對AI模型提出了更高的要求，而且數據標註成本會非常的高。

2.3 教育

基礎模型已經開始提高一些具體的教育任務的性能，文中討論的基礎模型放在兩個具體的任務上：(1)理解學生的錯誤觀念；(2)通過指導提高學生的理解力。

基礎模型教育領域關鍵任務

上圖說明教育的基礎模型可以在多種數據源上進行培訓，以學習教育所必需的能力:理解各種主題和不同的教學技術。這些基礎模型可以以一種通用的方式應用於一系列任務和目標。

文章除了討論基礎模型在教育方向可能出現的各種應用外，還討論了教育方面遇到的一些挑戰，包括建立健全的教學技術和教學語言問題，以及其中存在的倫理問題，隱私和安全問題，教師的減少和AI模型與學生之間的適應性問題等。

基礎模型的技術層面

本章旨在從技術層面討論如何更好地構建和理解基礎模型。按照研究的流程範式，將涉及到的關鍵技術問題分爲三個角度。

模型內部角度：模型架構、訓練和適配過程；

數據角度：數據的來源與數據項組成原理；

系統角度：根據已有的基礎模型，做到基礎模型的體系拓展、分佈式轉移，另外站在更高的系統層級，分析模型的安全性，抗惡意攻擊能力和魯棒性，以及模型的可解釋問題。

3.1 模型內部層面

1）模型的構建

爲提高基礎模型對下游應用場景的泛化適應能力，基礎模型的架構就顯得尤爲重要。

模型必不可少的五個屬性分別是表達能力、可擴展性、多模態性、記憶容量和組合性。

這五種屬性，站在更高的智能從抽象層級上，精煉的概括了模型模擬人類智能的途徑，表現力具體指模型網絡結構可以靈活地捕獲和表示各種信息，多模態指連接各種模式和領域的知識和數據，記憶力指模型可以儲存大量積累的知識，組合性代表模型知識可以很好的泛化到新的環境、任務和環境中。

以上諸多研究內容被抽象爲五個屬性，對模型的研究可以從不同的維度切入，這些領域的進步將極大地蹄凍基礎模型的綜合表達能力的飛躍。

基礎模型的五個關鍵特性: 表現能力（expressivity）、可擴展性（scalability);、多模態（multimodality）;記憶能力（memory storage)、組合性(compositionality)。

2）模型訓練

模型對海量數據的訓練，目標在於擬合真實環境的數據分佈。文章從數學角度詳細說明了模型如何從數據中學習和獲取能力，並進一步指出，基礎模型未來的訓練目標將反映兩個變化:

從系統參數和衍生評價原則選擇；

跨數據源、多模態、可擴展的統一訓練方法。

3）模型適應性

模型適應性指，根據訓練好的基礎模型經過微調（fine-tuning)的方法使得基礎模型在特定領域和需求情況下，仍能很好的執行功能。對模型適應性的基礎研究，將不僅有利於基礎模型的在單一任務的適配度提高，更有助於促進基礎模型的評估和約束研究，減少基礎模型的缺陷。

在適應性中，基礎模型被轉換爲應用模型（底部一行），以適配特定應用場景的信息理解和行爲約束。

4）模型評估

評估是跟蹤模型進展、理解模型的重要途徑。同時記錄基礎模型已經擁有能力和產生的數據偏見，有助於研究者加深基礎模型的原理性認識。

基礎模型的評估問題，由於其應用任務不能確定，對機器學習中標準評估範式，帶來了新的挑戰。

爲解決上述問題，研究者將基礎模型的評估問題與特定任務的評估問題區別開，通過內在評估、外在評估和評價設計明確步驟，建立了基礎模型的全新評估框架。

3.2 模型的數據層面

數據是基礎模型的命脈; 模型的訓練數據在很大程度上決定了模型能夠獲得什麼樣的能力。數據的中心性並不是基礎模型所獨有的，以數據爲中心的人工智能研究表明，管理、理解和記錄用於訓練機器學習模型的數據具有普遍的重要性。

3.3 模型的系統性分析1）系統協同設計

模型和硬件的發展曲線，和算力的需求和供給情況

計算機系統決定了基礎模型實際上可以達到的性能。計算機系統是基礎模型在數據和模型大小方面擴展的關鍵瓶頸。爲了確保研究者能夠在時間和成本方面有效地培訓下一代基礎模型，需要算法、模型、軟件和硬件的共同設計。

2）安全、穩定、魯棒與隱私問題

基礎模型的安全和隱私問題，目前很大程度上是未知的。已有工作表明，現在的基礎模型存在安全漏洞和泄露隱私的風險。

用於機器學習系統的基礎模型安全性和隱私問題帶來的風險和機遇

基礎模型帶來的社會影響

基礎模型所帶來的社會影響廣泛而深遠，基礎模型已經開始影響到社會生活中的公平正義、經濟、環境、法律、道德等諸多基本問題。

4.1 不平等

本節主要論述了模型在應用領域不同應用對象和場景的平等公正性。這主要包括，

（1）模型的內在特性產生的偏見現象，即訓練數據不完備導致模型對部分受衆尤其是少數人羣產生不利影響；

（2）外在風險，即用戶因基礎模型在不同的應用領域不能泛化到全局導致領域特異性歧視。

基於上述危害產生的機制，需要進行重大改革，並有意識地處理和糾正這些潛在的風險,可採用的方案有：

（1）主動干預(例如採用數據爲中心或以模型爲中心的方案)；

（2）被動追溯，尋因改正(例如反饋和問責機制)。

4.2 濫用

本節論述了基礎模型的濫用現象，即基礎模型擁有的生成消息的能力，被有意地利用來對人羣或個人造成損害的可能性。

基礎模型對人造虛假信息和惡意信息的生成過程，以及實際可能出現的漏檢測現象。

科學技術是一把雙刃劍。基礎生成模型的生成能力可以被用於造假，但也可以用來判別濫用並去除濫用。基礎模型的快速學習能力(例如，允許根據人的反饋調整新的防濫用策略），可用於遏制謠言傳播，減小損害。

4.3 環境

在使用基礎模型之前，應評估成本和收益。評估基礎模型所需的規模至關重要，在採取儘可能多的降本增效、控碳排放措施之後，仍無法攤銷模型成本，則應考慮是否使用基礎模型。

部署基礎模型的成本-收益的可視化分析

模型的總價值可以通過首先考慮模型的淨正面社會效益以及所有環境效益，然後減去訓練和部署模型的能源成本，減去訓練模型所排放的碳社會成本，以及二次環境影響。如果淨成本大於收益，那麼基礎模型開發者和大規模部署者應該考慮減少危害的策略。這將有助於模型優化或部署決策。

4.4 合法性

本節強調了（1）模型訓練；（2）模型預測可靠性；（3）模型輸出的保護等相關問題。

制定法律，對基礎模型至關重要，但法律不是評估基礎模型訓練、維護和使用的唯一評價尺度，社會倫理與道德約束也是必要途徑。

4.5 經濟

基礎模型在社會經濟模式下，帶來的影響主要體現在以下方面：

（1）技術創新改變生產力；

（2）新技術對社會職業和社會職責分工的衝擊，就業與薪資分配不合理；

（3）競爭與壟斷問題。

基礎模型帶來的經濟效益，大幅提高了社會生產效率，有可能大幅度提高人們的生活水平，但同時也帶來了不平等加劇和權力集中的風險。這些技術的經濟影響不是預先確定的，而是取決於技術專家、決策者、管理者、工人和其他利益相關者如何應對挑戰。

4.6 道德尺度

作者指出，

（1）基礎模型的研究人員應該遵循領域規範，個人使用者應當具有數據自主權，同時也有權決定是否參照基礎模型輸出結果做出決策。

（2）基礎模型可能涉及的社會影響包含了社會生活的方方面面，希望未來的研究者能勇於拓荒，探索基礎模型等新技術的涌現可能帶來的文章中未提及的影響。