時代雜誌：Anthropic如何設計以避免OpenAI式錯誤
鞭牛士報道，5月30日消息，時代雜誌發佈文章分析Anthropic如何設計自己以避免OpenAI的錯誤。
以下爲全文。
去年感恩節，布萊恩·伊斯雷爾發現自己被一次又一次地問到同樣的問題。
人工智能實驗室Anthropic的總法律顧問和科技界的其他人一樣，目瞪口呆地看着這一切：距離 Anthropic 舊金山總部僅兩英里的地方，其主要競爭對手 OpenAI 似乎正在崩潰。
OpenAI 董事會已解僱首席執行官Sam Altman，稱他失去了董事會的信任，此舉似乎可能會導致這家初創公司 800 多億美元的估值一落千丈。
此次解僱之所以發生，是因爲 OpenAI 奇怪的公司結構，其董事沒有爲股東增加利潤的受託責任——Altman 本人曾參與設計這一結構，以便 OpenAI 能夠構建強大的 AI，而不受不正當市場激勵的影響。
在 Israel 和幾乎所有其他人看來，這個計劃似乎適得其反。五天後，在 OpenAI 的主要投資者微軟、風險投資家以及 OpenAI 自己員工（他們持有該公司的寶貴股權）的施壓下，Altman 恢復了首席執行官一職，解僱他的三位董事中有兩位辭職。
「AI 現在屬於資本家了。」紐約時報總結道，因爲 OpenAI 開始組建一個新的董事會，這個董事會似乎更適合一家高增長公司，而不是擔心強大 AI 危險的研究實驗室。
因此，那個週末，Anthropic 的投資者和客戶瘋狂地問伊斯雷爾：同樣的事情會發生在 Anthropic 嗎？
Anthropic 與 OpenAI 一樣，都是頂級的人工智能實驗室，但其公司結構也非常另類。該公司也採用了類似的結構，以確保能夠開發人工智能，而無需爲了追求利潤而偷工減料。但相似之處也就到此爲止了。
對於感恩節期間提出問題的所有人，Israel 的回答都是一樣的：OpenAI 發生的事情不能發生在我們身上。
在 OpenAI 災難發生之前，關於人工智能公司治理的問題似乎並不明晰。但現在很明顯，人工智能公司的結構對於誰控制 21 世紀最強大的技術有着至關重要的影響。
隨着人工智能變得越來越強大，風險只會越來越高。
今年 5 月初，OpenAI 安全方面的兩位領導人辭職。其中一位是 Jan Leike，他在一份離職聲明中表示，安全已經讓位於閃亮的產品，並表示如果 OpenAI 要安全地開發先進的人工智能，就需要進行文化變革。
週二，Leike 宣佈他已轉投 Anthropic。（Altman承認了Leike 的批評，並表示我們還有很多事情要做；我們致力於做到這一點。）
Anthropic 以其不同於 OpenAI 的結構而自豪，但它的未來仍是一個問號。
去年，Anthropic 籌集了 70 億美元，主要來自亞馬遜和谷歌——這些大型科技公司，如微軟和 Meta，正在競相爭奪人工智能領域的主導地位。在某種程度上，它需要籌集更多資金。如果 Anthropic 的結構不夠強大，無法抵禦這些企業巨頭的壓力，它可能難以防止其人工智能變得危險，或者可能讓其技術落入大型科技公司的手中。
另一方面，如果 Anthropic 的治理結構比 OpenAI 更爲穩健，該公司可能能夠規劃一條新路線——一條可以安全開發人工智能、免受自由市場最嚴重壓力影響並造福整個社會的路線。
Anthropic 的七位聯合創始人之前都曾在 OpenAI 工作過。Anthropic 首席執行官達里奧·阿莫迪 (Dario Amodei) 曾擔任 OpenAI 的研究副總裁，他甚至撰寫了 OpenAI 的大部分章程，這份文件承諾實驗室及其員工將致力於安全開發強大的人工智能。
可以肯定的是，Anthropic 的聯合創始人於 2021 年離開了 OpenAI，遠在 Altman 被解僱之前，OpenAI 的結構問題就暴露出來了。但他們的經歷讓他們想做不同的事情。
阿莫迪告訴《時代》雜誌，看到去年感恩節發生的崩潰，他覺得 Anthropic 的治理結構是正確的方法。「我們做事的方式，有這麼多的制衡，讓我們處於一個更難發生類似事情的境地。」
然而，高風險導致許多人質疑，爲什麼新穎且基本上未經測試的公司治理結構會成爲試圖開發高級人工智能的公司行爲的主要制約因素。
「社會不能讓人工智能的推廣完全由私人科技公司控制。」海倫·託納 (Helen Toner) 和塔莎·麥考利 (Tasha McCauley) 在《經濟學人》最近的一篇文章中寫道。
這兩位前 OpenAI 董事會成員去年投票解僱了奧特曼。「私營部門做出了許多真誠的努力，以負責任的方式指導這項技術的發展，我們對這些努力表示讚賞。但即使出於最好的意圖，如果沒有外部監督，這種自我監管最終也將無法執行，尤其是在巨大的利潤激勵壓力下。政府必須發揮積極作用。」
OpenAI 本質上是一家利潤上限公司，由不對公司股東負責的非營利董事會管理，而 Anthropic 的結構更像一家傳統公司。
OpenAI 的董事會對股東負責，包括谷歌和亞馬遜，這兩家公司共向 Anthropic 投資了約 60 億美元。（《時代》雜誌聯席主席兼所有者馬克·貝尼奧夫 (Marc Benioff) 擔任 Salesforce 的首席執行官，該公司的投資規模較小。）但 Anthropic 利用了特拉華州公司法的一個特殊要素。它不是一家有限公司，而是一家公益公司 (PBC)，這意味着除了負有增加股東利潤的受託義務外，其董事會還有法律空間來遵循另一項使命：確保變革性人工智能幫助人類和社會繁榮發展。
伊斯雷爾說，這本質上意味着，如果董事會選擇優先考慮安全而不是增加利潤，股東將更難起訴 Anthropic 董事會。
然而，公衆沒有明顯的機制來起訴 Anthropic 董事會成員沒有足夠堅定地追求其公益使命。「據我所知，公衆沒有辦法起訴你來強制執行這一點。」Israel 說。PBC 結構賦予董事會靈活性，而不是強制。
風險投資家傳授給公司創始人的傳統觀點是：創新你的產品，但不要在業務結構上創新。但 Anthropic 的聯合創始人在 2021 年公司成立時決定無視這一建議，理由是，如果人工智能像他們認爲的那樣強大，那麼這項技術將需要新的治理結構來確保它造福公衆。
「許多事情都由市場處理得很好。」Amodei 說。「但也存在外部因素，最明顯的是人工智能模型 [發展] 自主性的風險，還有國家安全問題，以及其他問題，比如它們是否會以我們從未見過的方式破壞或扭曲經濟。所以我想確保公司有能力處理這一系列問題。」
身處人工智能開發的前沿——構建比以往更大的模型，這些模型可能具有未知的功能和風險——需要格外小心。「擁有最好的 [AI] 模型，在市場上佔有先機具有非常明顯的經濟優勢。」伊斯雷爾說。另一方面，他說，Anthropic 的安全研究人員在模型訓練後花在測試上的時間越多，他們就越有信心推出它是安全的。「這兩者至少在理論上是矛盾的。對我們來說，非常重要的一點是，我們不能被迫推出一個我們不確定是否安全的模型。」
對於 Anthropic 的創始人來說，將公司結構化爲公益公司是一個很好的開端，但並沒有解決誰應該進入公司董事會的問題。爲了回答這個問題，他們於 2023 年決定成立一個單獨的機構，稱爲長期福利信託 (LTBT)，該機構最終將獲得選舉和解僱董事會多數成員的權力。
LTBT 的成員在公司中沒有股權，目前從董事會五名成員中選舉一名。但根據以色列和《時代》雜誌看到的 Anthropic 公司成立文件副本，今年 7 月，這一數字將升至五名成員中的兩名，然後今年 11 月升至五名成員中的三名——與該公司目前已超越的融資里程碑一致。（擁有投票權股票的股東選舉其餘董事會成員。）
LTBT 的首批五名成員由 Anthropic 的高管挑選，因爲他們在三個領域的專業知識對公司的使命至關重要：人工智能安全、國家安全和社會企業。入選者包括蘭德公司首席執行官 Jason Matheny、發展非營利組織 Evidence Action 首席執行官 Kanika Bahl 和人工智能安全研究員 Paul Christiano。（Christiano 在一封電子郵件中表示，他已於 4 月辭去 LTBT 職務，擔任美國政府新成立的人工智能安全研究所的負責人。他的職位尚未填補。）
週三，Anthropic 宣佈 LTBT 已選出公司董事會的首位成員：數據公司 Confluent 的聯合創始人兼首席執行官 Jay Kreps。
Anthropic 表示，LTBT 會提前收到可能顯著改變公司或其業務的行動的通知，並且必須使用其權力確保 Anthropic 負責任地平衡股東的經濟利益與受 Anthropic 行爲和我們的公共利益目的影響的人們的利益。
該公司在其網站上的一篇博客文章中表示：Anthropic 將繼續受到董事會的監督，我們預計董事會將在變革性人工智能的道路上做出重大決定。但在做出這些決定時，董事會的大多數成員最終將對信託基金和股東負責，因此將有動力適當平衡公衆利益和股東利益。
然而，伊斯雷爾表示，即使是由 LTBT 選出的董事會成員也對 Anthropic 的股東負有受託責任。這種細微差別意味着，由 LTBT 任命的董事會成員可能無法採取像去年 11 月 OpenAI 董事會成員那樣激烈的行動。這也是以色列在去年感恩節被問及時如此自信地說 OpenAI 發生的事情永遠不會發生在 Anthropic 的原因之一。但這也意味着 LTBT 最終對公司的影響力有限：雖然它最終將有權選擇和罷免大多數董事會成員，但這些成員實際上將面臨與其他董事會成員類似的激勵。
公司領導和一位前顧問強調，Anthropic 的結構本質上是實驗性的。
「據我所知，還沒有人嘗試過這種完全一樣的架構。」哈佛法學教授諾亞·費爾德曼 (Noah Feldman) 表示，他在 Anthropic 建立治理結構的最初階段擔任外部顧問。「即使是世界上最好的設計有時也行不通，”他補充道。“但這個模型的設計經過了大量思考……我非常希望它能成功。」
根據 Anthropic 的成立文件，管理長期福利信託的協議有一個附加條件。如果絕大多數股東投票贊成，他們可以在未經五名成員同意的情況下重寫管理長期福利信託的規則。Anthropic 表示，這一機制被設計爲一種安全措施，以應對結構可能以意想不到的方式出現缺陷的可能性。但它也引發了谷歌和亞馬遜可能迫使 Anthropic 改變公司治理的擔憂。
但根據伊斯雷爾的說法，這是不可能的。他說，亞馬遜和谷歌不擁有 Anthropic 的投票股份，這意味着他們無法選舉董事會成員，而且他們的投票不會被計入重寫 LTBT 管理規則所需的絕對多數中。（伊斯雷爾表示，Anthropic B 輪股票的持有者（其中大部分最初由已倒閉的加密貨幣交易所 FTX 購買）也沒有投票權。）
據知情人士透露，谷歌和亞馬遜各自持有 Anthropic 不到 15% 的股份。Amodei 強調，亞馬遜和谷歌對 Anthropic 的投資與微軟與 OpenAI 的交易並不相同，後者與微軟達成協議，將獲得 OpenAI 49% 的利潤，直到其 130 億美元的投資得到償還。
「這完全是天壤之別。」Amodei 說。他承認 Anthropic 未來可能需要籌集更多資金，但他表示，該公司超水平發揮的能力將使其能夠與資源更豐富的競爭對手保持競爭力。
他告訴《時代》雜誌：只要我們能夠用更少的資源做更多的事情，那麼最終，資源就會流向創新型公司。
然而，Anthropic 的未來可能面臨一些令人不安的權衡——即使是最深思熟慮的治理結構也無法解決。
非營利研究機構 AI Policy Institute 的執行董事 Daniel Colson 表示：Anthropic 的首要任務是保持領先地位。
他指的是該實驗室認爲必須訓練自己的世界領先的人工智能模型，以便對其進行良好的安全研究。但是，當 Anthropic 的資金耗盡，需要更多投資才能跟上大型科技公司的步伐時，會發生什麼？
「我認爲董事會受託責任的體現將是，好吧，我們必須與一家大型科技公司合作來獲得資金，還是吞下任何其他類型的潛在毒丸？」Colson 說。在處理這樣一個事關公司生存的問題時，Anthropic 的董事會可能被迫權衡徹底崩潰與某種形式的妥協，以實現其所認爲的長期使命。
科爾森表示，歸根結底，人工智能的治理不是任何公司治理結構都能夠勝任的。雖然他認爲 Anthropic 的結構比 OpenAI 的更好，但他表示，確保人工智能安全發展的真正任務在於政府，政府必須頒佈具有約束力的法規。
科爾森說：看起來 Anthropic 在其結構上做得很好。但這些治理結構足以發展通用人工智能嗎？我強烈認爲這肯定不夠——它們非常不合法。