OpenAI員工瘋狂暗示,內部已成功開發ASI?被曝訓出GPT-5但雪藏

新智元報道

編輯:Aeneas KingHZ

【新智元導讀】OpenAI,有大事發生!最近各種爆料頻出,比如OpenAI已經跨過「遞歸自我改進」臨界點,o4、o5已經能自動化AI研發,甚至OpenAI已經研發出GPT-5?OpenAI員工如潮水般爆料,瘋狂暗示內部已開發出ASI。

種種跡象表明,最近OpenAI似乎發生了什麼大事。

AI研究員Gwern Branwen發佈了一篇關於OpenAI o3、o4、o5的文章。

根據他的說法,OpenAI已經跨越了臨界點,達到了「遞歸自我改進」的門檻——o4或o5能自動化AI研發,完成剩下的工作!

文章要點如下——

甚至還出現了這樣一種傳言:OpenAI和Anthropic已經訓練出了GPT-5級別的模型,但都選擇了「雪藏」。

原因在於,模型雖能力強,但運營成本太高,用GPT-5蒸餾出GPT-4o、o1、o3這類模型,才更具性價比。

甚至,OpenAI安全研究員Stephen McAleer最近兩週的推文,看起來簡直跟短篇科幻小說一樣——

總之,越來越多OpenAI員工,都開始暗示他們已經在內部開發了ASI。

這是真的嗎?還是CEO奧特曼「謎語人」的風格被底下員工學會了?

很多人覺得,這是OpenAI慣常的一種炒作手段。

但讓人有點害怕的是,有些一兩年前離開的人,其實表達過擔憂。

莫非,我們真的已處於ASI的邊緣?

超級智能(superintelligence)的「潘多拉魔盒」,真的被打開了?

OpenAI:「遙遙領先」

OpenAI的o1和o3模型,開啓了新的擴展範式:在運行時對模型推理投入更多計算資源,可以穩定地提高模型性能。

如下面所示,o1的AIME準確率,隨着測試時計算資源的對數增加而呈恆定增長。

OpenAI的o3模型延續了這一趨勢,創造了破紀錄的表現,具體成績如下:

在Codeforces上得分2727,使其成爲全球第175名最優秀的競技編程者;

在FrontierMath上得分25%,該平臺的「每個問題都需要數學家幾個小時的工作」;

在GPQA上得分88%,其中70%的分數代表博士級別的科學知識;

在ARC-AGI上得分88%,而在困難的視覺推理問題上,平均Mechanical Turk人工任務工人的得分爲75%。

根據OpenAI的說法,o系列模型的性能提升主要來自於增加思維鏈(Chain-of-Thought,CoT)的長度(以及其他技術,如思維樹),並通過強化學習改進思維鏈(CoT)過程。

目前,運行o3在最大性能下非常昂貴,單個ARC-AGI任務的成本約爲300美元,但推理成本正以每年約10倍的速度下降!

Epoch AI的一項最新分析指出,前沿實驗室在模型訓練和推理上的花費可能相似。

因此,除非接近推理擴展的硬性限制,否則前沿實驗室將繼續大量投入資源優化模型推理,並且成本將繼續下降。

就一般情況而言,推理擴展範式預計可能會持續下去,並且將是AGI安全性的一個關鍵考慮因素。

AI安全性影響

那麼推理擴展範式對AI安全性的影響是什麼呢?簡而言之,AI安全研究人員Ryan Kidd博士認爲:

AGI時間表大體不變,但可能會提前一年。

對於前沿模型的部署,可能會減少其過度部署的影響,因爲它們的部署成本將比預期高出約1000倍,這將減少來自高速或集體超級智能的近期風險。

思維鏈(CoT)的監督可能更有用,前提是禁止非語言的CoT,這對AI安全性有利。

更小的、運行成本更高的模型更容易被盜用,但除非非常富有,否則很難進行操作,這減少了單邊主義詛咒的風險。

擴展可解釋性更容易還是更難;尚不確定。

模型可能會更多地接受強化學習(RL),但這將主要是「基於過程」的,因此可能更安全,前提是禁止非語言的CoT。

出口管制可能需要調整,以應對專用推理硬件。

o1和o3的發佈,對AGI時間表的預測的影響並不大。

Metaculus的「強AGI」預測似乎因爲o3的發佈而提前了一年,預計在2031年中期實現;然而,自2023年3月以來,該預測一直在2031到2033年之間波動。

Manifold Market的「AGI何時到來?」也提前了一年,從2030年調整爲2029年,但最近這一預測也在波動。

很有可能,這些預測平臺已經在某種程度上考慮了推理計算擴展的影響,因爲思維鏈並不是一項新技術,即使通過RL增強。

總體來說,Ryan Kidd認爲他也沒有比這些預測平臺當前預測更好的見解。

部署問題

在《AI Could Defeat All Of Us Combined》中,Holden Karnofsky描述了一種模棱兩可的風險威脅模型。

在此模型中,一羣人類水平的AI,憑藉更快的認知速度和更好的協調能力超過了人類,而非依賴於定性上的超級智能能力。

這個情景的前提是,「一旦第一個人類水平的AI系統被創造出來,創造它的人,可以利用創造它所需要的相同計算能力,運行數億個副本,每個副本大約運行一年。」

如果第一個AGI的運行成本和o3-high的成本一樣(約3000美元/任務),總成本至少要3000億美元,那麼這個威脅模型似乎就不那麼可信了。

因此,Ryan Kidd博士對「部署問題」問題的擔憂較小,即一旦經過昂貴的訓練,短期模型就可以廉價地部署,從而產生巨大影響。

這在一定程度上減輕了他對「集體」或「高速」超級智能的擔憂,同時略微提升了對「定性」超級智能的關注,至少對於第一代AGI系統而言。

監督思維鏈

如果模型的更多認知,是以人類可解釋的思維鏈(CoT)形式嵌入,而非內部激活,這似乎是通過監督來促進AI安全性的好消息!

儘管CoT對模型推理的描述並不總是真實或準確,但這一點可能得到改進。

Ryan Kidd也對LLM輔助的紅隊成員持樂觀態度,他們能夠防止隱秘的陰謀,或者至少限制可能秘密實施的計劃的複雜度,前提是有強有力的AI控制措施

從這個角度來看,推理計算擴展範式似乎非常有利於AI安全,前提是有足夠的CoT監督。

不幸的是,像Meta的Coconut(「連續思維鏈」)這樣的技術可能很快就會應用於前沿模型,連續推理可以不使用語言作爲中介狀態。

儘管這些技術可能帶來性能上的優勢,但它們可能會在AI安全性上帶來巨大的隱患。

正如Marius Hobbhahn所說:「如果爲了微小的性能提升,而犧牲了可讀的CoT,那簡直是在自毀前程。」

然而,考慮到用戶看不到o1的CoT,尚不確定是否能知道非語言CoT被部署的可能性,除非通過對抗性攻擊揭示這一點。

AGI來了

美國AI作家和研究員Gwern Branwen,則認爲Ryan Kidd遺漏了一個重要方面:像o1這樣的模型的主要目的之一不是將其部署,而是生成下一個模型的訓練數據。

o1解決的每一個問題現在都是o3的一個訓練數據點(例如,任何一個o1會話最終找到正確答案的例子,都來訓練更精細的直覺)。

這意味着這裡的擴展範式,可能最終看起來很像當前的訓練時範式:大量的大型數據中心,在努力訓練一個擁有最高智能的最終前沿模型,並以低搜索的方式使用,並且會被轉化爲更小更便宜的模型,用於那些低搜索或無搜索的用例。

對於這些大型數據中心來說,工作負載可能幾乎完全與搜索相關(因爲與實際的微調相比,推出模型的成本低廉且簡單),但這對其他人來說並不重要;就像之前一樣,所看到的基本是,使用高端GPU和大量電力,等待3到6個月,最終一個更智能的AI出現。

OpenAI部署了o1-pro,而不是將其保持爲私有,並將計算資源投資於更多的o3訓練等自舉過程。

Gwern Branwen對此有點驚訝。

顯然,類似的事情也發生在Anthropic和Claude-3.6-opus上——它並沒有「失敗」,他們只是選擇將其保持爲私有,並將其蒸餾成一個小而便宜、但又奇怪地聰明的Claude-3.6-sonnet。)

OpenAI突破「臨界點」

OpenAI的成員突然在Twitter上變得有些奇怪、甚至有些欣喜若狂,原因可能就是看到從原始4o模型到o3(以及現在的狀態)的改進。

這就像觀看AlphaGo在圍棋中等國際排名:它一直在上升……上升……再上升……

可能他們覺得自己「突破了」,終於跨過了臨界點:從單純的前沿AI工作,幾乎每個人幾年後都會複製的那種,跨越到起飛階段——破解了智能的關鍵,以至o4或o5將能夠自動化AI研發,並完成剩下的部分。

2024年11月,Altman表示:

不久卻又改口:

而其他AI實驗室卻只能望洋興嘆:當超級智能研究能夠自給自足時,根本無法獲得所需的大型計算設備來競爭。

最終OpenAI可能吃下整個AI市場。

畢竟AlphaGo/Zero模型不僅遠超人類,而且運行成本也非常低。僅僅搜索幾步就能達到超人類的實力;即使是僅僅前向傳遞,已接近職業人類的水平!

如果看一下下文中的相關擴展曲線,會發現原因其實顯而易見。

論文鏈接:https://arxiv.org/pdf/2104.03113

繼續蒸餾

推理時的搜索就像是一種刺激劑,能立即提升分數,但很快就會達到極限。

很快,你必須使用更智能的模型來改善搜索本身,而不是做更多的搜索。

如果單純的搜索能如此有效,那國際象棋在1960年代就能解決了.

而實際上,到1997年5月,計算機才擊敗了國際象棋世界冠軍,但超過國際象棋大師的搜索速度並不難。

如果你想要寫着「Hello World」的文本,一羣在打字機上的猴子可能就足夠了;但如果想要在宇宙毀滅之前,得到《哈姆雷特》的全文,你最好現在就開始去克隆莎士比亞。

幸運的是,如果你手頭有需要的訓練數據和模型,那可以用來創建一個更聰明的模型:聰明到可以寫出媲美甚至超越莎士比亞的作品。

2024年12月20日,奧特曼強調:

因此,你可以花錢來改善模型在某些輸出上的表現……但「你」可能是「AI 實驗室」,你只是花錢去改善模型本身,而不僅僅是爲了某個一般問題的臨時輸出。

這意味着外部人員可能永遠看不到中間模型(就像圍棋玩家無法看到AlphaZero訓練過程中第三步的隨機檢查點)。

而且,如果「部署成本是現在的1000倍」成立,這也是不部署的一個理由。

爲什麼要浪費這些計算資源來服務外部客戶,而不繼續訓練,將其蒸餾回去,最終部署一個成本爲100倍、然後10倍、1倍,甚至低於1倍的更優模型呢?

因此,一旦考慮到所有的二階效應和新工作流,搜索/測試時間範式可能會看起來出奇地熟悉。

參考資料:

https://x.com/emollick/status/1879574043340460256

https://x.com/slow_developer/status/1879952568614547901

https://x.com/kimmonismus/status/1879961110507581839

https://www.lesswrong.com/posts/HiTjDZyWdLEGCDzqu/implications-of-the-inference-scaling-paradigm-for-ai-safety

https://x.com/jeremyphoward/status/1879691404232015942