o1基石論文火爆傳閱，Ilya仍是關鍵先生！核心項目清北校友閃光

自從Ilya Sutskever的名字出現在OpenAI o1背後團隊名單中，他在o1中發揮了哪些作用，一時間成爲不少網友的關注焦點。

這不，機器學習工程師Rohan Paul剛剛發帖表示，去年5月份Ilya合著的一篇論文不能錯過。

論文題爲“Let’s Verify Step by Step（一步步來驗證）”。

不光是Ilya，其中還有不少作者同樣是OpenAI o1的背後貢獻者。

甚至有網友將這篇論文稱作是AI領域僅次於“Attention is all you need”的第二著名論文。

除此之外，在關於OpenAI o1背後團隊的熱議中，OpenAI科學家Noam Brown最近發帖澄清並沒有主導草莓/OpenAI o1。

但同時也透露o1項目是一個多年研究的成果，從去年10月開始真正加速發展。

這麼來看，Ilya Sutskever會是OpenAI o1的“基礎貢獻者”也就更不令人意外了。

接下來深入看看“Let’s Verify Step by Step”這篇論文以及OpenAI o1背後的貢獻者。

Ilya在o1的作用

OpenAI o1主打進行通用複雜推理，在輸出回答之前，會在產生一個很長的思維鏈，以此增強模型能力。

而Ilya此前合著的這篇論文主要就是探討了提高大語言模型多步推理能力的方法。

他們主要比較了結果監督（outcome supervision）和過程監督（process supervision）兩種方法在訓練獎勵模型上的效果。

結果監督側重於模型最終輸出的正確性。

而過程監督則關注模型在推理過程中每一步的正確性，能夠指出答案中具體哪一步是錯的：

團隊使用GPT-4基礎模型，在MATH數據集上進行了實驗。

由於過程監督沒有簡單的自動化方法，所以只能依靠人工數據標註者來標記模型生成解決方案中每個步驟的正確性。

他們收集了大量人類反饋數據，創建了PRM800K數據集，包含80萬個步級標籤。

實驗分爲大規模和小規模兩種體制，各有優勢並提供不同視角。

研究結果發現：過程監督顯著優於結果監督，能夠訓練出更可靠的獎勵模型。

使用過程監督訓練的最佳模型在MATH測試集具有代表性的子集上解決了78.2%的問題，明顯優於結果監督模型（72.4%）和多數投票基線（69.6%）。

研究還證明了大型獎勵模型能夠可靠地近似人類監督對較小獎勵模型的效果，並且能夠高效地進行大規模數據收集的消融分析。

主動學習（active learning）還可以顯著提高過程監督的數據效率，大約提升了2.6倍。

團隊還討論了過程監督的幾個關鍵優勢。

首先，它提供了更精確的反饋，使得功勞歸因更加容易。其次，在AI對齊方面，過程監督更有可能產生可解釋的推理。

爲了評估模型的泛化能力，團隊還在AP物理、AP微積分、AP化學和AMC考試題目上進行了測試。

結果顯示，過程監督訓練的模型在這些新問題上仍然表現優異，證明了其對適度分佈偏移的魯棒性。

大模型飛速發展一年後的今天，再來看這篇論文，有學者指出現在來看沒有太多新的想法：

但也正如網友所說，這篇論文總歸來說是邁向OpenAI o1的一步。

o1則代表了“從記憶答案到記憶推理的範式轉變”。

清北校友o1-mini主要負責人

除了Ilya Sutskever，關於o1背後團隊也引發了不少關注。

官網給出的全名單，分成了推理研究和推理技術安全兩塊。粗略一看已經遠遠超一百人。（好多人啊，GIF）

咱們主要看看研究這塊。

在基礎貢獻者中我們也看到了不少熟悉的影子以及華人面孔。

Jason Wei，OpenAI研究員，此前曾在谷歌大腦工作，他是思維鏈的提出者，也曾參與大模型涌現能力以及GPT-4的研究。

Shengjia Zhao，本科畢業於清華，隨後前往斯坦福攻讀博士學位，22年畢業之後就來到OpenAI。個人介紹中顯示，熱衷於訓練大模型，他是ChatGPT、GPT-4、GPT-4o mini的核心作者之一。

任泓宇，2018年畢業於北京大學，隨後來到斯坦福攻讀計算機博士學位，當時方向就是大語言模型。加入OpenAI之前曾在微軟英偉達谷歌蘋果這些科技巨頭待過。他是GPT-4o 的核心貢獻者，GPT-4o mini 的領導者，主要教模型如何更快、更努力、更敏銳的思考。

當模型第一時間發佈時，他曾表示o1-mini是他最喜歡的一款模型。

以上這兩位清華北大校友，應該是o1-mini的主要負責人沒跑了。

Francis Song，本博分別畢業於耶魯和哈佛，曾在NYU擔任助理研究員，方向是計算神經科學。在DeepMind待了四年後，22年來到了OpenAI。

Wenda Zhou，本科畢業於劍橋大學，在哥倫比亞大學獲得博士學位，來到OpenAI之前曾在Simons/NYU當研究院，去年加入OpenAI。

Kevin Yu，畢業於UC伯克利，曾就職於NASA。

在Leadership裡還有位華人面孔。

Mark Chen，目前是OpenAI（前沿）研究副總裁。曾就讀於MIT數學與計算機科學專業，曾在Integral Technology擔任量化研究合夥人。

最後，也附上全體名單。

奧特曼：已掌握未來幾年主動權

話說回來，前兩天奧特曼又去接受公開採訪了，聊了聊最新的這個模型。

他表示o1模型雖然能在IOI、IMO這樣的競賽中取得優異成績，但重點不應該放在AI擅長考試這一點上。而是它能幫助研究人員，比如更快發現新材料、找到治療疾病的方法等等。

談到未來的願景，他提到，未來將有兩種基本商品，那就是是智慧和能源——擁有創意的能力，完成智力工作的能力，以及能源，即在世界上實現這些目標的能力。

至於大模型進展，他表示不僅沒有放緩，而且已經掌握了未來幾年的主動權。

參考鏈接：[1]https://arxiv.org/abs/2305.20050[2]https://openai.com/openai-o1-contributions/[3]https://x.com/rohanpaul_ai/status/1835427161370738983?s=46&t=iTysI4vQLQqCNJjSmBODPw[3]https://x.com/EarningsNugget/status/1834800151598453085