OpenAI前首席科學家伊利亞：擴大規模的時代已結束，現在又回到了奇蹟和發現的時代

自從兩年前聊天機器人ChatGPT發佈並風靡全球的後，一批科技公司的估值受益於這波AI熱潮。他們堅信：通過增加更多數據和計算能力就來“擴大”當前模型，便能持續改進模型的能力。但現在，這種“越大越好”的信念開始受到挑戰，一些人工智能科學家公開提出，這種模式存在侷限性，並且包括ChatGPT的所屬公司OpenAI在內，這些科技公司正在尋找更聰明的人工智能新途徑。

據路透社當地時間11月11日報道，AI公司在訓練新的大模型方面面臨延遲和挑戰，三位知情人士透露，有人工智能實驗室的研究人員在發佈一種大語言模型的競賽中遇到了拖延和令人失望的結果，該模型的性能要優於OpenAI的GPT-4模型。

Safe Superintelligence （SSI，安全超級智能）聯合創始人伊利亞·蘇茨克維（Ilya Sutskever）表示，擴大預訓練的結果已經達到了平臺期。所謂預訓練，即使用大量未標記數據來訓練人工智能模型以理解語言模式和結構的階段。蘇茨克維曾擔任OpenAI首席科學家，今年早些時候，蘇茨克維從OpenAI辭職，隨後成立了SSI。

“2010年代是規模擴大的時代，現在人們又回到了奇蹟和發現的時代。每個人都在尋找下一個東西。”蘇茨克維表示，現在對正確的事情“擴大規模”比以往任何時候都更重要。蘇茨克維拒絕透露他的團隊在解決這個問題時的更多細節，只表示SSI正在研究一種擴大預訓練規模的替代方法。

大模型吞噬了海量數據，耗盡了世界上所有容易獲取的數據，模型訓練需要大量芯片，成本高昂，電力短缺也阻礙了模型訓練。據路透社報道，爲了克服這些挑戰，研究人員正在探索“測試時間計算”，這是一種在推理階段或模型被使用時增強現有模型的技術。例如模型可以實時生成和評估多種可能性，並最終選擇最佳路徑，而不是立即選擇單一答案。

這種方法允許模型將更多的處理能力用於具有挑戰性的任務，如數學、編程或需要類似人類推理和決策的複雜操作。“事實證明，讓一個機器人在玩撲克牌中思考20秒，與將模型擴大10萬倍並訓練它10萬倍的效果相同。”OpenAI研究o1的研究員諾姆·布朗（Noam Brown）上個月在舊金山表示。o1是OpenAI推出的新一代模型系列，和此前的模型相比，該模型展現出了強大的推理能力。

知情人士透露，來自Anthropic、xAI和谷歌DeepMind等頂級人工智能實驗室的研究人員也一直在開發自己版本的人工智能技術。

這可能會改變人工智能硬件的競爭格局。十多位人工智能科學家、研究人員和投資者告訴路透社，他們認爲OpenAI最近發佈的o1模型背後的技術可能會重塑人工智能“軍備競賽”，並對永遠無法滿足AI企業需求的能源、芯片等資源產生影響。

“這種轉變將把我們從大規模預訓練集羣的世界推向推理雲，這是一種分佈式的、基於雲的推理服務器。”紅杉資本合夥人Sonya Huang表示。

據路透社報道，在芯片方面，與英偉達佔據主導地位的訓練芯片不同，在推理市場這個芯片巨頭或將面臨更多競爭。不過，英偉達首席執行官黃仁勳曾表示，使用英偉達芯片進行推理的需求正在增加。“我們現在已經發現了第二個尺度定律（scaling law），這是推理階段的尺度定律……所有這些因素導致對Blackwell（英偉達最新的人工智能芯片）芯片的需求非常高。”黃仁勳上個月在印度的一次會議上說。