OpenAI安全副總裁離職

三言科技11月9日消息，今日，OpenAI安全研究副總裁Liian Weng宣佈離職。她回顧了自己在OpenAI工作的經歷，同時表示在公司七年後，感覺“是時候重新出發”。

以下是其離職信全文：

親愛的朋友們，我做出了一個極其艱難的決定，那就是離開OpenAI。11月15日將是我在辦公室的最後一天。

OpenAI是我作爲科學家和領導者成長的地方，我將永遠珍惜與每一位共事過和結識的同事在一起的時光。OpenAI團隊一直是我的知己、良師益友，也是我個人身份的重要組成部分。

我依然清晰地記得2017年時，我對OpenAI的使命是多麼着迷。那時，我們這羣人夢想着一個看似不可能、宛如科幻的未來。

開始，我在這裡研究的是全棧機器人挑戰——從深度強化學習算法，到感知，再到固件——目標是教會單隻機械手如何解開魔方。整個團隊花了整整兩年時間，但我們最終成功了。

當OpenAI進入GPT範式，我們開始探索如何將最佳AI模型部署到現實世界時，我建立了第一個「應用研究團隊」（Applied Research team）。團隊推出了微調API、嵌入API和審覈端點的初始版本，爲應用安全工作奠定了基礎，併爲許多早期API客戶提供了創新解決方案。

在GPT-4發佈後，我被賦予了一項新的使命：重新思考OpenAI安全系統的願景，並將工作集中在一個掌控完整安全堆棧的團隊之下。這是我做過的最困難、最有壓力，同時也是最令人興奮的事情之一。

如今，安全系統團隊擁有80多名出色的科學家、工程師、產品經理和政策專家，我爲我們團隊取得的一切感到無比自豪。我們共同成爲每次重大發布的基石——從GPT-4及其視覺和turbo版本，到GPT商店、語音功能和01。

在訓練這些模型既強大又負責任方面的工作上，我們樹立了新的行業標準。我特別爲我們最新的成就——o1-preview模型感到自豪，它是我們迄今爲止最安全的模型，在保持其實用性的同時，表現出對「越獄」攻擊的卓越抵抗力。

我們取得的成功，十分令人矚目：

我們訓練模型如何處理敏感或不安全的請求，包括何時拒絕或接受，通過遵循一套明確定義的模型安全行爲政策，在安全性和實用性之間取得了良好的平衡。

我們在每次模型發佈中都提高了對抗性魯棒性，包括防禦越獄、指令層級，並通過推理能力大大提高了模型的魯棒性。

我們設計了嚴格而創新的評估方法，與準備框架保持一致，併爲每個前沿模型進行了全面的安全測試和紅隊測試。我們對透明度的承諾體現在我們詳細的模型系統卡中。

我們開發了業界領先的具有多模態能力的審覈模型，並免費與公衆分享。我們目前在更通用的監控框架和增強的安全推理能力方面的工作將爲更多安全工作流程提供支持。

我們爲安全數據日誌記錄、指標、儀表板、主動學習管道、分類器部署、推理時過濾和新型快速響應系統奠定了工程基礎。

回顧我們取得的成就，我爲安全系統團隊的每個成員感到無比自豪，我堅信團隊將繼續蓬勃發展。我由衷地感謝你們，你們是最棒的！

現在，在OpenAI工作了七年之後，我感覺是時候重新出發，探索新的領域了。OpenAI正處於火箭般的軌道上，我衷心祝願這裡的每個人一切順利。

PS：我的博客仍然活躍，並將繼續更新。我可能很快就有更多時間來更頻繁地更新博客，或許還能抽出更多時間來編碼。