解讀｜GPT-4o爲OpenAI開啓超級入口，對谷歌形成挑戰？

·和GPT-4相比，GPT-4o的最大區別在於，所有模態都集成在一個模型中，多模態整合更精細，延遲僅300毫秒左右，同時能夠感知情緒、語氣、表情，實現更自然的交互，這需要數據組織能力、聚焦突破能力、工程優化能力，也擴大了人們對於交互的想象空間。

·基於ChatGPT或GPT-4o，未來人類獲得信息的方式很可能會改變，GPT-4o或爲OpenAI開啓了一個超級入口，這可能會對谷歌帶來影響。接下來，OpenAI需要判斷的是在產品上的極致體驗是否是剛需。

“GPT-4o在超自然的交互模式上是一個巨大進步。”5月14日，螞蟻集團副總裁、NextEvo負責人徐鵬對澎湃科技表示。2024年5月14日凌晨， OpenAI向人們展示了其最新多模態大模型產品——GPT-4o，o代表omini，意爲全能。

與現有模型相比，GPT-4o展現出了其在視覺和音頻理解方面的出色技能。伴隨着GPT-4o的到來，外界紛紛猜測，美國科幻電影《她》所描寫的時代正一步步向我們靠近。2013年，電影《她》(《Her)》）中講述了一個男人愛上了一個語音助手的故事。

與谷歌競爭原生多模態？

根據OpenAI工程師、首席技術官米拉·穆拉蒂（Mira Murati）的介紹，GPT-4o可以在音頻、視覺和文本中進行實時推理，接受文本、音頻和圖像的任何組合作爲輸入，並生成文本、音頻和圖像的任何組合進行輸出。它可以最短在232毫秒內響應音頻輸入，平均爲320毫秒，這與人類在對話中的響應時間相似。

獵豹移動董事長兼CEO傅盛表示，雖然GPT-4o讓人工智能從業者“比較失望”，但他也指出，“GPT-4o相當於把一系列引擎結合在一起，比如圖片文字聲音，這樣用戶就不需要來回切換了。最重要的是這次發佈的語音助手，由於使用了端到端的大模型技術，它能夠實時感知情感變化，在該插話的時候插話，其實這纔是大模型的未來。”

徐鵬在接受澎湃科技採訪時表示，雖然OpenAI沒有推出大衆期待的GPT-5，但GPT-4o在超自然的交互模式上是一個巨大進步。和GPT-4相比，GPT-4o的最大區別在於，所有模態都集成在一個模型中，多模態整合更精細，延遲僅300毫秒左右，同時能夠感知情緒、語氣、表情，實現更自然的交互，這需要數據組織能力、聚焦突破能力、工程優化能力，也擴大了人們對於交互的想象空間。

徐鵬表示，OpenAI的目標是將語音能力和語言理解能力深度結合，早在GPT-3時代，其推出的自動語音識別系統Whisper就是一個前期研究。“把語音、圖像、視頻、文字等各種模態的數據放在統一表徵框架下，對於實現他們眼中的API（應用程序編程接口）是一個非常自然的方式，因爲人也是多模態理解和交互的智能體。”

徐鵬認爲，2023年12月，谷歌推出原生多模態Gemini模型之後，OpenAI就在爲原生多模態領域的競爭做準備了。所謂“原生多模態”，即從一開始就使用多種模態（例如音頻、視頻和圖像）訓練模型，而不是“拼湊多模態”模型。

GPT-5可能還要難產一段時間？

“把圖像、文字、語音、視頻編碼編到一個模型裡，在模型裡它們有統一的表徵，這些數據一起送給模型訓練，模型就會學到各個模態，只要它們的信息是相關的，內部的表徵實際上是非常接近的，這樣在生成時也會比較靈活。”徐鵬表示，內部表徵已經融合，所以GPT-4o可以最快的速度輸出生成的語音，實現低延時的絲滑交互。“OpenAI的工程能力確實令人讚歎，模態這麼多，輸入token數非常多，還能夠以兩三百毫秒的延遲輸出，這在工程上是難得的進展。”

對於此次GPT-4o模型，目前，OpenAI高管並未透露訓練GPT-4o模型時使用了什麼樣的數據，也未透露OpenAI能否利用較少的算力訓練該模型。科技投資人、華創資本創始合夥人熊偉銘告訴澎湃科技，儘管OpenAI在此次發佈會上並未透露太多關於GPT-4o模型訓練的技術細節，但可以猜測出，這類端到端的大模型技術的實現，背後依賴了強大的算力支持。“肯定是大力出奇跡，這一點美國的算力市場確實成熟很多，資本市場也支持大規模的算力投入。”熊偉銘說。

傅盛認爲，如果不計成本地疊加參數，提高所謂的大模型能力，這條路肯定會遇到困難。他預計，GPT-5可能還要難產一段時間。

超級入口已經開啓？

OpenAI官網顯示，目前，GPT-4o的文本和圖像功能開始在ChatGPT中免費推出，Plus用戶可以享受到5倍的調用額度。新版語音模式將在未來幾周向Plus用戶推出，同時也將會在API（應用接口）中向小範圍推出對GPT-4o的新音頻和視頻功能的支持。

熊偉銘認爲，OpenAI的產品策略一方面能夠吸引免費的用戶使用，可以收集用戶大量的數據投餵給模型訓練，有助於進一步改進產品，“這樣交互的大模型用戶數據將會非常豐富。”另一方面，能夠培養用戶的付費意願，也是商業化的一種嘗試。

“我覺得OpenAI的這種嘗試，可能會改變國內一些用戶使用軟件的習慣。大家可能會願意付費在AI平臺的使用上。”熊偉銘說。

徐鵬認爲，OpenAI免費爲用戶開放服務看中的是基於GPT-4o原生多模態的能力，未來更多企業可以在GPT-4o的基礎上開發出更自然的垂類交互產品。

過去一週，外媒不斷有消息傳出OpenAI將推出AI搜索產品，雖然OpenAI沒有推出搜索引擎，但是徐鵬認爲基於ChatGPT或GPT-4o，未來人類獲得信息的方式很可能會改變，GPT-4o或爲OpenAI開啓了一個超級入口，這可能會對谷歌帶來影響。接下來，OpenAI需要判斷的是在產品上的極致體驗是否是剛需。

信也科技副總裁、大數據及AI負責人陳磊告訴澎湃科技，從技術上看，GPT-4o的發佈具有跨時代意義，真正實現了多模態交互，更需要關注的是後續商業化中究竟如何持續落地。 “語音識別、語音生成不是最難的，最難的是推理歸納。GPT-4o做題比以前做題難度更高了。把算法調到一定程度是能實現交互流暢性的，但像人一樣思考、推理、歸納、總結，這是更高智能的體現。”

陳磊同時表示，國內還在對標GPT-4時，OpenAI推出了GPT-4o。行業需要思考的是在持續追趕中如何差異化競爭。“我們始終在追，追到一定程度發現推出了新一代產品，我們始終感覺在落後，所以要調整心態，尋找另外一條路。”陳磊說。

傅盛認爲，OpenAI發佈GPT-4o模型應用，正說明了大模型在應用層面大有可爲，大模型的能力會不斷迭代，但最終能把大模型用好的，還是應用。