天命人閒置的4090,把GPU租賃價格打下來了(doge)

GPU租用市場越來越玄幻了,價格被打下來的原因,居然可以是天命人閒置的4090被循環利用了(doge)?

最近,一種新型的GPU租賃方式開始興起。

它能讓手上有閒置計算卡的人,把資源租給需要的人。

舉個例子,爲了打黑神話買了4090的天命人,可以把卡租給煉丹俠們。自己能掛機“躺着”賺錢,煉丹俠還能以更划算的價格租算力(4090只需每小時1塊錢那種)。

距離大範圍算力荒纔過去僅僅1年,算力租賃市場已經是一番新氣象了。

不僅如此,老牌租賃平臺們也紛紛主動降價。海外,H100價格被捲到每小時2美元。

國內情況亦是如此,A100(80GB)租用價低至6.68元/小時,40GB爲3.28元/時,A800則是5.98元/小時。

按理說,現在正是AI算力需求旺盛的時刻。大型雲廠商打價格戰爲了跑馬圈地還可理解,算力租賃平臺價格沒有水漲船高,反而開始降價……

這背後,到底發生了啥啊?

“白菜價”搞定高端算力

先一句話總結,相較於ChatGPT元年,AI算力告急問題總體得到緩解,但是依舊面臨挑戰。

如上變化由算力供需側共同影響而來。

首先在算力供給上,大模型趨勢進一步推動AI底層硬件以及基礎設施發展。

國際方面,英偉達這兩年不僅擴大了AI計算產品線,更在產能上大幅提升,以滿足暴增的市場需求。

Hopper架構和Blackwell架構均包含Transformer引擎,分別推出了2款產品供市場選擇,且不同架構之間的代際升級非常明顯。B200的晶體管數量已達到2080億,分別是H100的2.6倍、A100的3.8倍,後兩者則發佈於大模型浪潮之前。

兩個B200 GPU與Grace CPU結合就成爲GB200超級芯片。在標準1750億參數GPT-3基準測試中,GB200的性能是H100的7倍,提供的訓練算力是H100的4倍。

眼下首批工程版B200已經送到OpenAI投入使用。據天風國際分析師郭明錤透露,英偉達Blackwell GB200四季度的出貨量將在15萬塊至20萬塊,明年第一季度出貨量將顯著增長200%-250%,達到50-55萬塊。

這同時帶動了全行業的產品迭代升級節奏,AMD、英特爾等爲保持競爭力,近兩年也紛紛推出更先進AI計算產品。

更具規模的變化體現在算力基建方面。據中國信息通信研究院測算,截至2023年底,全球算力基礎設施總規模達到910EFLOPS,同比增長40%。

美國、中國算力基礎設施規模位列前兩名,算力全球佔比分別爲32%、26%。

另一方面,算力需求也在近一年內發生變化。

隨着開源模型性能達到GPT-4水平(如405B Llama 3、DeepSeek-v2等),以及中小模型(7B-70B規模)應用更加成熟,中小企業/開發者陸續入場,以及近期趨勢推理Scaling law成爲新方向。黃仁勳預測,隨着推理鏈的出現,推理的規模預計將迎來千萬乃至十億倍的增長。

種種原因都導致市場的微調推理需求大幅增加,訓練需求的增長趨勢開始放緩。

相較於訓練,推理階段對硬件的要求沒有那麼高。在實際場景中,往往是用最先進設備進行訓練,上一代產品進行推理。

因此可以看到,大型廠商依舊追捧H100、B200等高端GPU,但是中小企業/開發者不再趨之若鶩,轉而關注更具性價比的選擇。

但問題是,算力供需不平衡問題依舊棘手。

宏觀上,《人工智能算力高質量發展評估體系報告》中表示,我國算力市場還面臨供給不足、算力智能水平較低、能源考驗、供應鏈完備性不足等問題。

微觀上,以學術圈爲例,“算力荒”還是普遍現象。

今年5月,李飛飛在採訪中透露,斯坦福NLP實驗室只有64塊A100。相比於產業界,這個數字不值一提,但在高校圈裡已經是相當富有了。

更普遍的現象是,許多高校實驗室都只有消費級顯卡,大家還需要排隊使用。實驗經費有限導致租賃算力也將面臨更多制約。

在這些矛盾下,算力市場開始更加主動、自發提出新型應對措施。

最明顯的跡象莫過於——經典算力平臺主動降價+新興算力租用模式浮現。

能薅羊毛更能掛機賺錢

今年算力市場最熱門的話題莫過於“價格戰”,這並不侷限於賣大模型服務的雲廠商,提供算力租賃的各大平臺也是主角。

不同類型的平臺降價方式也有所差距。

目前算力租賃平臺主要有兩種類型:

前者好比京東,其所有的GPU服務器是自營資源,通常在提供算力的同時也保障一系列配套服務,能讓用戶更低門檻、更便利調用算力。該模式下,定價權在運營方自己手裡,今年以來多家平臺都在主動降價。

後者好比淘寶,爲機主和用戶提供平臺,供雙方進行服務交易。這種模式較爲新興,可以讓有閒置計算資源的機主將GPU出租,“掛機賺錢”。它天生就能提供更具性價比的租賃價格。

不過需要注意,對於算力租賃,價格低只是考量因素之一,用戶同時關注平臺提供的服務能力。

對於前者,用戶更關心平臺提供的算力是否足夠划算、使用是否足夠友好;對於後者,機主和用戶則更在意平臺是否靠譜。

更具體的模式分析,來看行業典型案例。

經典算力雲平臺中,論誰打價格戰最兇猛,AutoDL必是其一。

有資歷的煉丹俠們對這個平臺應該都不陌生。就是它當年把3090的租用價格從4.5元/小時打到了1.32元/小時,在用戶這兒是有口皆碑了。

它在2021年上線,專注於提供彈性、好用、省錢的GPU算力服務。

GPU總規模在國內同類型平臺中位列前茅,提供豐富的GPU選擇,包括A100、A800、V100、4090、3090等。

它的主要目標用戶包含了高校科研人羣以及企業用戶,所以在極具性價比的同時也主要入門友好。

平臺支持各種深度學習框架,如TensorFlow和PyTorch,並提供相應的CUDA環境,用戶可根據需求選擇合適的鏡像。

具體能力上,兼顧科研、企業需求。主要包括:

付費方面更符合“羊毛黨”需求,主要提供按秒計費、包卡計費兩種模式。

按量計費模式下,實例開機開始計費,關機結束計費,時長可精確到秒,最低計費0.01元。關機所有數據會保留(15天),支持鏡像保存、文件存儲等。

包年包月爲預留GPU模式,支持按日按周按月等租用,價格比按量計費更便宜,長期使用更划算。

而且只要註冊,平臺就送一個月煉丹會員,認證學生直接升級煉丹會員,認證期間內將一直有效。會員將享有價格優惠。

另一方面,大模型趨勢興起後,C2C(用戶對用戶)模式變得火熱。

硅谷的代表爲San Francisco Compute,從寂寂無名到成爲黑馬,它僅僅用了半年時間。還拿下了山姆·奧特曼弟弟領投的1200萬美元種子輪融資,估值達到7000萬美元。

國內如今也出現類似趨勢,比如剛剛上線3個月的橘皮優,現已和AutoDL達成戰略合作。

按照自我定義,橘皮優是一個促進C2C雙邊AI算力交易的撮合平臺。

它的核心目標是通過共享經濟的模式,降低用戶使用AI算力的成本,同時讓私有閒置算力被高效應用,推動了算力普惠和綠色低碳。

該平臺支持的算力類型包括GPU、NPU、CPU、ASIC、ARM、RISC-V等,能夠滿足AI訓練、AI推理、圖像生成以及渲染等任務需求。

相較於AutoDL,橘皮優提供的算力租賃服務價格更低,適用於對機器配置不敏感的人羣。

同時它更加定製化,支持個人的外部鏡像、實例端口靈活。

也可以在該平臺上成爲機主對外出租賺外快,支持自助上機,不限制機器和數量。

由於和AutoDL達成戰略合作,背後團隊是算力行業老兵,在魚龍混雜的算力市場裡是更加靠譜的選擇。

或許也不用擔心沒人來租,畢竟AutoDL靠着性價比優勢,在短短3年時間裡形成龐大的用戶基礎。之前大家用卡都是靠搶的。

所以也不免有人好奇,這麼低的價格,它圖啥啊?

其實,AutoDL技術團隊本身就來自學術圈,從2017年開始就在做GPU相關服務。這樣的出身背景下,AutoDL團隊自然更懂AI行業痛點,並積累了豐富經驗。

由此也就不難理解AutoDL爲何堅持提供量大管飽還划算的算力資源。

隨着AI大模型應用落地趨勢繼續,對AI算力的需求還會繼續增加。

對於很多科研高校、中小企業而言,算力會成爲研發和落地應用上的第一道門檻。

如今,隨着算力租賃市場發展更加完善,模式更加多樣化,使用算力也變得像去食堂打飯一樣——量大管飽還實在。

對於行業而言,這能更大程度緩解算力供需不平衡問題,同時也讓資源實現更高效綠色流轉。

當然,最主要的還是各位煉丹師們可以薅到羊毛,因爲玩黑神話入手4090的天命人們也能找到回本的渠道(doge)。

最後,附上文中兩個平臺的官網,感興趣同學可進一步瞭解!

AutoDL官網:https://www.autodl.com

橘皮優官網:https://gpu.pro