華泰證券:大模型持續迭代有望帶來大量算力基礎設施需求

智通財經APP獲悉,華泰證券發佈研報指出,從大模型的演化路徑來看,模型體量還將進一步擴張,從而帶來算力需求持續增長。長遠來看,成熟大模型的運營有望帶來3169億美元的服務器增量市場,較2023年全球211億美元的AI服務器市場而言,仍有較大成長空間。基於此,大模型持續迭代有望帶來大量算力基礎設施需求,建議關注算力產業投資機遇。

華泰證券主要觀點如下:

全球AI算力需求繼續向上

隨着大模型持續迭代,模型能力不斷增強,其背後是“Scaling Law”下模型參數量和數據集不斷增長的結果。華泰證券認爲,從大模型的演化路徑來看,模型體量還將進一步擴張,從而帶來算力需求持續增長。

具體來看,大模型對算力的需求體現在預訓練、推理、調優三個環節。根據華泰證券的測算,以1000億參數模型爲例,三個環節的算力總需求約18萬PFlop/s-day,對應需要2.8萬張A100等效GPU算力。長遠來看,成熟大模型的運營有望帶來3169億美元的服務器增量市場,較2023年全球211億美元的AI服務器市場而言,仍有較大成長空間。基於此,華泰證券認爲大模型持續迭代有望帶來大量算力基礎設施需求,建議關注算力產業投資機遇。

模型體量越來越大,帶動算力建設需求

大語言模型(LLM)是在大量數據集上預訓練的模型,其在處理各種NLP任務方面顯示出了較大潛力。Transformer架構的出現開啓了大模型的演化之路,隨着解碼模塊堆疊數量的不斷增長,模型參數量持續增加,逐漸演化出GPT-1、GPT-2、GPT-3、PaLM、Gemini等不同版本模型,參數量也從十億、百億,向千億、萬億增長。

華泰證券表示,每一代模型的演化都帶來能力的增強,背後一個很重要的原因在於參數量和數據集的增長,帶來模型感知能力、推理能力、記憶能力的不斷提升。基於模型的縮放定律,華泰證券認爲,未來模型迭代或仍將延續更大參數量的路徑,演化出更加智能的多模態能力。

大模型的算力需求體現在:預訓練、推理、調優

拆解來看,大模型的算力需求場景主要包括預訓練、Finetune及日常運營。對於三部分的算力需求,華泰證券的測算思路如下:1)預訓練:基於“Chinchilla 縮放定律”假設,計算量可以通過公式C≈6NBS來刻畫;2)推理:以ChatGPT流量爲基準,計算量可以通過公式C≈2NBS來刻畫;3)調優:通過調優所需的GPU核時數倒推。

以1000億參數模型的預訓練/推理/調優爲例,三個環節所需的算力需求分別爲13889、5555.6、216 PFlop/s-day。華泰證券認爲,在縮放定律(Scaling Law)加持下,隨着模型體量增長,算力需求有望持續釋放。

基礎設施需求有望持續釋放,關注算力產業投資機遇

結合對大模型預訓練/推理/調優的算力需求測算,華泰證券預計從開發到成熟運營一個千億模型,對A100等效GPU的需求量爲2.8萬張。根據華泰證券測算,成熟大模型的運營有望帶來3169億美元的全球AI服務器增量市場。對比來看,據IDC,2023年全球AI服務器市場規模211億美元,預計2024-2025年CAGR將達22.7%,未來仍有較大成長空間。此外,考慮到國內對高性能芯片獲取受限,AI GPU國產化也有望進一步提速。

風險提示:宏觀經濟波動、下游需求不及預期、測算結果可能存在偏差。