高速運算平臺記憶體爭霸

圖一 : NVIDIA﹑AMD﹑Intel已上市的AI加速器產品及其搭配的記憶體一覽

【作者： 黃弘毅】

在不同AI運算領域中，依照市場等級的需要，大致上可以分成三種，一種是作爲高性能運算中心的人工智慧、機器學習與圖形處理的超高速運算與傳輸需求；一種是一般企業的AI伺服器、一般電腦與筆電的演算應用；另一種是一般消費電子如手機、特殊應用裝置或其它邊緣運算的應用。

現階段三種等級的應用，所搭配的記憶體也會有所不同，等級越高記憶體的性能要求越高，業者要進入的門檻也越高。不過因爲各類AI應用的市場需求龐大，各種記憶體的競爭也異常的激烈，不斷地開發更新產品，降低成本，企圖向上向下擴大應用，所以只有隨時保持容量、速度與可靠度的優勢纔是王道。本文就以這三種等級現在最熱門的記憶體發展來做說明。

AI高性能運算中心等級記憶體

搭配這種AI晶片的記憶體，毫無懸念就屬HBM獨佔鰲頭了。市佔率達95%的Nvidia AI晶片都是以HBM系列記憶體來搭配，最新的H200 GPU以H100爲基礎，將原本80GB的HBM3記憶體升級爲141GB的HBM3e。而競爭對手AMD同等級的MI350 AI晶片也採用HBM3e新型高頻寬記憶體。緊追在後的Intel Gaudi 3 AI晶片當然也是使用HBM系列的HBM2e記憶體。HBM系列記憶體早已供不應求了。

顯然目前所有AI加速器都採用HBM記憶體系列，而未來將制定的DDR6和DDR7記憶體是否有機會跨入此一市場？雖然DDR6等是傳統的動態隨機存取記憶體（DRAM）技術的進一步演進，專爲提升系統記憶體頻寬和效率而設計。它們未來還是主要用於個人電腦、伺服器和一些嵌入式系統中，預計DDR6的資料傳輸速率可達到12.8 Gbps，而DDR7可能會更高，但這些仍主要在應付PC提升到AI PC後，對於高容量、高速度記憶體的需求。

目前市場上提供HBM技術的主要廠商包括：

SK海力士（SK Hynix）：提供HBM1、HBM2、HBM2E與HBM3產品。

三星電子（Samsung Electronics）：同樣涵蓋從HBM1到HBM3的產品線。

美光科技（Micron Technology）：較晚進入HBM市場，但也開始提供HBM2產品，並參與未來更高規格的研發。

HBM記憶體採用了3D堆疊技術和通過矽穿孔（TSV, Through-Silicon Vias）連接技術來堆疊多層晶片，這使得數據傳輸距離短，速度快，功耗低。這種堆疊方式和垂直連接的設計是HBM的核心技術特點。使用矽基材料並通過精密的微加工技術製造這些穿孔，以實現層與層之間的密集連接。

【欲閱讀更豐富的內容，請參閱2024.7(第392期)CTIMES雜誌】

2024.7(第392期)記憶體的鐵人三項