羣聯自研AI服務方案
羣聯執行長潘健成將在該公司於8月4日舉行的第二季線上法說上,親自剖析對AI浪潮的看法。
羣聯的AI服務方案,也將在於美西時間8月8日至8月10日於美國的快閃記憶體峰會(Flash Memory Summit)亮相。
羣聯的AI服務方案,爲整合SSD的AI運算架構,將大型AI模型做結構性拆分,並將模型參數隨應用時間序列與SSD協同運行,以達到在有限的GPU與DRAM資源下,最大化可執行的AI模型,預計能有效降低提供AI服務,所需投入的硬體建構成本。
首波應用在導入整合SSD協同運算的量產aiDAPTIV+AOI光學檢測系統,可幫助SMT工廠加速進入工業4.0,降低硬體建置成本,提升不良率的檢測效率,消除人力檢測所導致的不穩定性。
近期隨着ChatGPT等超大型AI模型的興起,帶動AI於未來可能輔助企業與個人的想像空間。因AI模型的成長速度極快,也導致提供AI服務的硬體建構成本大幅提升。
其主要原因爲現行AI模型,主要運行於GPU與DRAM當中,但未來AI模型的成長速度,將遠超過GPU與DRAM可供給的量。
根據微軟研究報告指出,AI模型的成長速度將會是GPU卡中的DRAM成長速度的200倍。換言之,現行的AI運算硬體架構成長速度,已無法滿足AI應用的需求。
羣聯的aiDAPTIV+AOI服務,適用於各種SMT產品線,包含SSD、顯示卡、DRAM、主機板等,目前已有凌華、技鋼等將近10家的SMT夥伴,參與羣聯AI服務系統測試,已有效提升客戶與SMT廠既有AOI系統的準確率。