黃仁勳扔出的算力核彈是堆疊嗎？馬斯克開源的大模型Grok纔是全球最大嗎？
來源：製造界
作者：秀二
圖源：截圖
1/黃仁勳的算力核彈：GB200
北京時間3月19日凌晨，黃仁勳扔出了一個“算力核彈”，基於英偉達Blackwell架構的B200芯片。據介紹，Blackwell平臺能夠在萬億參數級的大型語言模型（LLM）上構建和運行實時生成式AI，而成本和能耗比前身低25倍。
黃仁勳現場展示Grace-Blackwell系統（兩個Blackwell GPU、四個die與一個Grace Cpu連接在一起）。GB200將兩個B200 Blackwell GPU與一個基於Arm的Grace CPU進行配對。新芯片擁有2080億個晶體管，所有這些晶體管幾乎同時訪問與芯片連接的內存。將成爲亞馬遜、微軟、谷歌這類全球最大數據中心運營商部署新電腦和其他產品的基礎。
黃仁勳舉例稱，如果要訓練一個1.8萬億參數量的GPT模型，需要8000張Hopper GPU，消耗15兆瓦的電力，連續跑上90天。但如果使用Blackwell GPU，只需要2000張，同樣跑90天只要消耗四分之一的電力。
英偉達表示，基於Blackwell的處理器，如GB200，爲人工智能公司提供了巨大的性能升級，其AI性能爲每秒20千萬億次浮點運算，而H100爲每秒4千萬億次浮點運算。該系統可以部署一個27萬億參數的模型。黃仁勳稱，毫無疑問，微軟Azure、AWS、谷歌雲等一衆科技巨頭都是Blackwell架構的首批用戶。
黃仁勳說，“三十年來，我們一直在追求加速計算，目標是實現深度學習和AI這方面的變革性突破。生成式AI是我們這個時代的決定性技術。Blackwell是推動這場新工業革命的引擎。通過與世界上最具活力的公司合作，我們將實現AI在各行各業的承諾。”
英偉達在公告通稿中列舉了將採用Blackwell的一些組織，比如微軟、亞馬遜、谷歌、Meta、戴爾、OpenAI、甲骨文、馬斯克領導的特斯拉和xAI。黃仁勳介紹了包括這些公司在內的更多合作伙伴。
黃仁勳在演講中還官宣了一系列合作。其中提到，全球最大電動車公司比亞迪將採用英偉達下一代智能汽車芯片Thor，比亞迪同時將使用英偉達基礎設施進行自動駕駛模型訓練，以及英偉達Isaac來設計/模擬智能工廠機器人。
業內人士仔細剖析一下英偉達Blackwell架構的B200芯片，B200芯片並不是單一的GPU，而是通過互聯和堆疊技術，將多個GPU集成在一起。黃仁勳說過，創新不僅僅是芯片，而是整個堆疊，就是這個道理。
2/華爲最擅長的，就是聯接和堆疊
華爲最擅長的就是聯接和堆疊、是華爲，因爲華爲是通訊巨頭，利用通訊領域的數據技術打通了芯片和芯片之間的通訊，華爲早在6年前就開始在算力集羣上發力。在2023年7月舉行的昇騰人工智能產業高峰論壇上，華爲宣佈昇騰AI集羣全面升級，集羣規模從最初的4000卡集羣擴展至16000卡，是業界首個萬卡AI集羣，擁有更快的訓練速度和30天以上的穩定訓練週期，十倍領先業界。
去年9月，華爲推出全新架構的昇騰AI計算集羣——Atlas 900 SuperCluster，可支持超萬億參數的大模型訓練。新集羣採用了全新的華爲星河AI智算交換機CloudEngine XH16800，藉助其高密的800GE端口能力，兩層交換網絡即可實現2250節點（等效於18000張卡）超大規模無收斂集羣組網。
按照昇騰的指標，1000卡的算力約300P，千卡就能提升約30P，萬卡就能提升約300P。
想象一下，18000張GPU卡高速互聯在一起，是什麼景象？這纔是史詩級的超級AI計算機！
據瞭解，目前國產大模型有超過一半都是基於昇騰AI孵化出來的。
科大訊飛創始人劉慶峰摸着華爲的算力底座，激動地說，訊飛的星火認知大模型全部用國產算力訓練出來的，我們國產算力在戰略環節上站住了！
3/全球最大，馬斯克收穫3.5萬個星標
央視財經最新報道，馬斯克的XAI公司親自開發的大模型Grok，已於17日開源，不到三天就在託管網站（Github）收穫超過35000個星標。不少人工智能行業內的企業都表達了高度關注，稱將對Grok進行進一步的研究和開發。
據官網介紹，本次開源的Grok第一代產品Grok-1擁有3140億參數，是迄今全球參數量最大的開源大語言模型。相比之下，Meta公司旗下的開源模型Llama 2參數規模爲70億到700億，而OpenAI的GPT-3.5參數規模爲1750億。有分析認爲，由於模型規模龐大，許多小型開發者實際上難以真正將Grok運行起來。業內人士估計，大約需要8張H100計算卡才能滿足要求。
根據Grok-1遵循的開源協議，個人或企業可以自由使用、修改和發佈軟件，包括商業用途。因此有分析認爲，Grok-1的開源也爲許多AI初創公司提供了另一個選擇。一些人工智能初創公司已經表示，將會基於Grok模型進行對話式搜索和推理的微調。
奧爾特曼日前接受美國知名播客Lex Friedman的專訪，談及與馬斯克（Elon Musk）之間的法律紛爭,奧爾特曼在對話表示，當年是馬斯克選擇分道揚鑣，尤其他希望OpenAI被特斯拉收購，並讓特斯拉完全控制OpenAI。
奧爾特曼還表示，“他認爲OpenAI將會失敗，他希望能夠完全掌控並扭轉局勢。而我們則希望繼續朝着現在OpenAI的方向前進。他還希望特斯拉能夠開展AGI項目。在不同時期，他都想把OpenAI變成一家盈利公司，由他掌控，或者與特斯拉合併。但我們不想這麼做，於是他決定離開，這其實挺好的。”
馬斯克和奧爾特曼誰是誰非並不重要。重要的是胸懷和格局，真正推動人工智能發展造福人類。
聯繫我們：txm176（值班微信）廣告及商務合作：電話18660411611投稿及採訪約談：郵箱447377407@qq.com
版權聲明：製造界除發佈原創文章外，亦致力於優秀文章的交流分享。轉載須註明文章來源和作者；申請轉載授權請在文末或後臺留言。版權所有，違者必究。