解決傳統架構記憶瓶頸 MiniMax發佈新一代模型

新京報貝殼財經訊(記者羅亦丹)1月15日,“AI六小虎”之一的MiniMax發佈並開源了新一代01系列模型,包含基礎語言大模型MiniMax-Text-01和視覺多模態大模型MiniMax-VL-01。該系列模型使用多項突破性創新,以大規模應用線性注意力機制打破了Transformer傳統架構的記憶瓶頸。

未來,AI智能體有望成爲最重要的產品形態,由於智能體處理的任務變得越來越複雜,涉及的數據量也越來越大,單個智能體的記憶以及多個智能體協作間的上下文都會變得越來越長。因此,長上下文能力與多模態處理能力的提升至關重要。

技術上,MiniMax-01系列模型首次將線性注意力機制擴展到商用模型的級別,受益於此次架構創新,該系列模型在處理長輸入的時候具有非常高的效率,接近線性複雜度。從規模效應、結構設計、訓練優化和推理優化等層面綜合考慮,MiniMax選擇模型參數量爲4560億,其中每次激活459億,能夠高效處理400萬token的上下文,將有效替代Transformer傳統架構並開啓超長文本輸入時代。相較於Gemini等一衆全球頂級模型,MiniMax-01隨着輸入長度變長,性能衰減最慢。

值得注意的是,MiniMax還開源了Text-01模型、VL-01模型的完整權重,以便於更多開發者做有價值、突破性的研究。MiniMax方面表示,“我們認爲這有可能啓發更多長上下文的研究和應用,從而更快促進Agent時代的到來,二是開源也能促使我們努力做更多創新,更高質量地開展後續的模型研發工作。”

編輯 嶽彩周

校對 穆祥桐