阿里雲發佈開源模型Qwen2

北京商報訊（記者 魏蔚）6月7日，阿里雲發佈開源模型Qwen2-72B。通義千問團隊披露，Qwen2系列包含5個尺寸的預訓練和指令微調模型，Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B，其中Qwen2-57B-A14B爲混合專家模型（MoE）。Qwen2所有尺寸模型都使用了GQA（分組查詢注意力）機制。在中英文之外，模型訓練數據中增加了27種語言相關的高質量數據。Qwen2還增大了上下文長度支持，Qwen2-72B-Instruct能夠完美處理128k上下文長度內的信息抽取任務。