通義千問開源千億級參數模型

4月28日，通義千問開源1100億參數模型Qwen1.5-110B，成為全系列首個千億級參數開源模型。通義千問1100億參數模型延續了Qwen1.5系列的Transformer解碼器架構，採用了分組查詢注意力方法(GQA)，使得模型在推理時更加高效。110B模型支持32K上下文長度，具備優秀的多語言能力，支持中、英、法、德、西、俄、日、韓、越、阿拉伯等多種語言。(財聯社)