阿里雲發佈開源模型Qwen2系列 增強安全性對齊及多語言能力

Qwen2-72B模型在15個標準測試中超越其他領先的開源模型

阿里雲最近發佈其最新通義千問(Qwen)大型語言模型Qwen2系列，不僅性能表現突出，改善安全性對齊，並在訓練數據中增加了27種語言相關的高質量數據，提升了模型的多語言能力。

Qwen2系列上線不久後，便在業內權威開源評測榜單Hugging Face的開放LLM排行榜上名列第一。 通義千問開源模型擁有5億到1,100億參數的多種尺寸，已在Hugging Face和Github等平台上獲得超過700萬次下載量。

此次發佈的Qwen2系列包含5個尺寸的預訓練及指令微調模型，Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B，其中Qwen2-57B-A14B為混合專家模型（MoE）。Qwen2以增強的性能和多語言能力為特色，展示了與人類價值觀更好的對齊，使其更接近有用、誠實和安全的AI。

作為對開源社區的貢獻，Qwen2系列模型均已開源，在其AI模型社區ModelScope（魔搭）和協作AI平台Hugging Face上供商業或研究目的使用。

阿里雲首席技術官周靖人表示，「堅持開源開放是阿里雲的重要策略，我們希望打造一朵AI時代最開放的雲，讓算力更普惠、讓AI更普及。」

多語言能力及长文本支持

通過利用阿里雲的優化訓練方法，Qwen2-72B在語言理解、語言生成、多語言能力、編碼、數學、推理等多個方面的15個標準測試中勝過其他領先的開源模型。此外，Qwen2-72B增大了上下文長度支持，最高達到128K tokens。

為了增強其多語言能力，除了原本具備的中英文能力，Qwen 2的訓練新增了27種語言覆蓋亞洲、歐洲、中東地區，例如日文、韓文，越南語、印尼語、泰語、馬來語、他加祿語、德語、法語、意大利語、阿拉伯語等。

除此之外，還為不同的Qwen2模型應用了群組查詢注意力（Grouped-query attention, GQA）技術，以優化計算效率與模型性能之間的平衡，在模型推理過程中提升速度並減少內存使用。

負責任的AI

值得注意的是，通過後訓練，Qwen2模型的輸出在諸如MT-bench這樣的基準測試中展示了與人類價值觀更好的對齊，這是評估聊天機器人多輪對話和遵循指令能力的多輪問題集，這兩個方面是人類偏好的兩個關鍵要素。

通過納入人類反饋以更好地與人類價值觀對齊，這些模型在安全性和責任方面表現良好，能夠應對與非法活動、欺詐、色情和隱私侵犯相關的多語言不安全查詢，以防止模型的濫用。在小模型方面，Qwen2-7B也在包括代碼在內的多項基準測試中超越了其它相似尺寸的先進模型。

深入探索新興技術主題

阿里雲的Qwen2模型系列的推出和表現再次證明其在AI領域的領導地位，特別是在開放源代碼的大型語言模型方面。通過加強性能、多語言能力和安全性的對齊，Qwen2旨在推動AI技術的進步，同時確保其應用符合人類價值觀和倫理標準。隨著AI技術的快速發展，像Qwen2這樣的模型在推進技術創新的同時，也提醒我們需關注其在社會中的應用和影響。阿里雲對開源社區的貢獻，包括使這些先進的模型可用於商業和研究目的，進一步展示了公司致力於推廣AI知識和技術的開放獲取，旨在激發全球範圍內的創新和發展。

立即訂閱阿里足跡，緊貼阿里巴巴集團最新發展動向，通過新聞故事及專題文章了解創新科技、電子商務及智能物流等新興議題的嶄新趨勢