今天凌晨，阿里巴巴官宣了史上最大規(guī)模的開源發(fā)布，推出了基礎模型Qwen2.5、專用于編碼Qwen2.5-Coder和數(shù)學的Qwen2.5-Math。
這三大類模型一共有10多個版本，包括0.5B、1.5B、3B、7B、14B、32B和72B，適用于個人、企業(yè)以及移動端、PC等不同人群不同業(yè)務場景的模型。
如果不想進行繁瑣的部署，阿里還開放了旗艦模型Qwen-Plus 和 Qwen-Turbo的API，幫助你快速開發(fā)或集成生成式AI功能。
下面「AIGC開放社區(qū)」詳細為大家介紹這些模型的性能特點以及測試結果。
Qwen2.5系列性能測試
本次阿里開源的最大版本指令微調模型Qwen2.5-72B在MMLU-Pro、MMLU-redux、GPQA、MATH、GSM8K、HumanEval、MBPP等全球知名基準測試平臺的測試結果顯示，
雖然Qwen2.5只有720億參數(shù)，但在多個基準測試中擊敗了Meta擁有4050億參數(shù)的最新開源Llama-3.1指令微調模型；全面超過了Mistral最新開源的Large-V2指令微調模型，成為目前最強大參數(shù)的開源模型之一。
即便是沒有進行指令微調的基礎模型，其性能同樣超過Llama-3-405B。
阿里開放API的旗艦模型Qwen-Plus，其性能可以媲美閉源模型GPT4-o 和Claude-3.5-Sonnet。
此外，Qwen2.5系列首次引入了140 億和320億兩種新參數(shù)模型，Qwen2.5-14B 和 Qwen2.5-32B。
指令微調模型的性能則超過了谷歌的Gemma2-27B、微軟的Phi-3.5-MoE-Instruct，與閉源模型GPT-4o mini相比，只有三項測試略低其他基準測試全部超過。
自阿里發(fā)布CodeQwen1.5 以來，吸引了大量用戶通過該模型完成各種編程任務，包括調試、回答編程相關的問題以及提供代碼建議。
本次發(fā)布的Qwen2.5-Coder-7B指令微調版本，在眾多測試基準中，擊敗了那些知名且有較大參數(shù)的模型。
前不久阿里首次發(fā)布了數(shù)學模型Qwen2-Math，本次發(fā)布的Qwen2.5-Math 在更大規(guī)模的高質量數(shù)學數(shù)據(jù)上進行了預訓練，包括由 Qwen2-Math 生成的合成數(shù)據(jù)。同時增加了對中文的支持，并通過CoT、PoT和 TIR的能力來加強其推理能力。
其中，Qwen2.5-Math-72B的整體性能超越了Qwen2-Math-72B指令微調和著名閉源模型GPT4-o。
其實從上面這些測試數(shù)據(jù)不難看出，即便是參數(shù)很小的模型，在質量數(shù)據(jù)和架構的幫助下，同樣可以擊敗高參數(shù)模型，這在能耗和環(huán)境部署方面擁有相當大的優(yōu)勢。而阿里本次發(fā)布的Qwen2.5系列將小參數(shù)模型的性能發(fā)揮到了極致。
Qwen2.5系列簡單介紹
Qwen2.5系列支持中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文等超過29種主流語言。與 Qwen2類似，Qwen2.5語言模型支持高達 128K tokens，并能生成最多 8K tokens的內容。
與Qwen-2相比，Qwen2.5系列的預訓練數(shù)據(jù)大幅度增長達到了驚人的18萬億tokens，超過了Meta最新開源Llama-3.1的15萬億，成為目前訓練數(shù)據(jù)最多的開源模型。
知識能力顯著增強，Qwen2.5在 MMLU 基準測試中，與 Qwen2-7/72B 相比從70.3提高到74.2，從84.2提高到86.1 。Qwen2.5 在 GPQA/MMLU-Pro/MMLU-redux/ARC-c 基準測試上也有顯著改進。
Qwen2.5能夠生成更符合人類偏好的響應，與Qwen2-72B-Instruct相比，Qwen2.5-72B-Instruct的Arena-Hard分數(shù)從48.1顯著提高到81.2 ，MT-Bench分數(shù)從9.12提高到9.35 。
數(shù)學能力獲得增強，在融合了Qwen2-math的技術后，Qwen2.5的數(shù)學能力也得到了快速提升。在MATH基準上，Qwen2.5-7B/72B-Instruct的得分從Qwen2-7B/72B-Instruct的52.9/69.0提高到75.5/83.1。
此外，Qwen2.5在指令跟蹤、生成長文本（從1k增加到超過8K標記）、理解結構化數(shù)據(jù)（例如表格）以及生成結構化輸出（尤其是JSON）方面實現(xiàn)了顯著改進。同時對系統(tǒng)提示的多樣性更具彈性，增強了聊天機器人的角色扮演實施和條件設置。
本文素材來源Qwen，如有侵權請聯(lián)系刪除
