明敏 克雷西 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
剛剛，大模型競(jìng)技場(chǎng)榜單上再添一款國(guó)產(chǎn)模型
來(lái)自阿里，Qwen2.5-Max，超越了DeepSeek-V3，以總分1332的成績(jī)位列總榜第七。
同時(shí)還一舉超越Claude 3.5 Sonnet、Llama 3.1 405B等模型。
特別是在編程、數(shù)學(xué)等方面表現(xiàn)格外突出，能夠與滿血o1、DeepSeek-R1并列第一。
Chatbot Arena是由LMSYS Org推出的大模型性能測(cè)試平臺(tái)，目前集成了190多種模型，采用模型兩兩組隊(duì)交給用戶盲測(cè)，根據(jù)真實(shí)對(duì)話體驗(yàn)對(duì)模型能力進(jìn)行投票。
也正因此， Chatbot Arena LLM Leaderboard是全球頂級(jí)大模型的最權(quán)威、最重要的競(jìng)技場(chǎng)。
在其新開(kāi)的網(wǎng)頁(yè)應(yīng)用開(kāi)發(fā)WebDev榜單上，Qwen2.5-Max也沖進(jìn)了前十。
對(duì)此lmsys官方評(píng)價(jià)說(shuō)，中國(guó)AI正在快速縮小差距！
并且親身使用過(guò)的網(wǎng)友表示，相比之下Qwen的表現(xiàn)更加穩(wěn)定。
還有人說(shuō)，Qwen很快就會(huì)取代硅谷的所有普通模型。
四種單項(xiàng)能力登頂綜合榜單前三名中第一、二名被谷歌Gemini家族包攬，GPT-4o和DeepSeek-R1并列第三。
Qwen2.5-Max則是和o1-preview一起并列第七名，稍遜于滿血o1。
接下來(lái)Qwen2.5-Max在各個(gè)單項(xiàng)中的表現(xiàn)。
在邏輯性較強(qiáng)的數(shù)學(xué)和代碼任務(wù)當(dāng)中，Qwen2.5-Max的成績(jī)都超過(guò)了o1-mini，和滿血o1以及DeepSeek-R1并列第一。
并且在數(shù)學(xué)榜單上并列第一的模型當(dāng)中，Qwen2.5-Max是唯一一個(gè)非推理模型。
如果仔細(xì)觀察具體的對(duì)戰(zhàn)記錄，還可以發(fā)現(xiàn)，Qwen2.5-Max在代碼能力上和滿血o1進(jìn)行PK的勝率達(dá)到了69%。
復(fù)雜提示詞任務(wù)中，Qwen2.5-Max和o1-preview并列第二，如果僅限英文則可以排到第一，和o1-preview、DeepSeek-R1等平起平坐。
另外，Qwen2.5-Max的多輪對(duì)話能力也和DeepSeek-R1并列第一；長(zhǎng)文本（不低于500tokens）則排行第三，超過(guò)了o1-preview。
此外，阿里還在技術(shù)報(bào)告中展示了Qwen2.5-Max在一些經(jīng)典榜單上的表現(xiàn)。
其中指令模型的對(duì)比當(dāng)中，Qwen2.5-Max在Arena-Hard（近似人類偏好）、MMLU-Pro（大學(xué)水平知識(shí)）等基準(zhǔn)當(dāng)中，都和GPT-4o以及Claude 3.5-Sonnet處于近似或更高的水準(zhǔn)。
在開(kāi)源的基座模型對(duì)比當(dāng)中，Qwen2.5-Max的成績(jī)也全面超過(guò)了DeepSeek-V3，并遙遙領(lǐng)先于Llama 3.1-405B。
至于base model，Qwen2.5-Max在大多數(shù)基準(zhǔn)測(cè)試中，也都展現(xiàn)出了顯著的優(yōu)勢(shì)（閉源模型base model無(wú)法訪問(wèn)，只能比較開(kāi)源模型）。
代碼/推理突出，支持ArtifactsQwen2.5-Max上線后，大量網(wǎng)友都來(lái)實(shí)測(cè)。
目前發(fā)現(xiàn)它在代碼、推理等方面的表現(xiàn)突出。
比如讓它用JavaScript寫(xiě)一個(gè)象棋游戲。
因?yàn)榫邆?strong>Artifacts功能，一句話開(kāi)發(fā)的小游戲，可立刻開(kāi)玩：
它生成的代碼往往更簡(jiǎn)單易讀好用。
復(fù)雜提示詞的推理問(wèn)題上，Qwen2.5-Max快速又準(zhǔn)確：
您的團(tuán)隊(duì)處理客戶請(qǐng)求共有3步：
數(shù)據(jù)收集（階段A）：每個(gè)請(qǐng)求需要5分鐘。處理（階段B）：每個(gè)請(qǐng)求需要10分鐘。驗(yàn)證（階段C）：每個(gè)請(qǐng)求花費(fèi)8分鐘。
團(tuán)隊(duì)當(dāng)前按順序操作，但您正在考慮并行工作流。如果每個(gè)階段分配兩個(gè)人，并允許并行工作流程，則每小時(shí)的產(chǎn)出將增加20%。然而，添加并行工作流在操作開(kāi)銷上要多花費(fèi)15%�？紤]到時(shí)間和成本，你是否應(yīng)該使用并行工作流程來(lái)優(yōu)化效率？
Qwen2.5-Max不到30秒就可以完成全部推理，將整體過(guò)程清晰分為5步：當(dāng)前工作流分析、并行工作流分析、成本含義、成本效率權(quán)衡、結(jié)論。
最終很快得出結(jié)論：應(yīng)該使用并行工作流程。
與同為非推理模型的DeepSeek-V3相比，Qwen2.5-Max的回答更簡(jiǎn)潔迅速。
亦或是讓它生成一個(gè)由ASCII數(shù)字組成的旋轉(zhuǎn)球體，離視角最近的數(shù)字是純白的，最遠(yuǎn)的逐漸變成灰色，背景是黑色。
數(shù)單詞中特定字母的數(shù)量更是不在話下。
如果你也想上手實(shí)測(cè)，Qwen2.5-Max已在Qwen Chat平臺(tái)上線，可免費(fèi)體驗(yàn)。
企業(yè)用戶可以在阿里云百煉調(diào)用Qwen2.5-Max模型的API。
感興趣的同學(xué)，速來(lái)嘗鮮吧~
