2024 年 11 月 12 日 Qwen2.5-Coder 開源
阿里巴巴 Qwen 團隊在 2024 年 11 月 12 日的官方網誌宣布開源 Qwen2.5-Coder 系列編程模型,旗艦 Qwen2.5-Coder-32B-Instruct 被團隊稱為當時最強的開源編程模型,編程能力「追上 GPT-4o」。這次發布加入 0.5B、3B、14B 及 32B 四個大小,連同之前已開源的 1.5B 及 7B,系列共有六個大小,每個都有基礎版及可直接對話的 Instruct 版。
自家測試:修改程式 73.7 分
據 Qwen 網誌,32B Instruct 版在 EvalPlus、LiveCodeBench 及 BigCodeBench 等寫程式測試中,成績是開源模型中最好,與 GPT-4o 相近。在修改程式的 Aider 測試中,模型得 73.7 分,與 GPT-4o 相若;在涵蓋逾 40 種程式語言的 McEval 測試中得 65.9 分。
團隊同時更新技術報告。據 arXiv 上的報告,Qwen2.5-Coder 建基於 Qwen2.5 架構,再用逾 5.5 萬億個 token 的資料繼續訓練,報告稱它在逾 10 項測試中取得同級最佳成績。
外界測試:介乎 GPT-4o 與 Claude 3.5 Haiku 之間
開發者 Simon Willison 在發布當日撰文,引述 Aider 測試的作者 Paul Gauthier 公布的成績:32B 版在「整段改寫」測試得 74%,GPT-4o 得 71%,Claude 3.5 Haiku 得 75%,Claude 3.5 Sonnet 得 84%。
模型 | Aider 整段改寫測試 |
|---|---|
Claude 3.5 Sonnet | 84% |
Claude 3.5 Haiku | 75% |
Qwen2.5-Coder 32B | 74% |
GPT-4o | 71% |
Qwen2.5-Coder 14B | 69% |
Willison 指,32B 模型細得可以在他 64GB 記憶體的 MacBook Pro M2 上執行。他用 Ollama 下載的壓縮版約 20GB,用 Apple 的 MLX 框架執行時,記憶體用量最高約 32.7GB,每秒生成約 10 個 token。他表示,速度及結果質素都「真的可與」當時最好的雲端模型比較。
大部分可商用
據 Qwen 網誌,0.5B、1.5B、7B、14B 及 32B 五個大小以 Apache 2.0 授權發布,可免費商用,只有 3B 版採用 Qwen Research 授權。團隊又示範把模型接入編程工具 Cursor,以及在 Open WebUI 生成三體運動模擬、履歷等互動作品,並表示通義官網會推出一鍵生成網站及小遊戲的編程模式。




暫時未有留言
提交留言即表示你已閱讀我們的私隱政策。