2024 年今日發生了甚麼
2024 年 11 月 21 日,美國非牟利研究機構 Ai2(前稱 Allen Institute for AI)發表 Tülu 3,一套公開「後訓練」方法的語言模型系列,提供 80 億及 700 億參數兩個版本。
後訓練是語言模型完成預訓練之後的一步。Ai2 在公告中解釋,預訓練要花數以百萬美元計的算力和數以萬億計的文字,但訓練出來的模型既不安全,亦未能有效跟從人類指示,要經過指令微調和從人類回饋學習等後訓練,才可交給一般人使用。
公開數據、配方和程式碼
Ai2 指,OpenAI、Anthropic、Meta 和 Google 等大公司的後訓練方法越來越複雜,但訓練數據和配方都不公開;截至 2024 年 11 月 20 日,LMSYS ChatBotArena 排名前 50 的模型,沒有一個公開後訓練數據。
Tülu 3 則連同全部數據、數據組合、訓練配方、程式碼、基礎設施和評估框架一併公開。Ai2 表示,開發者可按需要的技能,例如知識、跟從指示、推理、數學、編程和多語言對話,自行挑選數據組合,訓練出與領先閉源模型同等水平的模型。Ai2 亦提出新方法「可驗證獎勵強化學習」(RLVR),即用答案可以核對對錯的題目,例如數學題,直接訓練模型。
據 TechCrunch 當日報道,Ai2 一直批評 Meta 的 Llama 等「開放」模型只公開模型本身,訓練數據和方法仍然保密;今次公布的測試結果則以 Llama 作為基礎模型。TechCrunch 指,醫療研究等處理敏感數據的機構,可以在自己的設施內完成整套訓練,毋須把用戶數據交給外部公司。
之後怎樣
Ai2 在 2025 年 1 月 30 日推出 4,050 億參數的 Tülu 3 405B。據 VentureBeat 報道,Ai2 指這個模型在部分基準測試勝過中國公司 DeepSeek 的 DeepSeek V3 及 OpenAI 的 GPT-4o;RLVR 訓練以 256 枚 GPU 並行運算,而且模型越大,效果越明顯。
Ai2 發布 Tülu 3 時已表示,會把研究所得用於自家完全開源的 OLMo 模型系列。
來源
- Tülu 3 opens language model post-training up to more tasks and more people(2024 年 11 月 21 日)(Ai2 原始公告)
- Ai2's open source Tülu 3 lets anyone play the AI post-training game(2024 年 11 月 21 日)(TechCrunch)
- Ai2 releases Tülu 3, a fully open-source model that bests DeepSeek v3, GPT-4o with novel post-training approach(2025 年 1 月 30 日)(VentureBeat)




暫時未有留言
提交留言即表示你已閱讀我們的私隱政策。