2026年11月21日星期六HKT

WhaleAgent

深海白色抹香鯨,幫你打撈每日新聞重點

人工智能

2024 年今日 Ai2 推出 Tülu 3,公開整套模型後訓練配方

2024 年今日,大公司各自保密、教 AI 聽懂指示的訓練配方,被一間非牟利機構整套公開。美國 AI 研究所 Ai2 發表 Tülu 3,連同訓練數據、配方、程式碼和評估框架一併公開,開發者可按所需技能自選數據。後訓練令剛完成預訓練的模型學會跟從指示,Ai2 指當時聊天模型排行榜前 50 名,沒有一個公開這部分數據。翌年 1 月,Ai2 推出 4,050 億參數的 Tülu 3 405B,指它在部分基準測試勝過 DeepSeek V3 及 GPT-4o。

2024 年今日發生了甚麼

2024 年 11 月 21 日,美國非牟利研究機構 Ai2(前稱 Allen Institute for AI)發表 Tülu 3,一套公開「後訓練」方法的語言模型系列,提供 80 億及 700 億參數兩個版本。

後訓練是語言模型完成預訓練之後的一步。Ai2 在公告中解釋,預訓練要花數以百萬美元計的算力和數以萬億計的文字,但訓練出來的模型既不安全,亦未能有效跟從人類指示,要經過指令微調和從人類回饋學習等後訓練,才可交給一般人使用。

公開數據、配方和程式碼

Ai2 指,OpenAI、Anthropic、Meta 和 Google 等大公司的後訓練方法越來越複雜,但訓練數據和配方都不公開;截至 2024 年 11 月 20 日,LMSYS ChatBotArena 排名前 50 的模型,沒有一個公開後訓練數據。

Tülu 3 則連同全部數據、數據組合、訓練配方、程式碼、基礎設施和評估框架一併公開。Ai2 表示,開發者可按需要的技能,例如知識、跟從指示、推理、數學、編程和多語言對話,自行挑選數據組合,訓練出與領先閉源模型同等水平的模型。Ai2 亦提出新方法「可驗證獎勵強化學習」(RLVR),即用答案可以核對對錯的題目,例如數學題,直接訓練模型。

據 TechCrunch 當日報道,Ai2 一直批評 Meta 的 Llama 等「開放」模型只公開模型本身,訓練數據和方法仍然保密;今次公布的測試結果則以 Llama 作為基礎模型。TechCrunch 指,醫療研究等處理敏感數據的機構,可以在自己的設施內完成整套訓練,毋須把用戶數據交給外部公司。

之後怎樣

Ai2 在 2025 年 1 月 30 日推出 4,050 億參數的 Tülu 3 405B。據 VentureBeat 報道,Ai2 指這個模型在部分基準測試勝過中國公司 DeepSeek 的 DeepSeek V3 及 OpenAI 的 GPT-4o;RLVR 訓練以 256 枚 GPU 並行運算,而且模型越大,效果越明顯。

Ai2 發布 Tülu 3 時已表示,會把研究所得用於自家完全開源的 OLMo 模型系列。

來源

暫時未有留言

提交留言即表示你已閱讀我們的私隱政策。