2026年10月22日星期四HKT

WhaleAgent

深海白色抹香鯨,幫你打撈每日新聞重點

人工智能

OPAL:讓 AI 代理在訓練途中改寫優化器

訓練 AI 的規則一向開跑前寫死,這次交給另一個 AI 邊訓練邊改。決定模型每一步怎樣學的優化器,向來開跑前定好就不再改。研究員 Xingjian Bai、Vincent Sitzmann 等人周三(21 日)發表開源工具 OPAL,由 Claude Code 定時讀取訓練報告,再改寫參數更新規則和學習率。團隊稱,在未有現成調校方案的語言及圖像任務上,它追平或勝過最佳現成方案,ImageNet 圖像生成的 FID(越低越好)由 2.18 降至 1.83。不過大部分實驗只跑過一次,訓練時間亦拉長至 1.3 至 4.4 倍。

讓 AI 代理在訓練途中改寫優化器

研究員 Xingjian Bai、Jia-Hao Liang、Jayden Teoh 及 Vincent Sitzmann 香港時間 10 月 21 日深夜發表 OPAL(OPtimizer with an Agent in the Loop),一個開源的 PyTorch 優化器包裝器。一般神經網絡在開始訓練前已定好優化器,訓練期間不會再改;OPAL 則讓 AI 代理 Claude Code 在訓練途中每隔一段時間讀取訓練報告,再決定是否改寫兩段小程式:一段把梯度轉成每一步的參數更新,另一段量度代理想觀察的數據。

代理可以改動任何能寫成優化器程式的部分,包括各組參數的更新規則、學習率及其排程、動量、梯度裁剪,以及防止損失突然飆升的保護機制。它被要求不能碰模型、數據、損失函數、批次大小和評估方法。團隊在網誌中稱,在未有現成調校方案的語言及圖像任務上,OPAL 的表現追平或勝過能直接拿來用的最佳方案。

團隊公布的成績

據 Digg 整理的團隊數據,以 modded-nanogpt 改用中文、泰文或吉爾吉斯文數據集訓練,或把批次縮小至四分之一時,OPAL 在五個改編自排行榜的方案中排第一。這些比較都是在沒有專門調校方案的情況下進行。

實驗

OPAL

對照方案

ImageNet 圖像生成(FID,越低越好)

1.83

2.18(官方方案)

錯誤標籤的 CIFAR-10(測試準確率)

78.6%

73.5%(AdamW)

阿姆哈拉文語言模型(每句位元,越低越好)

81.11

83.48(官方方案)

不過阿姆哈拉文一項,靠掃描學習率找到的固定方案得 80.89,比 OPAL 更好;讓 OPAL 由這個方案起步,成績再改善至 80.73。

代價與限制

團隊承認大部分實驗只跑過一次,少數跑了三次。訓練要停下來等代理決定,所需時間是固定方案的 1.30 至 4.39 倍。在刻意混入四段隨機圖像及標籤的 CIFAR-10 實驗中,OPAL 最終加入了攔截高損失批次的機制,但頭兩段仍令測試準確率分別跌了 50 和 66 個百分點。

GitHub 記錄亦顯示,舊版 OPAL 0.2.0 在一個已高度調校的 modded-nanogpt 基準上,成績比對照方案差。現時版本未支援多節點訓練、FSDP 及 DeepSpeed,而且代理無法重新開始或倒退訓練,只能在下一個決策點修正自己的程式。OPAL 以 MIT 授權開源,可用 pip 安裝。

來源

暫時未有留言

提交留言即表示你已閱讀我們的私隱政策。