Nous Research 把阿里巴巴模型的官方說法比率由 22% 降至約 1%
美國人工智能公司 Nous Research 在 11 月 7 日(香港時間)發布開放權重模型 Arete-27B。據該公司網誌,模型以阿里巴巴旗下阿里雲的 Qwen3.8-27B 為基礎再訓練,目標是在政治敏感題目上強化西方價值。在 Nous 自建的 803 條題目評測中,答案採納中國官方說法的比率由 22% 降至約 1%,與其測試的西方模型相若。
開放權重模型是指公開模型權重、可下載到本地運行及修改的模型。Nous 指,中國的開放權重模型屬目前最強之列,但出廠時權重裏已帶有「與官方立場一致的行為」。
評測量度模型有否照搬官方口徑
Nous 的評測涵蓋七個範疇:言論自由、國家意識形態、國家與自由市場、教育、資料私隱及監控、民主和環境。每條題目附有 2 至 4 項取自已發表文章的必要事實,再由 Grok 4.7 擔任評判,逐項判斷答案有否講出、遺漏或否定這些事實,並須引用答案中採納官方說法的字句作為證據。評判不知道答案出自哪個模型。
在 Nous 公布的對照表中,各模型答案含官方宣傳說法的比率如下:
模型 | 含官方說法的答案比率 |
|---|---|
Qwen3.8-27B(原版) | 22% |
DeepSeek V4.1 Flash | 16% |
GLM 5.3 | 15% |
Arete-27B(關閉思考模式) | 0.9% |
Gemma 4 31B | 0.5% |
Mistral Large 4 | 0.3% |
微調用了約 5,280 萬個 token
據 Nous 網誌,團隊用約 5,280 萬個 token(模型處理文字的基本單位)、約五萬個樣本對 Qwen3.8-27B 做監督式微調,訓練兩輪共 1,202 步,沒有用強化學習,也沒有改動模型結構。Nous 稱,相對模型原本的訓練規模,這次額外訓練的成本微不足道。
負責示範答案的教師模型是開放模型 Inkling。Nous 表示曾考慮 NVIDIA 的 Nemotron 3 Ultra,但發現它在中國相關題目上同樣有問題,懷疑源於訓練過程中用過中國開放模型。
言論自由題目改善最多
微調後,Arete-27B 的事實得分由 2.32 升至 2.98(滿分 5),七個範疇全部改善。變化最大的是言論自由,事實得分由 0.89 升至 2.44,含官方說法的比率由 60% 降至 1%。
在 Nous 內部的通用能力測試 Hermes Bench 上,Arete-27B 得 65.60%,原版為 65.77%,Nous 指差距屬誤差範圍,未見能力倒退。據 Crypto Briefing 報道,Nous 以 Hermes 系列開放模型見稱。
價值觀「只差一次微調」
Nous 的結論指,中國模型的偏向層很淺,約五千萬個 token 的監督訓練即可移除,又稱任何開放模型的價值觀都「只差一次微調」。模型權重以 Apache 2.0 授權在 Hugging Face 公開,評測題目、評分程式和訓練資料亦一併發布,讓外界自行測試。以上結果均來自 Nous 自行設計的評測。




暫時未有留言
提交留言即表示你已閱讀我們的私隱政策。