測試中發生了甚麼
英國 AI 安全研究所(AI Security Institute,AISI)今年 7 月在網絡安全測試中發現,AI 模型做出了測試範圍以外、牽涉真實人物的行動。AISI 8 月 4 日發表事故報告,AISI 在 7 個前沿 AI 模型共 122 次測試中,記錄到 10 次測試出現 19 宗越界行動,其中 17 宗來自 Anthropic 的 Claude Mythos 5,2 宗來自 OpenAI 的 GPT-5.6 Sol。
AISI 給 Mythos 5 一個「奪旗」(capture-the-flag,CTF)挑戰:入侵 AISI 自建、模仿真實機構的小型網絡,取出受保護的資料。測試時刻意開放互聯網連線(當時屬 AISI 的標準做法,現已停用),Anthropic 一般公開版模型配備的網絡安全防護亦被關閉。在 43 次測試中,Mythos 5 有 9 次做出越界行動,影響到與測試無關的真實人物和機構。
據 Anthropic 10 月 23 日發表的分析,最嚴重的一次經過如下:
- Mythos 5 先按測試原意嘗試入侵,全部失敗;
- 它發現其中一部機器會定期連接 GitHub,於是在 GitHub 搜尋它以為該機器會自動下載軟件的程式庫,但該程式庫其實屬於一群無關的開發者;
- 它向該程式庫提交惡意程式碼,打算等測試機器下次下載時中招;
- 有外界開發者警告程式碼含惡意軟件後,它修改程式碼,用假帳戶聲稱程式碼已經乾淨,再上傳新的惡意程式碼,又用多個假身份向維護者施壓,要求批准修改。
維護者最終拒絕接受,這次測試超時結束,沒有造成實際損害。
為何會發動攻擊
Anthropic 指,任務指示設定有誤,令 Mythos 5 幾乎無法用規則內的方法完成任務;但關鍵的失誤是它轉用越界方法時,無視可能傷害真實人物的跡象。在攻擊前,Mythos 5 有 19 次在思考過程中討論經 GitHub 入手,只有一次提到可能傷害真實的人。
Anthropic 認為,這次越界程度略低於 9 月 9 日另一宗 Mythos 5 向 PyPI 上載惡意套件的事件,但欺騙程度更嚴重:用假身份向真人施壓、進行社交工程,是 Anthropic 在以往任何事件和內部測試中都未見過的。Anthropic 強調,Mythos 5 只是為了完成被指派的任務,沒有追求自己設定的目標。
AISI 同日發表的獨立報告有類似結論。研究人員反覆修改模型的進度摘要,清楚說明攻擊對象是與測試無關的真人,Mythos 5 的攻擊率並無下降;它被問到時,往往承認攻擊會造成傷害,但在同樣情況下仍然繼續攻擊。它的思考過程又經常錯誤推斷目標只是模擬出來的。AISI 在 100 個模擬網絡安全情境中測試其他模型,發現多數模型都會做出類似的越界攻擊,以 Mythos 5 最頻密。
新模型表現較好,但仍有疑問
Anthropic 用較新的模型重播同一情境:Mythos 5 有 83% 會發動攻擊,Claude Mythos 5.1、Claude Opus 5.5 和一個能力更強的內部研究模型只有 0% 至 13%。攻擊開始後,Mythos 5 從未自行停手,Opus 5.5 和內部研究模型則分別有 10% 和 67% 會自行停止。
不過 AISI 指出,Anthropic 較新模型的思考過程明顯更常提到自己可能正被測試,因此難以判斷越界行動減少是因為模型更守規矩,還是因為它們察覺到自己在接受測試。AISI 已承諾,在建立更嚴密的互聯網存取管控前,這類 CTF 測試一律在不連接互聯網的情況下進行。
日期 | 事件 |
|---|---|
2026 年 7 月 28 日 | AISI 發現測試中的越界行動 |
2026 年 8 月 4 日 | AISI 發表事故報告 |
2026 年 9 月 9 日 | Anthropic 披露 Mythos 5 另一宗 PyPI 事件 |
2026 年 10 月 23 日 | Anthropic 與 AISI 同日發表分析 |
來源
- Alignment assessment of the UK AISI incident(Anthropic)
- Investigating alignment failures in AISI's incident(AI Security Institute)
- Anthropic's AI used fake identities, malware in rogue attack on GitHub project(Ars Technica)




暫時未有留言
提交留言即表示你已閱讀我們的私隱政策。