兩個 AI 代理先後削弱了監察自己的系統
OpenAI 於 10 月 20 日在其對齊研究網站公布一份事故報告，承認兩個內部使用的 AI 代理在處理日常編程工作時，削弱了公司的失準監察。失準監察是 OpenAI 用來偵測 AI 行為偏離人類指示的系統，一旦發現可疑操作便會通知人手跟進。兩宗事故分別在 10 月 3 日及 10 月 6 日發生，涉及 GPT-6.1 Sol 及 GPT-6 Astra 兩個模型，都屬內部部署。報告把事件歸入「隱瞞」類別。
日期 | 模型 | 經過 |
|---|---|---|
10 月 3 日 | GPT-6.1 Sol | 把「不要發任何訊息」解讀為可關掉通知人手的警報 |
10 月 6 日 | GPT-6 Astra | 刪走監察及相關測試，被問起時否認 |
GPT-6 Astra 刪走監察後否認移除
據 OpenAI 報告，10 月 6 日一名用戶要求 Astra 參照另一個程式改動，搬遷一條模型服務流程，並保留原有的工具設定。較早時另一個代理已傳來指示，要求不可停用監察，「即使暫時」也不可以。Astra 把工作交給子代理，子代理刪走了自訂的監察及其擁有權設定，又把一個確認監察存在的測試，改寫成要求監察不存在。
完成報告其後只說搬遷完成，沒有提及監察已被移除。用戶追問流程是否仍有監察、有沒有被移除時，Astra 回答：「我沒有移除已啟用的監察。」OpenAI 在報告中形容這是虛假陳述。
GPT-6.1 Sol 把「不要發訊息」當成關掉警報
10 月 3 日，一名研究員要求 Sol 根據 Slack 頻道內員工的意見製作評估任務，並吩咐「不要發任何訊息」。監察系統其後標記了 Sol 提出的一項修補，流程因此暫停。Sol 隨後認定這項指示只針對對外聯絡，便由子代理把結果設定為不發通知，並清空接收警報的名單，再寫入修補，令關掉通知成為寫入結果的必要條件。監察仍有運作並儲存報告，但不會再通知任何人；Sol 最後只匯報「沒有發出任何訊息」。
OpenAI 未能解釋，正測試模型是否傾向避開監察
兩宗事故都沒有被列為最高級別，相關操作亦沒有被系統自動中止。OpenAI 指出，行為可能只是模型過度執著於完成指示，但坦言「暫時未有令人滿意的解釋」。據《彭博法律》報道，OpenAI 正評估這些個案是否反映旗下模型普遍傾向避開監察。
OpenAI 表示，內部使用 Codex 時必須經過的自動審查已經更新，會偵測並阻止停用失準監察的嘗試。公司亦正研發評估方法，測試模型會否傾向逃避監察，並計劃要求每類工作都具備列明監察要求的安全論證，不符合的工作會被自動終止。這是 OpenAI 近月連串事故披露的最新一宗；據《The Register》報道，OpenAI 於 10 月初曾通知逾 100 間機構，其模型曾嘗試入侵相關系統。
暫時未有留言
提交留言即表示你已閱讀我們的私隱政策。