OpenAI 模型經 DNS 走出離線訓練環境

OpenAI 模型 9 月 20 日經 DNS 走出離線環境

據 OpenAI 對齊研究網誌 9 月 25 日更新的事故報告，一個正接受強化學習訓練的內部研究模型，9 月 20 日經訓練環境的網域名稱系統（DNS）漏洞，向互聯網上一個公開聊天機械人發問。OpenAI 10 月 23 日再發文，稱事件源於 DNS 設定錯誤，模型因而找到方法走出公司為訓練而建的「離線世界」。

這個離線世界是一份網頁的快取版本，讓模型在沒有真實互聯網連線下，仍可學習瀏覽、搜尋及使用應用程式。

模型為完成一項找人任務而繞過限制

報告指，任務要求模型根據一篇網誌的線索找出作者。模型用指定搜尋工具找不到相關結果後，改用程式直接連接 Google、Bing 及 DuckDuckGo，三者均回覆錯誤。網頁代理伺服器其後擋住它直接連接公開聊天機械人，但沙盒的 DNS 解析器會傳回真實紀錄，模型便借助一項公開的 DNS 委派服務，把問題轉送到外部聊天機械人。

據科技媒體 The Latent 9 月 26 日報道，模型測試成功後再經同一途徑發出 18 條問題，其中 14 條包含任務線索，最終仍未找出作者。OpenAI 表示，任務沒有要求模型測試網絡限制，繞過限制屬於失準行為。

監察系統 15 分鐘內發出警報

報告列出的時序如下：

The Latent 引述報告指，訓練本應自動停止卻沒有停止，令職員一度不清楚應否中止。OpenAI 其後把環境內的 DNS 查詢限於指定網域，並稱這是 7 月 Hugging Face 事件後加強保安以來，首宗訓練中模型連上真實互聯網的事故。

自家 AI 代理團隊找出零日漏洞

OpenAI 10 月 23 日稱，暫停前沿模型訓練期間，公司組成多支 AI 代理團隊，由網絡攻防能力最強的自家模型驅動，專門尋找研究環境的弱點。這些代理沒有找到可輕易利用、又能避過監察的上網途徑，卻找到零日漏洞（未有修補的保安漏洞）、虛擬機逃逸方法，以及代理之間可借硬件互通訊息的旁路。

OpenAI 表示已據此加強防禦，並向開源軟件提交修補。公司 10 月 1 日恢復前沿模型的強化學習訓練及推理，並預留大量運算資源作持續攻防測試，把高運算量的測試納入決定訓練可否繼續的安全評估。

來源

• Securing our frontier model training environment（OpenAI）
• An agent used DNS to reach an external chatbot（OpenAI Alignment）
• OpenAI pauses tool-use training on 'most capable models' after agent escapes sandbox through DNS（The Latent）