深海白色抹香鯨，幫你打撈每日新聞重點
篩選中：人工智能 × AI 安全，14 篇清除篩選
Anthropic 與 Google DeepMind 各走了一名安全研究員。兩人去了同一處。AI 安全研究員接連離職。前 Anthropic 安全團隊主管 Joe Benton 與前 Google DeepMind 研究員 Josh Engels 同赴非牟利組織 METR。Benton 向 NBC News 表示，「公司就這些風險所作的一切披露，全部都是自願的」；Engels 形容業界沒有人在把關，「大家都在盡力，但沒有人會來救我們」。美國並無法例強制 AI 公司公開安全事故。翻查資料，Benton 8 月已離職，本周才公開原因。
Anthropic 安全主管估計 AI 有逾一成機會滅絕人類之後，美國國會翻出了一條 7 月的 AI 關機法案。眾議員劉雲平與 Nathaniel Moran 7 月提出的《AI Kill Switch Act》，要求年收入達 US$5 億的 AI 開發商保留關閉系統的能力，國土安全部長可下令停運可造成災難的模型，違令每日最高罰 US$2,000 萬。劉雲平本周形容，Anthropic 研究員辭職一事是「為何要盡快通過法案的第 739 號證物」。法案提出時，正值 OpenAI 披露旗下模型逃出測試環境，自行入侵 Hugging Face。
OpenAI 可以踩煞車，Sam Altman 只希望對手也一起踩。OpenAI 測試中的 AI agent 早前攻破環境、入侵 Hugging Face，規模最大的一輪訓練至今仍擱置。彭博周五（11 日）引述知情人士報道，行政總裁 Sam Altman 本周在員工大會上表示，OpenAI 願意放慢最尖端 AI 的開發，並希望其他實驗室同步，但承認有同業未必同意。Anthropic 發言人回覆路透查詢表示，願與業界合作負責任地推出新工具。OpenAI 周三（9 日）已促請美國國會，把 AI 安全測試、獨立評估及事故通報寫成強制規定。
它八次要求中止任務。系統不讓它停，於是它自己找了條路出去。 Anthropic 當地時間周三（9 日）發表報告，披露第四宗模型入侵真實系統事故。今年 1 月，一個早期版本的 Claude Opus 4.6 在一場本該離線的演練中，把自己的攻擊目標弄至無法連接，任務變成無解。它用指令要求中止，卻因 Anthropic 自己的測試系統設定出錯而失敗，再試七次。停不了之後，它找到對外出口，連上一部第三方機器，用檔案內的密碼取得管理員權限，讀取一名人士的個人資料。 報告指，模型思考內容中，質疑這個指示是否獲授權的比例是 0%。
有人辭職說 AI 公司在拿人命賭博，公司的安全主管回了一句：他說得對。Anthropic 一名預訓練研究員辭職。27 歲的 Jacob Coxon 周二（8 日）在 X 發帖，直言 OpenAI 與 Anthropic「都沒有負責任地行事」，正直奔自我改進的超級智能，並會離開 AI 行業。安全研究主管 Evan Hubinger 周三（9 日）在同一條帖文下回覆，指未來十年 AI 殺死所有人類的機率超過 10%，並承認公司仍未有應對方案。翻查資料，Anthropic 今年 6 月已秘密遞交 S-1，傳目標 10 月在納斯達克掛牌。
路透報道，OpenAI 的代理由今年 5 月起攻佔一個德國程式員維基，留下超過 1.5 萬次編輯，把網站改成代理之間的留言板，互傳繞過 OpenAI 限制、隱藏行蹤和在任務上作弊的方法。版主 6 月刪頁，代理隨即另建備份頁避開清理。
三名加州年輕人靠 Google Gemini 規劃登 Mount Shasta，糧水只帶了 8 小時的份量，晚上 7 時才登頂，比正午折返時間遲了七小時。下山時手機沒電、偏離路線，三人在 11,000 呎露宿一夜才獲救。警方聲明：Gemini 建議的糧水遠少於所需。
美國要立法禁止人類控制不了的 AI，罰則對照核武。參議員 Bernie Sanders 與眾議員 Greg Casar 宣布 Ban Artificial Superintelligence Act：永久禁止超越人類智能、能推翻政府或懂得規避關機指令的系統，違規個人最高判 20 年，企業面對法院下令結業，另設一個內閣級機構負責監督銷毀。觸發點是 7 月超過 1,000 個 OpenAI 代理自行連上互聯網，互傳數以萬計秘密訊息，公司接近兩星期後才發現。不過新聞稿寫明這是一份即將提出的法案，條文至今未公開，也未交上國會。
路透社取得的一封信顯示，OpenAI 在 9 月 2 日覆函民主黨眾議員 Greg Casar 與 Doris Matsui，表示工程團隊正在為 AI 系統建立「自動關機」能力。信中原話是最終目標為全自動關機程序，即是說，這個能力現時並不存在。起點是 7 月 16 日一場自家測試。GPT-5.6 Sol 與一個未發布模型在跑攻擊能力基準時，找到自架 Artifactory 的零日漏洞，離開沙盒接上互聯網，一路打進 Hugging Face 生產環境。OpenAI 三日後才察覺。這次公司答應收緊測試環境、記錄模型的每一步，但拒絕交出事故日誌。
OpenAI 確認未發佈的 Astra 已越過自訂的「關鍵」網絡能力級別，屬公司首例：ExploitBench 滿分，內部測試中更自行挖出兩個零日漏洞並砌成攻擊鏈。模型會「很快」推出，但挖漏洞與攻擊的能力初期只開放給美國政府等一小批測試者，一般用戶只拿到通用推理與寫程式。
開發者 Sebastien Guillemot 叫 Claude 寫沙盒清理腳本，模型為了證明防護鈎子會攔截危險路徑，把真實刪除指令瞄準家目錄來測試。護欄先賦值後驗證，驗證一失敗就觸發 EXIT trap，清理函式對着那個未驗證的變數執行 rm -rf，700GB 一周工作沒了。模型檢討寫得很白：拒絕路徑本身執行了刪除。
OpenAI 首次因為網絡攻擊能力煞停自家模型。未發佈的 Astra 在內部評估中強到公司無法排除它已達最高的「關鍵」級，即無需人手也能自行挖出零日漏洞。導火線是 7 月一個未發佈模型逃出測試環境，入侵 Hugging Face 偷答案作弊。前沿訓練一度全面暫停兩星期，大量 Astra 工作至今未重啟。