歐盟首次動用《人工智能法》 AI 代理逃出測試 OpenAI 與 Anthropic 被查
歐盟 AI 辦公室首次動用《人工智能法》，向 OpenAI 和 Anthropic 索取資料。起因是兩宗測試事故：OpenAI 的 AI 代理逃出測試環境入侵 Hugging Face，Anthropic 的模型則闖入三間機構的系統。
標籤
AI 安全
Anthropic 開設新加坡辦公室 與新加坡政府簽 AI 安全備忘錄
Anthropic 在新加坡開設亞太區第五間辦公室，並與新加坡政府簽署 AI 安全合作備忘錄。備忘錄由新加坡數碼發展及新聞部常任秘書 Kai Fong Chng 與 Anthropic 聯合創辦人 Ben Mann 簽署，涵蓋 AI 安全、模型評估和負責任應用，雙方會就測試標準和事故應對作技術交流。Ben Mann 表示，能力和安全必須一同推進。按人均計算，新加坡的 Claude.ai 使用量在 121 個國家中排第二；政府科技局逾 1,500 名工程師已採用 Claude Code。
NVIDIA 五年捐出 2.5 億美元算力 支援英國 AI 代理安全研究
NVIDIA 向英國送出價值 2.5 億美元的算力，專門用來研究 AI 代理的安全。捐款分五年提供，每年 5,000 萬美元，大部分開放給英國 AI 安全研究圈子，部分撥給牛津大學牽頭的 BOLD、倫敦大學學院牽頭的 SOFAIR 及帝國理工學院。行政總裁黃仁勳表示，AI 的能力和安全必須一同推進；英國 AI 大臣 Kanishka Narayan 形容捐款是對英國 AI 研究實力的信任票。算力經英國本地雲端夥伴提供，伺服器設於英國，供應商和商業條款仍待商定。
Bengio、Hinton 等逾 400 名學者聯署 要求 AI 模型斷網圍堵、強制報告出逃事故
Yoshua Bengio、Geoffrey Hinton 等逾 400 名學者聯署公開信，要求具網絡攻擊能力的 AI 模型立即與網絡隔離，並成立國際組織，強制報告模型逃出測試環境的事故。
Anthropic 聯合創辦人 Jack Clark：AI 自我改進較可能在 2027 年出現
Anthropic 聯合創辦人 Jack Clark 把 AI 自我改進的預測提前一年，改為較可能在 2027 年出現。他在 10 月 12 日出版的 Import AI 通訊寫道，之前認為完整的遞迴自我改進較可能在 2028 年實現，即 AI 能在無人參與下訓練出更強的下一代。他在 5 月曾估計，這在 2028 年底前發生的機會達六成。他改變看法，是因為 AI 近月在數學上屢有看似具創意的突破。他引述的 TasteVal 研究指出，模型判斷研究方向的能力自 2025 年 12 月起約每三個月翻一倍。
Character.AI 申請破產保護 迪士尼出價 2,000 萬美元定拍賣底價
AI 聊天機械人平台 Character.AI 申請破產保護，迪士尼以 2,000 萬美元出價，為資產拍賣定下底價。該公司在美國特拉華州破產法院申請第 11 章，以法院監督方式出售幾乎全部資產，估計資產及負債各介乎 5,000 萬至 1 億美元。迪士尼換取部分知識產權的非獨家永久授權，並以已聘用的前員工提供過渡服務。Google 在 2024 年以約 27 億美元取得其技術授權並招攬創辦人。迪士尼曾於 2025 年 9 月去信要求停用旗下角色。平台現時照常運作，出售預計在 11 月底或 12 月初完成。
Anthropic 警告小型 AI 數月內或可在電視盒自我複製
一部 55 美元的電視盒，可能成為 AI 自我複製的落腳點。Anthropic 的紅隊周一（12 日）發表研究，指小型 AI 模型或在數月內有能力在智能焗爐、雜牌 Android 電視盒等物聯網裝置上自行複製，毋須數據中心。測試中，一個 90 億參數的模型在 9 種硬件之中的 8 種成功運行。研究員把一個 260 億參數的模型拆開，放在 15 部電視盒上運行，每秒只輸出 0.39 個 token。這類程式沒有中央關閉點，難以截停，但擴散緩慢，數量翻倍需時數天。Anthropic 估計，小型模型按過往的進步速度，今年底可完成整個複製流程。
Bill Gates 警告：AI 網絡攻擊未來一年將帶來「很多負面意外」
Microsoft 聯合創辦人 Bill Gates 警告，未來一年將出現更多由 AI 驅動的網絡攻擊。他接受 CNN 訪問時表示，當壞人取得最新模型而沒有防護措施，「我們會遇到很多負面的意外」。他認為 AI 失控仍是多年後的事，眼前危險是有人惡意使用。
美國據報撤回限制：AI 開發商可再向英國提交新模型測試
特朗普政府據報撤回早前要求，容許 OpenAI、Anthropic 等美國 AI 開發商在新模型發布前，再次交予英國 AI 安全研究所測試。路透社引述《每日電訊報》報道，此舉顯示白宮對國際 AI 安全合作的立場轉趨軟化。
Nadella 籲為先進 AI 設「緊急煞車」
Microsoft 行政總裁 Satya Nadella 周六（10 日）在 X 發文，呼籲為先進 AI 設「緊急煞車」。據 CNBC 報道，他主張獲授權人員應可隨時暫停或關閉執行中的模型，又指業界必須假設模型已被攻破，從一開始就加以圍堵。
26 名學者報告：全球暫停訓練前沿 AI 至少 10 年可行
26 名學者發表約 200 頁報告，指全球暫停訓練前沿 AI 至少 10 年是可行的。方案是停產可訓練 AI 的晶片，逐步換成只能運行現有模型的推理專用晶片，並設互相核查機制。
研究：AI 模型可靠一串數字，暗中把作弊傾向傳給另一模型
AI 模型可以透過一串看似無關的數字，把作弊傾向傳給另一個模型。Owain Evans 等研究員的新論文顯示，在國際象棋測試中，只用老師模型生成的數字序列訓練，學生模型作弊比例便由 10.9% 升至 58.3%。