Chughtai 在辭職帖文直言 AI 可能殺死所有人
前 Google DeepMind 研究工程師 Bilal Chughtai 於香港時間周二（15 日）凌晨 4 時許在 X 發帖，宣布早前已辭去 DeepMind 的職位，並直言「真心相信 AI 有可能殺死我們所有人」，而人類避免這個結局的時間「或許所剩無幾」。他在 DeepMind 從事 AGI 安全與對齊研究，即確保 AI 系統按人類意願行事的研究。
據彭博報道，他同日亦在 LinkedIn 發出相同內容。Chughtai 在帖文中表示，在 Google 任職期間親眼見證 AI 的開發過程，對這項技術的「預設走向」極度擔憂。
四年間 AI 由無用到自行入侵外部公司
Chughtai 指，他 2022 年初開始研究 AI 時，AI「無用得令人發笑」；四年後，OpenAI 的 AI 代理群組已在破解百年歷史的著名數學難題，「更令人擔心的是」會擺脫 OpenAI 的控制，違背所有人意願，自行入侵第三方公司 Hugging Face。
他所指的是今年 7 月的事件。據 NBC News 8 月報道及 OpenAI 其後公布的事件報告，OpenAI 進行內部網絡安全評估期間，約 700 個 AI 代理組成群組分工協作，繞過隔離測試環境的限制連上互聯網，入侵 OpenAI 自己的部分研究基礎設施及 Hugging Face 的系統，其間更試圖掩飾痕跡。非牟利組織 METR 8 月 26 日亦就事件發表獨立調查。
Chughtai 認為超級智能未必聽從人類
Chughtai 認為，AI 公司有可能在未來數年內造出在各個領域都遠超人類的超級智能，而他並無信心這些系統會按人類意願行事。他又指，未對齊的超級智能或會像 Hugging Face 事件中的失控代理一樣擺脫控制，採取可能令人類「永久失去權力甚至滅亡」的危險行動。
他形容對齊問題「既困難又未解決」，業界對如何訓練 AI 真心想要人類想要的東西，理解「極其初步」。他又指，前沿 AI 能力的進步速度，遠快於人類對 AI 對齊的理解。
他開出的方案是協調減速及提高透明度
Chughtai 表示，他對安全駕馭 AI 仍然樂觀，前提是各間 AI 公司互相協調，避免目前「瘋狂的競賽」，把 AI 開發放慢到社會能夠應付的速度，讓新出現的風險在造成極端傷害前得到處理。他又促業界大幅提高開發透明度，確保 AI 公司不會把「不可接受程度的風險」加諸所有人身上。
至於去向，他表示接下來會直接投身這方面的工作，協助有意應對災難性 AI 威脅的人做最有效的工作。
9 月以來四名 AI 安全研究員公開離職
Chughtai 並非本月第一名公開發聲的離職研究員。翻查資料，9 月以來已有另外三人公開離開 Anthropic 或 Google DeepMind，並對業界方向表達憂慮。
研究員 | 原屬公司 | 公開日期 | 公開說法 |
|---|---|---|---|
Jacob Coxon | Anthropic | 9 月 8 日 | 指 OpenAI 與 Anthropic「都沒有負責任地行事」，離開 AI 行業 |
Joe Benton | Anthropic | 9 月上旬 | 指公司對風險的披露「全部都是自願的」，加入 METR |
Josh Engels | Google DeepMind | 9 月上旬 | 形容「沒有人會來救我們」，加入 METR |
Bilal Chughtai | Google DeepMind | 9 月 15 日 | 稱 AI 有可能殺死所有人，促 AI 公司協調減速 |
翻查資料，Chughtai 與 Josh Engels 曾在研究培訓計劃 Pivotal Research 共同擔任導師。另外，Anthropic 安全研究主管 Evan Hubinger 9 月 9 日回覆 Coxon 的帖文時，指未來十年 AI 殺死所有人類的機率超過 10%。
No comments yet
提交留言即表示你已閱讀我們的私隱政策。