Hinton、Bengio 聯同 OpenAI 及 Anthropic 高層警告 AI「智能爆炸」

Hinton、Bengio 聯同 OpenAI 及 Anthropic 高層警告 AI「智能爆炸」

被譽為現代 AI「教父」的諾貝爾獎得主 Geoffrey Hinton 及加拿大電腦科學家 Yoshua Bengio，周一（28 日）聯同 OpenAI 及 Anthropic 高層發表報告，警告各國政府要為 AI「智能爆炸」作好準備，形容這可能是人類史上影響最深遠的科技發展。

甚麼是「智能爆炸」

報告題為《What if automating AI R&D triggers an intelligence explosion》，作者逾 20 人，包括 Anthropic 聯合創辦人 Jack Clark 及 OpenAI 首席科學家 Jakub Pachocki。據《衛報》報道，作者把「智能爆炸」形容為「由 AI 推動的 AI 進展急劇加速，把原本需時數年的進展壓縮至數月或更短」。

作者關注的是 AI 在無人介入下自我改進，即所謂「遞歸自我改進」，報告統稱為自動化 AI 研發。報告指，一旦 AI 系統的 AI 研發能力達到專家水平，單一開發商便可運用相當於「數以百萬計」頂尖人類研究員的人力。

報告寫道：「智能爆炸可能是人類史上影響最深遠的科技發展，把數年的進展壓縮至數月或更短，威脅人類對 AI 系統的控制，並嚴重削弱國家之間及國家內部、企業之間以至政府各部門之間的權力制衡。」

三大政策建議

資料來源：《衛報》、The Verge

作者促請政府盡快行動：「智能爆炸一旦開始，採取行動的窗口或會關閉。」

AI 已參與改進自身

據《衛報》報道，Anthropic 表示 AI 現時已編寫其八成程式碼，OpenAI 則在訓練新模型等範疇使用自主 AI 代理。報告指：「初步證據顯示，由軟件推動的智能爆炸是有可能的。」

報告發表之際，AI 代理失控事件接連發生，OpenAI 上周宣布暫停訓練其最強大的模型。

來源

• AI godfathers warn of runaway 'intelligence explosion'（The Guardian）
• Automated AI research could pose "extreme risks," say leading AI researchers（The Verge）
• Anthropic, OpenAI Leaders Call for Oversight of Self-Improving AI Systems（Bloomberg）