AI 安全研究員舉牌：造出通用超級智能就控制不了

他在卡片上寫的是接近 100% 的數字

在 The Diary of a CEO 一集人工智能辯論中，主持人要求每位嘉賓在信封裏寫下自己估計的人類滅絕機率。路易維爾大學人工智能安全研究員 Roman Yampolskiy 舉起的卡片，寫着 99 點後面一連串 9，並簽上自己的名字。

他的理由：造出來就控制不了

Yampolskiy 在同一段對話中表示：「若造出通用超級智能，沒有辦法控制它，那就是我們的終結。」他又指，自己的估計「基本上是必然」。被問到機率是否高於 10% 時，他的答案是除非停止，否則會高得多。

同場的分歧：由 10% 到「基本上是必然」

同場另一位嘉賓寫下的數字是 10%，與 Yampolskiy 的估計相差極遠。這種落差正是這類辯論的常態：參與者用同一個詞「滅絕機率」，卻建基於完全不同的假設。

他一直主張停止建造通用超級智能

翻查資料，Yampolskiy 是最早提出人工智能風險的學者之一。他在 9 月 16 日的 Generation AI 節目中表示「我們需要停止建造通用超級智能」，並反駁 Anthropic 行政總裁 Dario Amodei 認為只要方法正確就可以安全開發的說法。

其他傳媒引述的數字並不一致

據 Business Insider 報道，Yampolskiy 曾表示，若人類造出通用超級智能，滅絕機率「顯著高於 90%」。不同訪問中他給出的數字由 90% 多到 99.9% 不等，今次卡片上的寫法比過往任何一次都更接近 100%。

這類數字該怎樣讀

《衛報》在 9 月 15 日一篇檢視同類預測的報道中引述一名熟悉 Anthropic 想法的消息人士指，任何單一結果的準確機率大概都是無法得知的，若拿不出證據，所謂的滅絕機率數字同樣沒有依據。這類數字反映的是研究者的判斷，不是可以核實的測量結果。

來源

• AI Emergency: The AI Labs Are Lying To Everyone, He Says 99% Chance Of Extinction（The Diary of a CEO，原片）
• Researchers fear there's a chance AI could kill us all. Here's how experts say that might play out（Business Insider）
• Could AI really wipe out humanity: six experts spell out the risks（衛報）