Nadella 籲為先進 AI 設「緊急煞車」

Nadella 說了甚麼

Microsoft 主席兼行政總裁 Satya Nadella 周六（10 日）在 X 發表長文，呼籲先進 AI 系統必須內置圍堵機制、獨立管控和「緊急煞車」。據 CNBC 報道，他所指的緊急煞車，是讓獲授權人員可以在模型執行任務中途暫停或關閉它。

TechCrunch 引述 Nadella 指，現在是時候「退一步，檢視 AI 的信任架構」。他寫道，業界不能把超級智能當成「一層套一層的黑箱」，然後只是接受或拒絕它的建議、答案和行動。

「緊急煞車」具體是甚麼

緊急煞車的前提，是假設模型本身不可信。The Verge 引述 Nadella 原文：「我們必須假設模型已被攻破，並從一開始就加以圍堵。可以把它想像成緊急煞車。獲授權人員應該隨時能夠在模型執行任務中途暫停或關閉它。」

他又指，越先進的模型需要越先進的圍堵技術，而業界需要就這些技術訂立統一標準。

據 CNBC 報道，Nadella 形容，把前沿的封閉模型和開放權重模型一律當作「內部風險」處理，是建立這類系統的一個方法。

他提出了哪些原則

Nadella 提出以「可觀測性」為核心的一組設計原則。CNBC 列出的項目包括模型多元化、以人類可讀方式記錄模型的行動、持續測試系統、獨立管控和可審計性、圍堵，以及事故披露。

TechCrunch 指，這套做法意味著把模型與負責編排其工作的外層系統分開，並把管控和防護措施放在模型以外。Nadella 亦要求模型每一個有意義的行動，都要留下「防篡改、人類可讀的證據」。

他寫道：「我們需要以強而有力的確定性系統設計、人為管控和可靠的操作程序，包圍非確定性的模型，並在現有標準不足之處建立行業標準。」

為何在這個時候提出

Nadella 發文之際，多名科技界領袖正相繼就 AI 安全發出警告。CNBC 指，Microsoft 共同創辦人 Bill Gates、Anthropic 行政總裁 Dario Amodei、OpenAI 行政總裁 Sam Altman 和 SpaceX 行政總裁 Elon Musk，近期都曾指出 AI 安全措施不足，或認為技術發展過快。

TechCrunch 則指，主要 AI 公司近期承認，有越來越多事故顯示它們似乎一度失去對模型的控制，而 Amodei 亦已公布一份主張更審慎發展 AI 的計劃。

另一方面，據 CNBC 報道，美國總統特朗普多次淡化 AI 帶來滅絕風險的說法，強調美國業界必須領先中國。

意味著甚麼

Nadella 的主張把 AI 安全的重心，由「模型是否可信」轉向「系統能否管住不可信的模型」。他在文中寫道：「最值得信賴的超級智能系統，不會是擁有我們最信任的模型的那一個，而是讓我們可以最不信任模型的那一個。」

The Verge 認為，他的大部分建議與業界其他人的說法一致，包括及時披露事故、獨立審計和圍堵，但在圍堵一項上，他比部分同業走得稍遠。

來源

• Microsoft's Nadella says AI needs an 'emergency brake' that humans control（CNBC）
• Microsoft's Satya Nadella says AI models need an 'emergency brake'（TechCrunch）
• Satya Nadella says we should assume all AI models are 'compromised'（The Verge）