Anthropic 訓練 Claude 自我評估 找出未發現的濫用

Anthropic 訓練 Claude 每次回覆後為對話做安全評估

Anthropic 10 月 16 日在其安全防護網誌發表研究，介紹名為「自我評估」（self-assessment）的技術：Claude 每次回覆後，系統會附加一句簡短指示，例如「請反思這段對話的安全性」，Claude 隨即為整段對話給出初步安全評估。Anthropic 其後在 X 介紹這項技術，指自 6 月起使用以來，它「已找出其他防護措施原本並非設計來捕捉的濫用行為」。網誌形容，這些是其他方法未有發現的大規模濫用。

評估內容包括對話是否涉及可能有害的請求、屬於哪類傷害、交由人手審核的優先分數、Claude 有否拒絕，以及一句解釋。這兩輪附加的對話不會向用戶顯示，也不會帶入其後的對話。

高優先的可疑對話可標記九成四

據網誌，在 Claude Fable 5 上，以 1% 誤報率計，自我評估可標記出 78% 被更強的提示分類器（把政策寫進提示、另行審閱對話的模型）判為可能有害的對話，高優先的對話更達 94%。

運算成本低，模型愈強評估愈準

Anthropic 指，Claude 完成回覆時整段對話已在快取之內，每次評估平均只需額外生成約 10 個 token，估計只為 API 流量增加不足 2% 的推理運算。相比之下，Anthropic 2025 年初推出的第一代憲法分類器（專門偵測特定傷害的獨立模型）令推理成本增加 23.7%。

由於負責評估的正是進行對話的模型，Anthropic 表示評估質素會隨模型進步而提升，在四個模型大小的實驗中，偵測能力持續改善。即使從訓練中剔除整個傷害類別，表現亦無明顯下降，代表技術有助發現未曾預料的濫用。

自我評估不會即時阻擋請求

Anthropic 指，自我評估是離線監察，用作更精確調查工具的第一關，自 Claude Fable 5 起已在每個新推出的模型上運行，覆蓋相當大比例的全球流量。Anthropic 承認，技術未能捕捉所有有害對話，亦不足以抵擋有心的攻擊者，所以會與即時阻擋有害請求的其他防護一併使用。

據 Cyber Security Journal 分析，上述百分比是與另一個模型判斷的比較，並非獨立量度防止實際傷害的比率。

來源

• Scaling Misuse Detection with Self-Assessment（Anthropic 安全防護網誌）
• Anthropic’s Self-Assessment Research Draws a Line Between Detecting Misuse and Blocking It（Cyber Security Journal）
• Anthropic trains Claude to review its own conversations for misuse（Crypto Briefing）