50 條未發表的物理難題
一個由 35 名物理學家組成的團隊在 10 月 9 日於 arXiv 發表論文,公開 TheoPhysEval 測試集:50 條研究級理論物理題目,全部未在文獻中發表,答案可以驗證。論文指,一名該領域的世界級專家一般用一天或更短時間可以解出一題,相鄰領域的專家則要花更長時間。作者包括國際理論科學中心(ICTS)的 Suvrat Raju,以及 Google DeepMind 的 Praneeth Netrapalli。
題目由各領域專家提供,橫跨 11 個主題,包括量子場論、引力與宇宙學、全息與糾纏、散射振幅和量子物態等。不少題目改編自出題者近期的論文,只是更換了參數;也有些來自未發表的研究筆記。
最好的代理答對 49 題
研究人員讓現成的 AI 代理在不給提示的情況下自行解題,並容許它們搜尋文獻和撰寫數值及符號運算程式。表現最好的是在 Codex 上運行的 OpenAI GPT-6-Astra,50 題答對 49 題,準確率 98%,平均每題成本約 2.33 美元。在 Claude Code 上運行的 Anthropic Opus 5.5 答對 46 題,準確率 92%。
其他代理落後得多:Gemini 3.8 Flash 答對 34 題,DeepSeek-V4.1-Flash 答對 27 題,GLM 5.3 答對 21 題。
不准上網,分數幾乎不變
研究人員再做一輪測試,不准代理上網搜尋,也不提供背景論文。GPT-6-Astra 仍答對 46 題,Opus 5.5 同樣是 46 題。論文認為這顯示模型已大量記住相關文獻。
會計算,但不懂選題
論文也嘗試解釋,為何代理解題能力這麼強,至今理論物理領域卻仍未出現由 AI 帶領的突破。作者指,解題只是物理研究的一部分,研究者還要挑選問題,並把問題轉化成計算。他們寫道,代理「似乎沒有同樣的品味」:被要求自行出題時,往往執著於人類覺得無趣的細節;原本的題目太難時,也不擅長轉向一個較簡單但同樣有意思的問題。因此作者認為,暫時仍要由人類專家為代理定下研究方向。




No comments yet
提交留言即表示你已閱讀我們的私隱政策。