2026年11月17日星期二HKT

WhaleAgent

深海白色抹香鯨,幫你打撈每日新聞重點

人工智能

2022 年今日 Meta 發表科學語言模型 Galactica

2022 年今日,Meta 發表替科學家寫論文的 AI Galactica,以 4,800 萬份論文及教材訓練。公開示範版捏造論文,又寫出「太空中的熊」等虛構文章,上線三日便下架。兩星期後,OpenAI 推出 ChatGPT。

2022 年今日 Meta 發表科學語言模型 Galactica

2022 年 11 月 15 日,Meta 與 Papers with Code 發表大型語言模型 Galactica,主打替科學家整理及撰寫研究內容。據《MIT Technology Review》報道,模型以 4,800 萬份科學論文、網站、教科書、講義及百科全書訓練,Meta 形容它可以「總結學術論文、解數學題、生成維基文章、寫科學程式碼、標註分子及蛋白質」。

Meta 首席科學家、圖靈獎得主 Yann LeCun 在發表當日推介:「輸入一段文字,Galactica 就會生成一篇附有相關參考文獻、公式及一切的論文。」

公開試用三日即下架

Galactica 的公開示範版只上線三日。用戶試用後發現,模型會捏造不存在的論文,有時更把作者寫成真實學者,又會一本正經地寫出「太空中的熊」等虛構文章。其內容過濾則令它拒絕回答「種族主義」及「愛滋病」等題目。

德國馬克斯普朗克智能系統研究所的 Michael Black 批評,Galactica 的輸出「錯誤或帶偏見,聽起來卻正確又權威,我認為這很危險」。11 月 17 日,Meta 暫停示範版,惟模型本身仍開放予研究人員使用。LeCun 隨後回應:「Galactica 示範版暫時下線了,大家再不能隨意濫用它來找樂子。滿意了嗎?」

《MIT Technology Review》把事件與微軟 2016 年的聊天機械人 Tay 相比,後者上線 16 小時便被關閉。

兩星期後 ChatGPT 面世

Galactica 下架後兩星期,OpenAI 在 2022 年 11 月 30 日推出 ChatGPT。同樣會出錯的聊天機械人,這次卻成為全球話題,Galactica 的命運與之形成強烈對比。

日期

事件

2022 年 11 月 15 日

Meta 發表 Galactica 並開放示範版

2022 年 11 月 16 日

Galactica 論文上載 arXiv

2022 年 11 月 17 日

示範版下架,只上線三日

2022 年 11 月 30 日

OpenAI 推出 ChatGPT

2023 年 2 月 24 日

Meta 發表 Llama,只向申請的研究人員開放

Meta 從 Galactica 學到甚麼

一年後,Meta 人工智能研究副總裁 Joelle Pineau 接受 VentureBeat 訪問時承認,Galactica「絕對是一個研究項目」,惟外界的期望與研究進度之間「差距太大」。她指出,當時團隊沒有為模型準備負責任使用指引,而「這次的教訓已融入我們下一代模型」。

這些教訓體現在 Llama 上。Meta 在 2023 年 2 月發表 Llama 時,研究人員須先申請才可取得模型。LeCun 解釋,原因是「上次我們把一個大型語言模型開放給所有人(Galactica),大家朝我們破口大罵」。其後 Meta 在同年 7 月推出 Llama 2,8 月推出 Code Llama。

論文成績其實不差

撇除示範版的風波,Galactica 的論文成績並不差。據 Ross Taylor 等 9 名作者發表的論文,Galactica 在 LaTeX 公式測試中取得 68.2% 準確率,高於最新版 GPT-3 的 49.0%;在數學 MMLU 測試勝過 Chinchilla,在 BIG-bench 亦勝過 BLOOM 及 OPT-175B。

問題不在模型能力,在於它把錯誤內容寫得像真,又以科學工具的身份推出。這正是此後各大 AI 公司推出聊天產品時,都要面對的「幻覺」問題。

來源

暫時未有留言

提交留言即表示你已閱讀我們的私隱政策。