2023 年 11 月 3 日，xAI 推出 Grok
2023 年 11 月 3 日，Elon Musk 創立的人工智能公司 xAI 發表公告，推出聊天機械人 Grok。xAI 形容，Grok 以科幻小說《銀河便車指南》（Hitchhiker's Guide to the Galaxy）為藍本，目標是幾乎甚麼問題都能回答，甚至提議用戶該問甚麼問題。
公告又說，Grok 回答問題時會帶點幽默，而且「有反叛的一面」，叫討厭幽默的人不要用。xAI 指 Grok 一個獨特優勢，是可以經 X 平台即時掌握世界上發生的事。
xAI 承認，Grok 仍是非常早期的測試版產品，是「兩個月訓練下能做到的最好成果」。據 Wikipedia，首批試用資格只開放給付費的 X Premium 用戶；公告則說，首階段只讓美國少量用戶試用。
名字來自一本 1961 年的科幻小說
據 Wikipedia，Musk 在 2023 年 4 月接受訪問時，曾說要開發一個名為「TruthGPT」的聊天機械人，形容它會「最大程度追求真相」，並批評 ChatGPT 被訓練成「政治正確」。Musk 是 OpenAI 的 11 名聯合創辦人之一，2018 年離開該公司董事會。
這個計劃後來改名為 Grok。grok 是美國科幻作家 Robert A. Heinlein 在 1961 年小說《異鄉異客》（Stranger in a Strange Land）創造的動詞，意思是一種比常人更深入的理解。
用一半資源追近 LLaMA 2
驅動 Grok 的是 xAI 自家的大型語言模型 Grok-1，前後開發了四個月。據公告，xAI 先訓練了一個有 330 億參數的原型 Grok-0，它在標準測試的表現接近 Meta 的 LLaMA 2（700 億參數），但只用了一半訓練資源。
測試 | Grok-1 | GPT-3.5 | GPT-4 |
|---|---|---|---|
MMLU（多科選擇題） | 73% | 70% | 86.4% |
HumanEval（寫程式） | 63.2% | 48.1% | 67% |
匈牙利高中數學考試 | 59% | 41% | 68% |
xAI 說，由於網上公開的測試題目可能已混入訓練數據，它另外用 2023 年 5 月才公布的匈牙利全國高中數學考試，人手批改 Grok、Claude 2 及 GPT-4 的答案。Grok 取得 C 級（59%），Claude 2 同樣是 C 級（55%），GPT-4 則取得 B 級（68%）。
四個月後公開模型
據 Wikipedia，Musk 在 2024 年 3 月 11 日表示會把模型開源，六日後 xAI 以 Apache-2.0 授權公開 Grok-1 的架構及參數。據 xAI 在 GitHub 的說明，Grok-1 有 3,140 億參數，採用 8 個「專家」組成的混合專家架構，每次只動用其中 2 個。
此後 xAI 陸續推出 Grok-2、Grok 3 及 Grok 4 系列模型。據 Wikipedia，Grok 現在由 SpaceXSI 開發，設有 iOS 及 Android 應用程式，並整合到 X 平台及 Tesla 的 Optimus 機械人。
來源
- Announcing Grok（xAI）
- Grok (chatbot))（Wikipedia）
- xai-org/grok-1（GitHub）
暫時未有留言
提交留言即表示你已閱讀我們的私隱政策。