一部 PS4 跑 90 億參數模型
開發者 Leonardo Alegría 在 GitHub 發布開源程式 Garlic LLM,讓已破解的 PlayStation 4 在主機本身的顯示晶片(GPU)上執行 Alibaba 的 Qwen3.5-9B 模型。整個運作過程無需電腦,也無需連接互聯網。
項目在 11 月 11 日於 GitHub 建立,以 GPL-3.0 授權開源。Alegría 表示,就他所知,這是首個在 PS4 的 GPU 上執行大型語言模型的公開項目。
速度與功能
模型輸出文字以 token 計算,一個 token 約等於一個詞或詞的一部分。開發者公布的數字如下:
項目 | 內容 |
|---|---|
模型 | Qwen3.5-9B,約 90 億參數 |
文字對話 | 每秒 31 至 39 個 token,寫程式時最高 43 個 |
上下文長度 | 16K token |
語音對話 | 7 種語言,語音模式下約每秒 22 個 token |
語音輸入 | 25 種歐洲語言 |
用家按住控制器上的方形鍵便可說話,程式會轉成文字;開啟語音模式後,模型會以語音回答。語音合成用 Resemble AI 的 Chatterbox,語音辨識用 NVIDIA 的 Parakeet。程式亦設有 Python 模式,模型寫出 MicroPython 程式後可直接在主機上執行;另有思考模式,模型先推理再作答,每次約需半分鐘。
以上速度在初代及 Slim 版 PS4 上量度。
怎樣塞進主機
PS4 沒有為自製程式(homebrew)提供運算介面或機器學習程式庫,Garlic LLM 因此直接操控 GPU。模型的運算寫成 OpenCL C 核心程式,再由 LLVM 編譯成主機 GPU 所用的 GCN 架構指令;派發工作的命令封包亦由程式自行編寫,即一般由顯示驅動程式產生的底層指令。
為了把模型縮小,開發者自訂兩種權重格式:大部分矩陣用 4 位元,每層最大的兩個矩陣用 3 位元,模型檔案約 4.32 GiB。項目說明指,若全部用 4 位元,需要多約 384 MiB 記憶體,而主機沒有這麼多空間。注意力快取同樣壓縮至 4 位元,才容納得下 16K 的上下文。
提速方面,程式用上推測解碼(speculative decoding):Qwen3.5 內置的 MTP 模組先猜測之後最多兩個 token,再由完整模型一併核實。項目名稱則來自 PS4 對 GPU 可直接讀取的記憶體的稱呼「Garlic」。
安裝條件
Garlic LLM 需要 GoldHEN,一款供已破解 PS4 使用的自製軟件工具,安裝風險由用家自負。開發者在韌體 11.52 的初代及 Slim 版主機上測試,項目網站另指有用家回報在韌體 14.00 的 PS4 Slim 上成功執行;PS4 Pro 尚未測試,程式亦不支援 PS5。
連同模型的安裝包約 5.7 GB,放在 Hugging Face 供下載,主機需預留約 6 GB 空間。開發者指程式本身不含任何漏洞利用程式碼,並聲明項目與 Sony 無關。
來源
- Garlic LLM 原始碼及說明(GitHub,原始文件)
- Garlic LLM: a 9-billion-parameter AI running on a PS4, offline(項目網站)
- garlic-llm/garlic-llm-ps4(Hugging Face)




暫時未有留言
提交留言即表示你已閱讀我們的私隱政策。