事件背景
AT&T 副總裁 Mark Austin 負責監督公司內部的 AI 應用。他向 The Information 表示，AT&T 並非要停用 Anthropic 或 OpenAI 的模型，而是要把花在它們身上的金額壓平——員工用量繼續上升，但增加的部分由開源模型吸收，帳單不再跟着使用習慣一起膨脹。
公司現時採用的開源或開放權重模型包括輝達的 Nemotron、Meta 的 Llama 以及 Google 的 Gemma。Austin 說，開源模型的能力一般落後前沿模型六至十個月，但差距正在收窄；對比 Anthropic 與 OpenAI 較舊版本的模型，開源選項已經一樣好，甚至更好。
AT&T 亦在評估來自 DeepSeek 與 Moonshot 的中國模型，但尚未投入使用，公司仍在衡量當中的風險。
數據解讀
- 開源模型現時處理 AT&T 員工約四成查詢，目標推高至六至七成。
- 據 PYMNTS 報道，轉用開源模型後，編程與進階任務的成本最多減少 56%。
- 同一批任務的質素只下跌 2%。
- 開源模型與前沿模型的能力差距約為六至十個月，並持續收窄。
省錢的關鍵不只是換模型，而是在模型上面加一層路由。AT&T 用的是 LiteLLM 模型路由器：系統先判斷一項任務有多複雜，再決定可否交給較便宜的模型處理。日常的簡單查詢不必送到最貴的前沿模型，真正困難的才留給它們。因此省下來的錢並非來自放棄能力，而是來自不再為每一條問題都付前沿價錢。
這也解釋了為何質素只跌 2%。路由器把難題留給原本的模型，被換走的是那些本來就不需要前沿能力的工作量——而那類工作量在一間有數以萬計員工的公司裏，佔比並不小。
對市場的影響
對 Anthropic 而言，這是企業客戶第一次公開示範怎樣把它的帳單封頂。AT&T 沒有解約，也沒有換供應商，卻同時做到用量上升與支出不變兩件事。這種做法不需要任何一方讓步，也不會出現在流失率的數字上，但它直接壓住的是收入的增長曲線。
更值得留意的是被換走的部分。Austin 的說法是開源模型追平了 Anthropic 與 OpenAI 較舊的版本，換言之前沿模型的舊世代正在被商品化，而商品化的速度就是那六至十個月。前沿實驗室要守住企業支出，就必須讓每一代新模型都提供舊模型做不到的東西，否則客戶只需要等半年多。
對其他企業來說，AT&T 提供的是一份可以照抄的作業：先量度查詢的複雜度分佈，再用路由器把低複雜度的部分外判給開放權重模型。這條路徑的門檻不高，一旦成為採購常規，AI 供應商的定價權就會從「用不用」轉移到「有多少比例非用不可」。
來源
- AT&T is Using Open Source Models to Curb Anthropic Bills — The Information，原始報道
- AT&T Slashes AI Costs by Adopting Model Routers and Open Source — PYMNTS
No comments yet