AI 摘要
- Fiddler 實測顯示低價模型在多輪除錯任務中的實際成本遠高於旗艦模型。
- 模型輸出冗長虛構指令導致單次回覆 Token 消耗暴增數十倍。
- 多輪對話機制重複讀取無效歷史資料使計費迅速膨脹。
在企業導入 AI 代理人（Coding Agent）處理軟體開發與自動化除錯任務時，架構師往往傾向選擇 API 費率較低的輕量化模型以控制成本。然而，專注於 AI 系統效能評估的研發團隊 Fiddler 近日發布深度實測報告指出，在多輪程式修復情境下，每單位 Token 牌價較便宜的模型，最終成功修復單一錯誤（Bug）的整體支出，反而可能比高階旗艦模型高出 8 到 14 倍。
測試設計：以隱藏驗證集評估真實修復成本
為了量化 API 定價與專案實際營運支出之間的關係，Fiddler 團隊針對 Anthropic 旗下的兩款模型進行對比測試：定位為輕量平價的 Claude Haiku 4.5 與旗艦主力 Claude Sonnet 5。在官方定價策略中，Claude Haiku 4.5 的輸入與輸出每百萬 Token 費率均僅為 Claude Sonnet 5 的一半。
測試架構設計了 5 項以 Python 編寫的除錯任務，並透過自動化測試環境與模型串接。AI 代理人可主動發出「檢視檔案內容」、「重寫程式碼」或「執行測試」等操作指令，系統執行後將結果回傳給模型評估下一步，上限為 8 次互動輪次。為防範 AI 產生修復完成的幻覺（Hallucination），測試團隊除公開測試集外，亦設置了完全隔離的「隱藏測試集（Withheld tests）」，只有通過隱藏測試才計入實質修復成功。
實測數據顯示，在計算失敗重試等所有開銷後，Claude Sonnet 5 完成 45 次試驗的總開銷僅為 0.45 美元；反觀每 Token 單價減半的 Claude Haiku 4.5 總花費達到 4 美元。在三組獨立重複實驗中，以「每次驗證成功修復成本（Cost per verified success）」計算，Claude Haiku 4.5 的成本是 Claude Sonnet 5 的 8.4 倍至 14.1 倍。
輸出膨脹與虛構反饋導致 Token 消耗激增
分析雙方的 API 通訊紀錄發現，成本暴增的主因在於 Claude Haiku 4.5 出現嚴重的「輸出膨脹（Verbosity）」現象：
- Token 中位數落差：在單輪互動中，Claude Sonnet 5 的輸出 Token 數中位數為 16，而 Claude Haiku 4.5 達到 361，相差約 22 倍。
- 極端長回覆案例：Claude Sonnet 5 的單次最長回覆僅 541 個 Token；Claude Haiku 4.5 最長單次回覆高達 22,721 個 Token，膨脹幅度達 42 倍。
Fiddler 團隊檢視日誌指出，Claude Haiku 4.5 在發出指令後，未等待測試環境回傳真實終端機結果，即自行預測並虛構反饋，隨後在單次回覆中連續編寫多達 60 條指令與虛假報表。然而，自動化代理人架構每輪僅會執行回覆中的第一條指令，導致後續產生的數萬字輸出全數轉化為無效且付費的運算開銷。
上下文累積效應引發重複計費機制
在多輪 Agent 架構中，歷史對話記錄會作為下一輪的 Context Window 輸入內容（Input Tokens）重新計費。這種機制讓單次冗長輸出引發了骨牌效應。
| 模型 | 第 1 輪輸入 Tokens | 第 2 輪輸入 Tokens | 第 5 輪輸入 Tokens |
|---|---|---|---|
| Claude Haiku 4.5 | 653 | 6,638（增長 13.7 倍） | 9,930 |
| Claude Sonnet 5 | 400 | 約略持平 | 1,220 |
數據分析顯示，當 Claude Haiku 4.5 維持受控的短回覆時，其單步執行成本為 0.00235 美元，略低於 Claude Sonnet 5 的全體平均 0.00244 美元。但一旦觸發失控長回覆，單步成本即暴增至 0.01693 美元（增加 7.2 倍），使前端節省的 API 差價被重複計費的上下文輸入迅速抵銷。
對軟體工程與 AI 系統架構的啟示
這項測試結果突顯出，評估生成式 AI 的成本架構時，僅參考 Token 單價牌價可能產生誤導。在涉及自動化反覆運算的 Coding Agent 系統中，模型的推理邏輯嚴謹度、流程控制紀律以及遵循單一指令的能力，對於終端運算帳單有著決定性影響。高階模型雖然單位費率較高，但在端到端自動化場景中，往往能藉由精確的互動大幅降低無效 Context 累積，展現更佳的整體經濟效益。
Reference Link : techbang.com
