Anthropic Claude Code 擴充自訂技能實測出爐:過度配置恐致 Token 消耗量暴增 85%

BlueSky

AI 摘要

  • 日本工程師實測發現為 AI 工具盲目堆疊自訂技能會導致效能退化並使 Token 消耗暴增近一倍。
  • 測試顯示雲端原生環境已具備相關工具,冗餘技能說明會大幅增加對話輪次與快取成本。
  • 開發者應採取最小干預原則並精簡技能代碼,定期汰除已被原生架構取代的過期擴充。

由 Anthropic 所推出的命令列 AI 開發輔助工具 Anthropic Claude Code,近期成為許多軟體工程師提升多工開發效率的熱門選擇。然而,日本資深工程師かわしん(kawasin73)最新實測報告指出,盲目替 Anthropic Claude Code 堆疊自訂擴充技能(Skills),非但無法加速工作流程,反而可能因注入過多冗餘指令而引發「AI 效能退化」,甚至讓對話輪次倍增、Token 消耗量狂飆近一倍。

自訂技能架構陷阱:雲端原生 MCP 工具讓冗長 Prompt 成為負擔

在日常多工環境下,開發者常於桌面端並行多個工作階段,為了解決工作區標題混淆問題,作者最初為 Claude Desktop 與 Claude Code 設計了名為 session-title 的技能,用以自動為標題加上 Emoji。最初版本為 78 行(約 4 KB),但為相容雲端環境(Cloud Session)後被擴充至 139 行(約 7.4 KB)。

然而檢查發現,雲端環境本已內建讀取與設定標題的原生 MCP(Model Context Protocol)工具。當模型被強行注入 7 KB 以上的自訂技能文字時,非但沒有增加新功能,反而霸佔了寶貴的上下文視窗(Context Rot),大幅增加快取讀取負擔。

雲端自動化量化實測:掛載自訂技能之成本對比

針對雲端環境中的三項典型操作,作者透過自動化評估測試(Eval on Cloud),比較了掛載自訂技能與純原生工具的表現差異。結果顯示,雖然所有任務均達到 100% 成功率,但自訂技能的額外 Token 增幅高達 85.7%:

測試任務測試條件平均快取讀取(Cache Read Tokens)額外消耗增幅任務成功率
A:重新命名掛載自訂技能311,582 tokens+85.7%100%
A:重新命名無自訂技能(原生)167,779 tokens基準線100%
B:Emoji 前綴掛載自訂技能364,229 tokens+58.2%100%
B:Emoji 前綴無自訂技能(原生)230,194 tokens基準線100%
C:讀取標題掛載自訂技能174,081 tokens+11.6%100%
C:讀取標題無自訂技能(原生)155,960 tokens基準線100%

桌面端重構驗證:精簡專用技能成功降低對話輪次與成本

在本地桌面端環境中,由於模型無法原生讀取本地檔案系統,自訂技能確實具備補足能力的效果。然而在寫入任務上,原本肥大的 139 行技能卻讓對話輪次由 4 輪暴增至 7 輪。經重構為僅保留讀取邏輯的 29 行(約 1.3 KB)get-session-title 專用技能後,整體表現獲得顯著改善:

桌面端測試項目原始肥大技能(139行)精簡專用技能(29行)最佳化效益
重新命名(純寫入)7.00 輪 / 38.3 萬 tokens4.00 輪 / 20.3 萬 tokens對話輪次減少 43%,Token 砍半
讀取標題(純讀取)6.00 輪 / 26.9 萬 tokens5.00 輪 / 20.1 萬 tokens穩定維持極速讀取能力

防範 AI 效能退化的三大關鍵原則

隨著模型底層邏輯與 MCP 生態持續升級,過往撰寫的擴充技能極易過時。為避免 Anthropic Claude Code 陷入「越擴充越遲鈍」的困境,開發者應落實以下原則:

  • 最小干預原則:僅針對模型缺失的能力進行擴充,避免重複教導模型已原生具備的 MCP 工具。
  • 強制導入評估機制:針對「能力提升型技能」建立自動化腳本,持續監控對話輪次與 Token 消耗變動。
  • 動態汰除過期技能:定期審視底層模型更新狀況,及時刪除已被原生架構涵蓋的冗餘擴充項目。

Reference Link : techbang.com

Related Articles

Stay Connected

0FansLike
0FollowersFollow
22,800SubscribersSubscribe
spot_img

Latest Articles