中國人工智慧（AI）產業正從模型研發加速進入大規模部署階段，推理（Inference）需求隨之快速上升。業者一方面持續優化軟體，試圖讓龐大工作負載更有效率地適配國產硬體；另一方面，在程式編碼等高複雜度、高價值任務上，現階段仍不得不依賴數量受限的輝達（Nvidia）高階晶片。
高品質 Token 供給不足，編碼任務更考驗硬體
業界觀察指出，若以模型訓練與推理兩個環節相比，AI 推理較容易移轉至國產晶片。不過，國產處理器目前在穩定性與效能方面，仍難以全面支撐嚴苛的高階任務。
推理優化新創 Approaching.AI 副總裁關嘉偉表示，中國市場對 Token 的需求已出現明顯分化，高品質 Token 的需求遠大於供給。若企業的推理服務完全受限於國產晶片，目前可能只能承接需求較弱、變現能力較低的任務，進而使 AI 企業的商業模式面臨壓力。
關嘉偉進一步指出，程式編碼等高價值應用場景的使用者通常具備較高付費意願，但這類高品質 Token 的生成對晶片效能要求更高，因此短期內仍難以脫離對輝達高階晶片的依賴。
Agentic AI 推動 Token 消耗量上升
中國 AI 應用也逐漸朝更具「代理性」（Agentic）的方向發展。這類應用不僅要求 AI 回答問題，還要實際執行一連串任務，因此會消耗更多 Token，進一步加劇推理算力供應緊張的情況。
中國國家數據局資料顯示，今年 3 月中國平均每日 Token 呼叫量已突破 140 兆次，較 2024 年初增加超過 1,000 倍。這項數據反映 AI 應用端的快速成長，也凸顯推理基礎設施必須同步擴充的壓力。
國產替代仍面臨高階運算限制
中國正持續推進硬體本土化與國產替代，並透過軟體最佳化提升國產晶片的實際可用性。然而，從目前高價值推理與程式編碼任務的需求來看，國產硬體在效能與穩定性上的限制，仍使部分企業必須設法最大化利用有限的輝達高階晶片供應。
這也意味著，推理工作負載雖較模型訓練更有機會逐步轉向國產硬體，但在高品質 Token、複雜程式編碼及代理型 AI 應用等場景，產業短期內仍難以完全消除對外部高效能晶片的依賴。
Reference Link : technews.tw
