AI 摘要
- 高通執行長透露前沿AI公司正投入手機開發，目標2028年實現本地常時運行100B大型語言模型。
- 相較於現行Snapdragon 8 Elite Extreme Gen 6支援30B MoE模型，100B模型經4-bit量化仍需約50GB記憶體，面臨高成本與散熱挑戰。
- 推動端側大模型發展的主因為發展低延遲且兼顧個人隱私的常時運作AI代理人功能。
行動晶片大廠高通（Qualcomm）執行長 Cristiano Amon 近日在接受訪談時透露，走在技術最前沿的 AI 公司已開始投入智慧型手機硬體開發，並向高通提出硬體規格需求，目標是在 2028 年讓手機能夠在本地端持續運行至少 1,000 億參數（100B）的大型語言模型。對比高通今年發表的頂級旗艦晶片 Snapdragon 8 Elite Extreme Gen 6 本地支援 30B 等級 MoE（混合專家）模型的能力，下一世代端側 AI 運算架構正迎來大幅度的跨越。
前沿AI公司跨足硬體，鎖定2028年落地100B終端模型
高通執行長 Cristiano Amon 在科技節目《Sources》中指出，已有數家處於 AI 領域核心地位的業者明確提出需求，要求在 2028 年的手機終端上，必須確保具備常時運行（Always-on）至少 100B 規模模型的能力。針對主持人追問，Amon 明確證實「AI 公司已經開始在做手機」，顯示生成式 AI 業者正試圖從純雲端軟體服務向下延伸至專屬終端設備。
邊緣運算規格挑戰：記憶體與量化需求解析
要在體積受限的手機端運行高達 1,000 億參數的模型，主要的瓶頸不僅在於處理器核心算力，更在於記憶體容量、頻寬、功耗與散熱架構。依據模型參數量與位元數換算，即使透過量化技術壓縮模型權重，對記憶體的消耗依然遠超現行旗艦手機的硬體配置：
| 模型精度 / 終端裝置 | 所需或搭載之記憶體容量 |
|---|---|
| 100B 模型（16-bit 原始精度） | 約 200GB |
| 100B 模型（8-bit 量化） | 約 100GB |
| 100B 模型（4-bit 量化） | 約 50GB |
| 100B 模型（2-bit 量化） | 約 25GB |
| iPhone 17 Pro、Galaxy S26（來源提及規格） | 12GB |
| 主流 Android 旗艦手機 | 12GB～16GB |
| 少數高階 Android 機型 | 24GB |
| Snapdragon 8 Elite Extreme Gen 6 平台支援 | 本地運行 30B MoE 模型 |
推動本地大模型運行的核心驅動力：AI代理人與隱私
將 100B 等級模型由雲端轉移至端側運行的關鍵動力在於「AI 代理（AI Agent）」的發展。AI 代理需要深度整合使用者的行事曆、通訊內容、照片與即時位置等高敏感隱私資料，並具備主動規劃行程與執行複雜指令的能力。若完全依賴雲端傳輸，不僅面臨網路延遲與連線不穩的限制，更有隱私外洩風險。因此，AI 業者提出裝置必須具備「常時運作」的本地運算效能，以提供低延遲且兼顧隱私保障的完整個人助理體驗。
Reference Link : kocpc.com.tw
