人工智慧帶動資料中心與邊緣運算的加速需求，高通（Qualcomm）自 2020 年推出 Cloud AI 100 AI 推論加速卡後，持續透過不同產品組態與系統合作夥伴拓展市場。2025 年 1 月的 CES 期間，高通再公布 Qualcomm Cloud AI 100 Ultra，以及結合硬體、軟體與服務的 Qualcomm AI On-Prem Appliance Solution，瞄準企業內部部署的 AI 推論應用。
Cloud AI 100 Ultra 主打高效能與大型模型支援
高通表示，Cloud AI 100 Ultra 採用由高通設計的 AI 核心，單張加速卡內建 64 顆 AI 核心，INT8 整數運算效能最高可達 870 TOPS。相較前一代產品，這款加速卡的效能最高提升 4 倍。產品採用 150 瓦熱設計功耗，並以 PCIe 4.0 x16 介面連接伺服器。
在模型支援方面，單張 Cloud AI 100 Ultra 可用於處理具備 1,000 億個參數的 AI 模型；使用兩張加速卡時，則可支援 1,750 億個參數的模型。若搭配更多加速卡，以及高通的 Qualcomm AI Stack 與 Qualcomm Cloud AI SDK，則可進一步處理更大規模的 AI 模型。
記憶體配置是 Cloud AI 100 Ultra 相較既有版本的主要差異之一。該卡內建 128GB LPDDR4x 記憶體，記憶體頻寬為 548GB/s；晶片內部另配置 576MB SRAM，每顆 AI 核心搭配 9MB。高通指出，較大的記憶體容量與頻寬有助於支撐大型 AI 模型及資料集。
Cloud AI 系列歷經多代產品與效能測試
高通首批 Cloud AI 100 產品於 2020 年 9 月出貨，當時提供三種組態：75 瓦、INT8 400 TOPS 的半高半長 PCIe 介面卡；25 瓦、INT8 200 TOPS 的雙 M.2 介面卡；以及 15 瓦、INT8 70 TOPS 的雙 M.2e 介面卡。高通原先也預計在同年 10 月推出以 Cloud AI 100 為基礎的 Qualcomm Cloud AI 100 Edge Development Kit。
此後，MLCommons 持續公布 Qualcomm Cloud AI 100 在 MLPerf Inference 測試中的結果，涵蓋 MLPerf Inference Edge 與 MLPerf Inference Datacenter 的多個版本。送測者除了高通，也包括系統與伺服器廠商。
在 MLPerf Inference Datacenter 測試中，技嘉的 R282-Z93 與 G292-Z43、Dell PowerEdge R7515、HPE ProLiant DL385 Gen10 Plus v2、聯想 ThinkSystem SR670 V2，以及提供 Amazon EC2 DL2q 執行個體服務的 AWS，都曾提交搭配 Qualcomm Cloud AI 100 的測試結果。
從 2022 年 4 月公布的 MLPerf Inference 2.0 開始，測試結果出現搭配 Cloud AI 100 Pro 的系統，之後也出現 Standard 組態。到了 2023 年 4 月公布的 MLPerf Inference 4.0，聯想 ThinkSystem SR670 V2 首度以 Cloud AI 100 Ultra 組態參與測試。
硬體架構由多顆 SoC 與專用 NoC 組成
根據高通使用者指南，Cloud AI 100 Ultra 每張加速卡包含 4 顆系統單晶片（SoC）與 1 個 PCIe 交換器，兩者透過 PCIe 4.0 x8 連接，而加速卡與伺服器之間則採用 PCIe 4.0 x16 介面。相較之下，Cloud AI 100 Standard 與 Cloud AI 100 Pro 每張加速卡各包含 1 顆 SoC，並透過 PCIe 4.0 x8 連接伺服器。
每顆 Cloud AI 100 SoC 內建 16 個第 7 代 AI 核心，並配置 144MB 記憶體與 8 個 PCIe 4.0 通道。單顆 SoC 的 INT8 整數運算效能超過 400 TOPS，FP16 浮點運算效能超過 200 TOPS；外部 LPDDR4x 記憶體則具備 4 個 64 位元記憶體通道，頻寬約 136GB/s，容量最高 32GB。
AI 核心與晶片內部各子系統之間，透過高通設計的網路單晶片（NoC）互連，資料存取頻寬為 186GB/s，並支援多點傳送與 AI 核心同步。Cloud AI 100 採用三種 NoC：
- Compute NoC：負責連接 AI 核心與 PCIe 介面。
- Memory NoC：負責連接 AI 核心與 DDR 記憶體。
- Configuration NoC：用於系統開機與硬體設定。
AI 核心分工處理張量、向量與純量運算
高通表示，Cloud AI 100 的第 7 代 AI 核心是經過超過十年研發的成果，採用分離式架構，分別針對張量（tensor）、向量（vector）與純量（scalar）運算配置不同運算單元。
張量處理器包含兩個二維乘積累加（MAC）陣列，其中一個用於 INT8，另一個用於 FP16。每個運算週期可分別執行 8,192 個 INT8 與 4,096 個 FP16 處理。
向量處理器提供超過 700 個指令集，可用於 AI、內容驗證與影像處理，支援 8 位元或 16 位元整數，以及 16 位元或 32 位元浮點運算；每個運算週期可分別執行 512 個與 256 個乘積累加運算。
純量處理器則採用四路超長指令字（VLIW）架構，支援 6 個硬體執行緒，並為各執行緒配置鄰近的純量暫存器檔案、指令快取與資料快取，同時支援整數與浮點運算。
HPE 將 Cloud AI 100 Ultra 導入 ProLiant Gen11
在伺服器採用方面，HPE 宣布支援 Cloud AI 100 Ultra，並計畫將其導入 ProLiant Gen11 世代伺服器。以單臺 2U 伺服器而言，最多可搭載 8 張 Cloud AI 100 Ultra，應用於自然語言處理（NLP）等生成式 AI 工作負載。
HPE 當時預計在 2024 年上半年提供整合相關加速卡的產品並公布售價。不過，來源資料指出，依照 HPE 網站當時的資訊，HPE 主要推廣的 Qualcomm Cloud AI 產品仍可能是第一代版本，因此實際供貨狀況與產品組態仍需以廠商資訊為準。
高通推出企業內部部署 AI 整合設備
高通在 CES 2025 宣布 Qualcomm AI On-Prem Appliance Solution，將 Qualcomm Cloud AI 硬體加速卡，與涵蓋邊緣至雲端環境的 AI 推論軟體與服務套件 Qualcomm AI Inference Suite 結合，形成可由系統廠商提供的整合式應用設備。
目前有兩家廠商提供相關解決方案。聯想以 2021 年底推出的 SE450 邊緣伺服器，以及 2023 年 7 月推出的 SE360 V2 作為硬體平台；宜鼎集團旗下安提國際（Aetina）則採用 2024 年上半年發表的 MegaEdge PCIe 系列邊緣 AI 工作站，包括 AIP-FR68 與 AIP-KQ67。
高通認為，這類產品組合可協助中小企業、大型企業及不同產業組織，在自行維運與管理的內部環境中建置自有或套裝 AI 應用，降低對第三方 AI 基礎架構租用服務的依賴，並控制營運成本與總體支出。不過，實際投資效益仍會受到模型規模、軟體最佳化、伺服器配置、能源成本與供貨價格等因素影響。
Qualcomm Cloud AI 100 Ultra 規格
| 項目 | 規格 |
|---|---|
| 產品 | Qualcomm Cloud AI 100 Ultra |
| 原廠 | Qualcomm |
| 建議售價 | 未提供 |
| 介面 | PCIe 4.0 x16 |
| 外形 | 全高、3/4 長 PCIe 介面卡 |
| 運算核心 | 4 顆 SoC，共 64 顆 AI 核心 |
| AI 核心互連頻寬 | 186GB/s |
| 晶片製程 | 7 奈米 |
| 記憶體 | 576MB SRAM；128GB LPDDR4x DRAM |
| 記憶體頻寬 | 548GB/s |
| 支援資料型別 | INT8、FP16、FP32、BF16 |
| 運算效能 | INT8 870 TOPS；FP16 288 TFLOPS |
| 熱設計功耗 | 150 瓦 |
