AI 摘要
- Google 與 PyTorch 團隊公布開源 AI 開發軟體堆疊 TorchTPU，使 PyTorch 可原生執行於 Google Cloud TPU
- TorchTPU 目標是讓現有 PyTorch 工作負載以最小程式碼變更在 TPU 上執行，並挑戰 Nvidia 的 CUDA 生態優勢
- Google 也與 Hugging Face 合作，讓其平台上的開源模型能原生執行於 TorchTPU
Google 與 Meta 旗下的 PyTorch 團隊於 PyTorch 2026 大會公布開源 AI 開發軟體堆疊 TorchTPU，讓 PyTorch 能原生執行於 Google Cloud TPU，並以熟悉的 API 吸引應用程式開發社群，被視為挑戰 Nvidia 長年主導地位的重要一步。
產品定位與目標用戶
TorchTPU 是 Google 在 PyTorch 2026 大會上公布的多項產品中最重要的一項。它由 Google 與 PyTorch 共同開發，目標是讓現有 PyTorch 工作負載只需最小程式碼變更，即可在 Google 自家的 TPU 上執行，主要對象為使用 PyTorch 進行模型訓練與部署的開發人員與開發商。
主要功能
- 提供 TPU PyTorch Aten 核心實作，並支援 XLA 運算執行的編譯快取。
- 支援分散式訓練，涵蓋資料平行與 Tensor 平行架構。
- 提供 Llama、Qwen、ResNet、DLRM、minGPT 與 UNet 等多種模型範例。
- 附帶除錯與標竿測試工具。
- 開發者可先以即時執行模式進行開發與除錯，再透過 torch.compile 最佳化 TPU 利用率並減少記憶體耗用，以提升正式環境的執行效能。
生態系整合
根據來源說明，開發者可沿用既有工具訓練、部署與提供模型，包括 vLLM、SGLang、llm-d、TorchTitan、Ray、TorchRec、Hugging Face 與 LiteRT 等。Google 也與 Hugging Face 合作，使後者平台上的開源模型能原生執行於 TorchTPU。在 Transformers v5 中，部署模型至 Google Cloud TPU 只需設定 device_map 參數為 tpu；Diffusers 函式庫同樣已能原生運行於 Cloud TPU。為維持穩定性，Google 另建置專用的 CI/CD 管線，以支援 Transformers 套件在 TPU 上的測試。
與 AWS TorchNeuron 的比較
Google 的 TorchTPU 與 AWS 近期公布的 TorchNeuron 採取類似策略，皆是透過原生支援特定加速晶片，降低 AI 模型轉換至自家硬體的門檻。下表依來源資料整理兩者的對照資訊，來源未提供的項目不予列出。
| 項目 | TorchTPU | TorchNeuron |
|---|---|---|
| 推出方 | Google 與 PyTorch 團隊共同開發 | AWS |
| 目標硬體 | Google Cloud TPU | AWS Trainium 晶片 |
| 核心目的 | 讓現有 PyTorch 工作負載以最小程式碼變更執行於 TPU | 降低 AI 模型轉用 Trainium 晶片的門檻 |
產業觀察
TorchTPU 是 Google 希望透過 PyTorch 原生支援 Cloud TPU，進而打破 Nvidia 龐大 CUDA 軟體生態系的重要布局。若開發者能以較低成本將既有 PyTorch 程式移轉至 TPU，將有機會改變目前以 CUDA 為核心的 AI 開發習慣，但實際成效仍需觀察後續採用情況與生態系發展。
Reference Link : ithome.com.tw
