隨著大型語言模型（LLM）的上下文長度與 Token 處理能力持續提升，KV 快取（Key-Value Cache）所需的記憶體容量迅速膨脹，逐漸成為 GPU 推論基礎設施的主要瓶頸。雖然 GPU HBM 容量持續增加，例如 Nvidia H100 配備 80GB 記憶體，H200 則提升至 141GB，但增幅仍難以追上 KV 快取需求。
業界因此開始將 KV 快取從 GPU HBM 卸載至 GPU 外部的記憶體或儲存設備，藉此擴充可用容量、降低重複計算，並改善長篇上下文與高並行查詢的推論效率。近幾個月來，至少已有 7、8 家廠商推出相關技術或方案，名稱涵蓋 KV 快取卸載、長期 Token 記憶體、持久性 Token 記憶體，以及 KV 快取設備等。本文以「外部 KV 快取記憶體」概括這類技術。
GPU HBM 增長難追上 KV 快取需求
LLM 推論時，模型會將已處理的 Token 轉換為 KV 快取，以避免後續每次生成內容時重新計算既有上下文。當 KV 快取無法容納在 GPU HBM 中，系統便可能需要重新計算舊 Token，或在不同記憶體層級之間搬移資料，導致第 1 個 Token 產生時間（Time to First Token，TTFT）與後續 Token 產生效率受到影響。
增加 GPU 數量可以同步擴充 HBM 容量，但也會提高硬體、電力與運算成本。量化與稀疏化等軟體最佳化技術雖然能降低 KV 快取占用量，卻只能緩解部分問題，難以抵銷 LLM 上下文長度與 Token 處理需求持續上升所帶來的容量壓力。
外部 KV 快取的核心做法，是透過網路連接的記憶體或儲存裝置，將 GPU HBM 無法容納的 KV 快取移出 GPU，並在需要時重新載入。不同廠商採用的底層技術並不相同，包括平行檔案系統搭配 NVMe SSD、CXL 記憶體、DRAM 叢集，以及專屬 ASIC 搭配 NVMe SSD 等。
主要外部 KV 快取方案
WEKA：以 NVMe SSD 建立 Token 倉庫
平行檔案系統業者 WEKA 在 2025 年 1 月透露，正結合 Moonshot 的 LLM 分散式服務架構，發展支援 Token 快取的高速儲存層。2025 年 2 月，WEKA 發表透過 WEKApod 協助 LLM 縮短 Token 載入時間的概念與實測結果。根據其測試，將 Llama 3 模型載入 1 萬個 Token 至 KV 記憶體所需的時間，可縮短 41 倍。
WEKA 於 2025 年 3 月正式發布增強型記憶體網格（Augmented Memory Grid，AMG）。這項技術整合其平行檔案系統與 NVMe SSD，主張提供接近記憶體延遲的 Token 儲存空間，並透過分散式架構建立可擴展的「Token 倉庫」（Token Warehouse）。
WEKA 表示，AMG 可提供微秒等級延遲與大規模平行 I/O，填補 GPU HBM 與傳統儲存設備之間的效能落差。在 GTC 2025 展示中，AMG 搭配 Nvidia Triton 推論伺服器，將 KV 快取從 GPU HBM 卸載。處理 10.5 萬個 Token 時，與重新計算 Token 相比，第 1 個 Token 產生時間縮短 41 倍，查詢回應時間也從 23.97 秒降至 0.58 秒。
焱融科技：以分散式檔案系統擴展至 PB 等級
中國焱融科技（YanRong）於 2025 年 4 月中旬發表基於 YRCloudFile 分散式共享檔案系統的 KV 快取技術。該方案利用 NVMe SSD 與平行檔案系統，為 GPU 提供可擴展至 PB 等級的 KV 快取空間，目標是提高快取命中率與長上下文處理能力。
焱融科技將此概念稱為「以存換算」，也就是利用外部儲存容量換取 GPU 運算資源，減少舊 Token 的重複計算。根據其公開測試，在超過 2 萬個 Token 的長上下文條件下，TTFT 可縮短 3 至 13 倍；在固定 TTFT 的情況下，同時查詢量可提升 8 倍；高度平行查詢時，Token 產生時間可縮短最多 4 倍。
VAST Data：三層式 VUA 快取架構
VAST Data 於 2025 年 2 月底推出 VUA（VAST Undivided Attention）KV 快取技術，並在同年 4 月宣布開源。VUA 透過安裝於 GPU 伺服器的 Linux 代理程式，管理三層式快取架構：第 1 層為 GPU 記憶體，第 2 層為 CPU 記憶體，第 3 層則是透過 RDMA 網路連接的外部 NVMe 儲存系統。
當 GPU 與 CPU 記憶體無法繼續容納 KV 快取時，較不常使用的 Token 資料可移至第 3 層外部儲存。VAST Data 表示，VUA 具備前綴搜尋與索引機制，可提高快取命中率；外部 NVMe 快取也能在 GPU 叢集中提供共享空間，讓不同 GPU 伺服器存取擴展後的上下文資料。
不過，VAST Data 也指出，目前 VUA 的共享能力仍有限，每臺 GPU 伺服器只能看到自己的分層快取資料，無法直接看到其他伺服器的快取內容，因此仍可能發生快取未命中。該公司正考慮進一步發展全域分散式快取架構。VAST Data 宣稱 VUA 可支援 EB 等級 KV 快取，並在 3 萬個 Token 的環境中，讓 TTFT 表現提升 292%。
PEAK：AIO：以 CXL 記憶體降低延遲
英國軟體定義 NAS 新創 PEAK：AIO 於 2025 年 5 月中旬宣布，正在發展基於 CXL 記憶體的 KV 快取卸載方案，預計於第 3 季開始生產。
依該公司公布的資訊，相關設備將包含 CXL 記憶體擴充模組，並透過 RDMA over NVMe-oF 連接 GPU 伺服器，支援跨會話、模型與節點共享 KV 快取。相較於主要採用 NVMe SSD 的 WEKA 與 VAST Data，PEAK：AIO 以 CXL 記憶體提供更接近 DRAM 的外部快取層。
PEAK：AIO 宣稱，其 CXL Token 記憶體設備可在低於 5 微秒的延遲下，提供 150GB/s 吞吐率。這類方案的優勢在於延遲較低，但 DRAM 與 CXL 記憶體的成本及容量擴展性，仍可能限制其大規模部署。
Pliops：ASIC 搭配 NVMe SSD 的專屬硬體方案
以色列儲存處理器廠商 Pliops 於 2024 年 10 月推出 XDP LightningAI，屬於較早出現的外部 KV 快取方案。該產品透過 ConnectX-7 400GbE 網路卡連接 GPU 伺服器，並使用外接設備內的 NVMe SSD 作為 KV 快取空間。
與 WEKA、VAST Data 以標準 x86 硬體搭配軟體為主的方式不同，Pliops 採用專屬 PCIe 卡與 XDP-PRO ASIC。GPU 伺服器端的 KV 快取外掛軟體會透過專屬 API 傳送存取要求，再由 XDP-PRO ASIC 直接處理底層 SSD 存取。
2025 年 5 月中旬，Pliops推出配套軟體 FusIOnX，包含 GPU 伺服器端的 FusIOnX KVIO 與儲存端的 FusIOnX KV Store。XDP LightningAI 目前可採用獨立外接設備或超融合部署：前者使用 Dell 2U、24 槽伺服器，後者則將 ASIC PCIe 卡安裝在 GPU 伺服器內，並使用伺服器內建 SSD。Pliops 表示，未來 FusIOnX 也將擴展至 RAG、向量資料庫、圖神經網路（GNN）與深度學習推薦模型（DLRM）等應用。
GridGain：整合叢集內的共享記憶體
GridGain 採用不同於外部 NVMe 設備的做法，透過叢集共享記憶體提供 KV 快取擴展能力。其軟體基於低延遲分散式資料管理系統，開源版本為 Apache Ignite，可整合 x86 伺服器記憶體與 GPU HBM，提供線上儲存、快取、檢索與搜尋功能。
資料可分散至叢集內不同記憶體資源，讓伺服器共享整體記憶體容量，以降低單一伺服器容量不足的影響。GridGain 也支援擴展生成式 AI 的會話歷史，並提供多複本分散式複製，以及使用 SSD 或硬碟作為備份的功能。
開源方案加速標準化
除了商業方案，AIBrix、LMCache 與 Mooncake 等開源軟體，也能將 KV 快取從 GPU 卸載至 CPU 記憶體或外部儲存設備。
Nvidia 於 2025 年 3 月發布 Dynamo 分散式推論服務框架，提供跨 GPU 叢集的 KV 快取管理功能。Dynamo 可追蹤 KV 快取資料的位置，將推論需求導向保存相關快取的 GPU，減少重複計算與資料傳輸。
Dynamo 也規劃分層式 KV 快取卸載，將存取頻率或優先順序較低的資料，從 HBM 移至共享 CPU 記憶體、本機 SSD 或外部網路儲存設備。不過，截至目前，其完整的階層式卸載功能仍在發展中，可能要到 2025 年稍晚才會更完整。
IBM 旗下 Red Hat 於 2025 年 5 月成立開源專案「llm-d」，目標是建立開放、標準化的 LLM 分散式推論服務堆疊。llm-d 的 KV 快取卸載功能基於 LMCache，可將 KV 快取從 GPU 移至 CPU 記憶體或網路連接的外部儲存設備。
NVMe SSD 與 DRAM 方案各有取捨
目前外部 KV 快取方案大致可依儲存媒體分為 NVMe SSD 與 DRAM 兩類。WEKA、VAST Data、Pliops 與焱融科技主要採用 NVMe SSD；PEAK：AIO 與 GridGain 則以 CXL 記憶體或伺服器 DRAM 為主。
| 類型 | 主要優勢 | 可能限制 |
|---|---|---|
| DRAM／CXL | 延遲低，較接近記憶體層級的存取表現 | 成本較高，容量與擴展能力受限 |
| NVMe SSD | 成本低、容量大、易於分散式擴展，且具非揮發性 | 遠端存取延遲高於 DRAM，需要檔案系統或代理程式支援 |
PEAK：AIO 宣稱 CXL 記憶體延遲可低於 5 微秒；相較之下，透過 RDMA 存取遠端 NVMe SSD 的延遲約為 30 至 100 微秒。雖然 DRAM 型方案延遲較低，但在 KV 快取耗盡後，若改以重新計算 Token，所造成的延遲通常遠高於幾十或上百微秒，因此 NVMe SSD 的表現對許多長上下文應用而言可能已足夠。
NVMe SSD 的另一項優勢是成本。來源資料指出，NVMe SSD 與 DDR DRAM 的單位成本差距超過 10 倍；Pliops 更宣稱，使用 NVMe SSD 可用約 HBM 百分之一的單位成本取得可擴展 KV 快取空間。此外，SSD 屬於非揮發性媒體，可長期保存 Token 資料，建立持久性的 Token 倉庫，避免每次推論都重新計算。
未來可能採用多層共享架構
DRAM 與 NVMe SSD 並非互斥。Red Hat 的 llm-d 與 Nvidia Dynamo 都規劃將 CPU 記憶體和外部網路儲存設備納入 KV 快取卸載架構。未來的系統可能同時整合 GPU HBM、CPU DRAM、外部 DRAM 與外部快閃儲存，依資料熱度與存取優先順序進行分層管理。
這種架構可讓高頻使用的 KV 快取留在 HBM 或 DRAM，較少使用但仍需保留的資料則移至 NVMe SSD，以在延遲、容量、成本與持久性之間取得平衡。
代理程式相容性與標準化仍是挑戰
目前多數外部 KV 快取產品都需要在 GPU 伺服器安裝代理程式或專屬軟體，負責攔截 KV 快取存取要求，並在本機快取未命中時，將請求導向外部設備。這種部署方式有助於整合既有推論流程，但也可能帶來模型框架相容性、軟體支援範圍、叢集管理與故障處理等問題。
此外，現階段不少方案必須搭配特定儲存軟體平台，甚至綁定專屬硬體，尚未形成通用的介面與標準。隨著記憶體與儲存業者投入，市場可能需要更一致的 KV 快取管理、索引、資料遷移與跨節點共享規範。
開源方案可能成為推動標準化的重要力量。以 LMCache 為基礎的 llm-d，以及 Nvidia Dynamo 等分散式推論框架，若能在不同 GPU、模型服務與儲存設備間建立通用介面，外部 KV 快取才有機會從個別廠商方案，發展成更普遍的 LLM 推論基礎能力。
