大型語言模型（LLM）的參數規模、上下文長度與多模態資料持續增加，使GPU內建高頻寬記憶體（HBM）的容量逐漸成為訓練與推論部署的瓶頸。過去一年多，市場陸續出現近20款記憶體擴展方案，試圖將更多記憶體資源引入LLM運算流程。
目前相關產品大致可分為兩條技術路線：一是將GPU外部的DRAM、SSD或網路連接記憶體納入LLM可用空間的外部擴展；二是仿照HBM，在GPU封裝或晶片層級整合高容量儲存媒體的內部擴展。兩者並不互斥，但在頻寬、延遲、容量、成本與部署彈性之間存在不同取捨。
HBM容量固定，促成外部記憶體擴展需求
HBM透過中介層基板（Interposer）與GPU進行晶片層級整合，在製造階段便成為GPU封裝的一部分。因此，HBM容量受到GPU封裝、接腳與布線等物理條件限制，用戶無法在部署後依需求自由增加容量。
外部擴展的基本做法，是由記憶體管理軟體將GPU伺服器內的CPU DRAM、NVMe SSD，或透過網路連接的DRAM與快閃儲存設備，組成可供LLM使用的虛擬記憶體空間。模型資料可在GPU HBM、CPU DRAM與SSD等不同層級之間移動，藉此降低GPU HBM的容量壓力。
這類方案主要透過軟體整合，不需要修改GPU硬體，導入門檻相對較低，也能由用戶按需求配置外部設備。不過，多數環境中的GPU與外部記憶體之間必須透過PCIe傳輸，頻寬明顯低於GPU直連的HBM，或NVLink、Infinity Fabric等專用互連介面。
以PCIe 5.0 x16為例，來源資料指出，其頻寬約相當於HBM3或HBM3e的七分之一至十分之一，或約為NVLink的五分之一。換言之，外部擴展是以較低的傳輸頻寬，交換更大的容量與更高的配置彈性。
HBF以內部整合方式提供更大容量
目前內部擴展路線主要由高頻寬快閃記憶體（High Bandwidth Flash，HBF）代表。HBF的概念類似HBM，但以儲存密度更高的NAND快閃記憶體取代以DRAM為基礎的記憶體顆粒，目標是在接近HBM的頻寬下提供更高容量。
SanDisk於2025年2月的投資者日率先揭露HBF構想。傳統快閃記憶體通常由大量儲存單元組成大型陣列，並共用I/O通道；HBF則將陣列拆分為較小的單元，讓各陣列擁有獨立I/O通道，以提高整體I/O頻寬。
在架構上，HBF與HBM相似，先將16層快閃記憶體裸晶堆疊於邏輯晶片，再透過中介層基板連接GPU。SanDisk表示，其CMOS directly Bonded to Array技術可將3D NAND核心裸晶連接至邏輯晶片，堆疊晶片則透過矽穿孔（TSV）互連。
SanDisk聲稱，HBF可在頻寬相當於HBM的情況下，以相近成本提供8至16倍容量。該公司設想單一GPU整合8個512GB HBF晶片，最高可提供4TB記憶體。相較於配置288GB HBM的Nvidia B300或AMD MI350，容量可高出14倍以上。
依SanDisk提出的示例，4TB HBF容量在FP16精度下可容納GPT-4所需的1.8兆個參數；512GB HBF則可支援約640億參數的混合專家模型（MOE），並分成8個64GB的小型記憶體陣列，分別為不同專家單元提供空間。
SanDisk表示已發展HBF超過一年，並取得主要AI應用客戶回饋。該公司稍早亦與SK海力士宣布合作推動HBF標準化與供應來源多元化。SanDisk預期於2026年下半年推出首批HBF樣品，採用HBF的AI推論設備則預計於2027年初上市。不過，HBF是否能實際部署，仍取決於記憶體供應商與GPU廠商的合作及產品整合進度。
外部擴展可分為通用型與KV快取卸載
外部記憶體擴展產品依應用場景，可概分為通用型LLM記憶體擴展，以及以推論階段KV快取為核心的卸載方案。
通用型方案：兼顧訓練與推論
目前公開資料中，群聯（Phison）於2023年7月發表的aiDAPTIV+，是少數宣稱可同時支援LLM訓練與推論的方案。產品由aiDAPTIVLink中介軟體、aiDAPTIVCache快取用SSD，以及aiDAPTIV+ Pro Suite軟體套件組成。
其中，aiDAPTIVLink會統一管理GPU伺服器內的HBM或GDDR記憶體、CPU DRAM與NVMe SSD，將不同類型的記憶體整合為虛擬化記憶體池。載入模型時，軟體會分析記憶體需求並切分資料，再依運算與存取狀況，在GPU記憶體、CPU DRAM與SSD之間調度。
aiDAPTIV+的主要價值，在於讓配備較少GPU與HBM的系統執行更大型模型，並在推論時擴大可支援的上下文Token長度、改善首個Token產生時間（Time to First Token，TTFT）。代價則是外部記憶體存取速度較慢，因此較適合重視設備成本、但對訓練時間不極度敏感的使用者。
KV快取卸載：聚焦推論階段
目前多數產品選擇將推論過程中存取頻率較低的KV快取，從GPU HBM移至外部記憶體，而不是直接將模型參數全部卸載。KV快取保存模型處理上下文時所需的中間資料，擴大其可用容量，有助於延長上下文區間、減少重複計算Token，並降低長上下文推論成本。
KV快取卸載產品依部署方式可分為純軟體方案，以及搭配專用儲存平台或外接記憶體設備的硬體方案。
純軟體方案利用既有伺服器資源
Mooncake、AIBrix、LMCache與Alluxio等開源專案，以及Nvidia Dynamo推論軟體框架、GridGain共享記憶體等方案，不要求搭配特定外部設備，而是利用GPU伺服器叢集現有的DRAM與SSD。
這些中介層軟體可跨越多台GPU伺服器，將閒置資源組成多層次、分散式的KV快取記憶體池。其優點是部署快速、能重用既有硬體，並可透過多節點平行處理長上下文Token；限制則是擴展能力受限於現有GPU伺服器叢集的DRAM與SSD總量。
硬體方案以SSD或外接DRAM擴大容量
硬體式KV快取卸載通常透過網路將外部儲存平台或記憶體設備掛載至GPU伺服器，再搭配推論記憶體管理軟體，將部分KV快取需求導向外部空間。
以NVMe SSD為基礎
相關產品包括WEKA結合WekaFS的增強型記憶體網格（Augmented Memory Grid，AMG）、VAST Data的VUA（VAST Undivided Attention）、焱融科技搭配YRCloudFile的KV快取、Pliops搭配XDP LightningAI儲存伺服器的KV快取平台，以及華為整合於OceanStor A800高階儲存陣列的KV快取卸載功能。華為預告的AI SSD也屬於此類產品。
這些平台以NVMe SSD提供外部KV快取空間，雖然延遲與頻寬不如DRAM，卻能藉由分散式儲存架構提供PB等級擴展能力。SSD具備非揮發性，也能長期保存KV快取資料，形成可重複利用的Token儲存庫。
以CXL或RDMA連接外部DRAM
另一類方案使用外接式DRAM設備，例如PEAK：AIO基於CXL技術的外接KV快取記憶體，以及Enfabrica透過ACF-S乙太網路／CXL交換器提出的EMFASYS方案。
這些產品通常以安裝大量DRAM的機箱作為外部記憶體池，再透過CXL或RDMA網路連接GPU伺服器。相較於NVMe SSD，DRAM方案的存取延遲可低十倍以上，但容量與擴展規模較小，且因DRAM具揮發性，無法長期保存KV快取資料。
效能、容量與成本之間的取捨
擴展記憶體的效能普遍低於HBM，但仍可能優於讓GPU重新計算Token，或從更慢的底層儲存設備重新載入資料。成本方面，來源資料指出，DDR DRAM每單位容量成本不到HBM的五分之一，快閃記憶體成本則低於DRAM的十分之一，因此外部方案能以較低成本提供數十TB乃至數百TB的額外空間。
不同方案的特性可概括如下：
| 方案類型 | 主要優勢 | 主要限制 |
|---|---|---|
| GPU伺服器內部DRAM或SSD | 部署簡單、延遲與頻寬通常優於網路外接設備 | 容量受既有伺服器資源限制 |
| 外部NVMe SSD平台 | 成本低、容量大，可擴展至PB等級並持久保存資料 | 存取延遲高於DRAM，需搭配儲存叢集或網路 |
| 外接DRAM與CXL記憶體池 | 延遲低、頻寬高於SSD方案 | 成本與容量較高，且不具備非揮發性 |
| HBF內部擴展 | 頻寬接近HBM、容量可大幅增加 | 高度依賴GPU廠商整合，用戶缺乏自由擴充能力 |
在實際部署上，開源軟體方案最容易導入；群聯aiDAPTIV+等方案則需增加中介軟體與SSD。WEKA、VAST Data等產品需要完整的多節點儲存叢集，但也因此能提供更大的KV快取擴展空間。理想的架構可能是混用DRAM與SSD，將高頻使用資料放在低延遲層，較少存取的資料放到高容量SSD層，以平衡效能、成本與擴展性。
群聯案例顯示容量增加，但訓練時間也會上升
群聯提供的測試資料顯示，一台配備4張GPU、192GB HBM的伺服器，僅依靠GPU GDDR記憶體時只能執行7B模型訓練，或容納140GB訓練資料集；透過aiDAPTIV+將部分記憶體負載卸載至CPU DRAM與SSD後，則可執行13B與70B模型訓練，並容納260GB與1,400GB訓練資料集。
另一組資料顯示，相較於8節點、30張GPU卡與1,440GB GDDR記憶體的系統，使用aiDAPTIV+後，4節點、16張GPU與512GB GDDR的系統可節省37%硬體成本，但訓練時間增加50%；單節點、4張GPU與128GB GDDR的系統則可節省85%硬體成本，但訓練時間增加5.5倍。這反映出記憶體卸載的核心交換條件：以較長運算時間換取較低GPU與記憶體設備成本。
在推論測試中，當KV快取卸載至CPU DRAM與SSD後，Token長度增加至16,384個時，TTFT仍未明顯上升；在2,048個Token的測試條件下，TTFT最多可縮短24倍。系統原本受GDDR容量限制，最多支援2,048個Token；導入KV快取卸載後，支援上限提高至32,768個以上，增加約16倍。上述數據為群聯測試結果，實際效益仍會受到模型、硬體配置、資料存取模式與軟體實作影響。
LLM記憶體需求仍將持續增加
新一代LLM將朝更大模型規模、更長上下文、混合專家模型與多模態應用發展。MOE需要為不同專家單元保留大量參數，多模態模型則需同時處理文字、影像與語音資料，這些工作負載都會進一步推高記憶體需求。
在此背景下，GPU HBM容量與LLM需求之間的落差可能持續擴大。對多數使用者而言，記憶體擴展與卸載將成為部署大型模型的重要補充手段。相較之下，將外部記憶體用於訓練仍須面對效能下降問題；在推論領域，KV快取卸載則已被較普遍視為可行方向。
隨著Nvidia Dynamo等推論架構建立更標準化的軟體框架，KV快取卸載可能吸引更多儲存、記憶體與網路設備廠商加入。SSD、高效能儲存平台與外接式CXL記憶體池，都已出現整合KV快取功能的產品或方案，未來市場競爭將集中在延遲、頻寬、容量、部署複雜度與總體成本的平衡。
