GPU直連儲存傳輸技術持續擴大應用範圍。Nvidia自2019年推出GPUDirect Storage（GDS）後，已有多家儲存廠商與平台加入支援；截至2024年底，AWS與Quantum相繼宣布支援GDS，Nutanix也確認其Nutanix Unified Storage（NUS）平台將採用相關架構。另一方面，MinIO與Cloudian則各自推出物件儲存層級的GPU直連傳輸技術，讓原本難以直接受惠於GDS的S3物件儲存，也開始進入GPU直連傳輸競爭。
GPU直連儲存如何運作
GPU直連儲存的核心，是在儲存裝置與GPU之間建立直接記憶體存取（Direct Memory Access，DMA），讓資料直接載入GPU記憶體，繞過主機CPU記憶體中的回彈緩衝區（Bounce Buffer）。這種方式可減少不必要的資料複製，避開主機CPU造成的效能瓶頸，並降低資料存取延遲與CPU負荷。
Nvidia於2019年年中發表的GPUDirect Storage（GDS），目前仍是GPU直連儲存傳輸領域的重要技術架構。自2021年起，GDS陸續獲得多家儲存廠商與產品平台支援，生態系涵蓋DDN、Dell、Hitachi Vantara、HPE、IBM、VAST、Weka、ScaleFlux、NetApp、Kioxia、華為、美光、PEAK:AIO、Hammerspace、Western Digital與Pure Storage等廠商。
AWS FSx for Lustre導入EFA與GDS
AWS於2024年11月底宣布，Amazon FSx for Lustre檔案儲存服務新增Elastic Fabric Adapter（EFA）網路卡與Nvidia GDS支援。FSx for Lustre是AWS基於Lustre平行檔案系統提供的高效能、高擴展性檔案儲存服務，在AWS旗下檔案儲存服務中具備較高的IOPS與資料傳輸效能。
AWS表示，導入EFA與GDS後，FSx for Lustre相較於先前服務，可為每台用戶端執行個體提供最高12倍的資料傳輸吞吐率。目前相關功能提供於FSx for Lustre最新的持久性2型（Persistent 2）服務，使用者不需額外付費即可啟用。
EFA是搭配Amazon EC2執行個體使用的網路介面，透過AWS專屬的可擴展可靠資料封包（Scalable Reliable Datagram，SRD）協定建立執行個體間的網路連線，並能繞過作業系統處理資料傳輸，以降低延遲並提高傳輸速率。
在FSx for Lustre的架構中，EFA負責建立儲存服務與EC2 GPU型執行個體之間的高效能網路連線，GDS則讓資料傳輸可繞過CPU，直接在檔案系統與GPU記憶體之間流動。
Quantum Myriad完成GDS支援
Quantum於2024年12月中旬宣布，其Myriad分散式物件與檔案儲存平台已支援Nvidia GDS。Myriad於2023年4月發表，是Quantum在ActiveScale之外推出的新一代高效能分散式儲存系統，目標是在擴展能力與效能之間取得平衡。
Myriad原生支援S3、NFS與SMB等物件及檔案存取服務，採用容器化與Key/Value架構，以及NVMe SSD全快閃儲存組態。其叢集規模從5台儲存節點起，可擴充至上千個節點，並以標準x86伺服器與SSD部署，不需要特殊硬體。
Quantum早在2023年發表Myriad時便預告將支援GDS。經過約一年半後，公司透過新開發的平行檔案系統用戶端（Parallel File System Client）軟體，讓Myriad儲存叢集能以GDS架構連接GPU伺服器。
Quantum預定自2025年第1季起，透過搶先體驗計畫（Early Access Program）開放現有Myriad用戶申請評估與試用平行檔案系統用戶端，並預計於2025年第2季正式發布。
Nutanix NUS納入GDS發展藍圖
Nutanix執行長Rajiv Ramaswami早在2024年7月便預告，Nvidia GPUDirect支援已列入公司發展路線圖。到了同年11月底，Nutanix資深副總裁兼總經理Vishal Sinha在技術白皮書《Scaling Storage Solutions for Foundation Model Training》中，正式確認Nutanix Unified Storage（NUS）將支援GDS，並說明相關技術架構。
NUS是Nutanix以AOS儲存系統為基礎延伸出的儲存產品。相較於原本與Hypervisor整合的超融合架構，NUS可採超融合、獨立儲存或雲端部署，並提供區塊、檔案與物件等多種儲存服務。
根據Vishal Sinha的說法，NUS將整合Nvidia GDS與NFSoRDMA協定，讓資料直接在儲存裝置與GPU記憶體之間傳輸，繞過CPU，以降低存取延遲與CPU負載，進而改善AI與機器學習工作負載的效能。
NFSoRDMA是NFS over RDMA的縮寫，指在RDMA乙太網路上執行NFS檔案傳輸協定，是GDS常見的底層傳輸方式之一；另一種主要方式為InfiniBand。截至目前，Nutanix尚未公布NUS正式開始支援GDS的具體時間。
GDS的限制：主要面向檔案層級存取
雖然GDS可降低GPU與儲存裝置之間的延遲並提高傳輸效率，但其應用存在一項重要限制：資料存取主要以檔案層級為基礎。
在區塊儲存環境中，無論是GPU伺服器本機的NVMe SSD，或透過NVMe-oF掛載的外部區塊儲存Volume，都必須先格式化為EXT4或XFS檔案系統，再掛載至GPU伺服器使用。至於網路附加儲存（NAS），則通常透過修改版NFS協定，也就是NFS over RDMA，或OFED網路介面掛載外部檔案系統。
這代表以物件層級存取為主的物件儲存設備，無法直接獲得傳統GDS架構的加速效益。部分物件儲存平台因此透過同時提供檔案與物件服務，利用檔案協定支援GDS，例如Quantum Myriad、Pure Storage FlashBlade、Weka與VAST Data等平台。
MinIO推出S3 over RDMA
MinIO於2024年11月以Object Store為基礎推出針對AI與機器學習應用的AIStor，並加入S3 over RDMA支援。這項技術以S3物件儲存協定為基礎，透過RDMA建立物件層級的直連存取。
MinIO表示，S3 over RDMA可讓使用者透過400GbE、800GbE或更高速的乙太網路，存取MinIO儲存伺服器上的S3物件。其設計目標包括繞過CPU進行RDMA直接存取、以零複製方式傳輸資料、卸載CPU負荷，以及提高流量控制效率。
相較於透過檔案服務間接支援GDS，S3 over RDMA直接處理物件層級資料，讓MinIO物件儲存平台可針對AI儲存工作負載，與支援GDS的平行檔案或分散式檔案儲存系統競爭。
Cloudian發表GPUDirect for Object Storage
Cloudian也在2024年11月推出GPUDirect for Object Storage，並與HyperStore物件儲存平台搭配使用。Cloudian表示，這項架構結合Nvidia ConnectX與BlueField DPU技術，在Nvidia GPU與Cloudian儲存節點之間建立直連通訊，透過S3指令以RDMA方式存取資料，無須經過CPU與系統記憶體。
Cloudian宣稱，單一Cloudian儲存系統可提供超過200GB/s的傳輸速度，而且不依靠快取，也能維持這項傳輸效能長達30分鐘。此外，由於資料傳輸路徑繞過CPU，傳輸期間的CPU使用量可降低45%。
Cloudian並表示，GPUDirect for Object Storage相較於檔案層級的直連技術，例如GDS，不需要修改驅動程式核心，有助於簡化管理並降低安全性風險。目前Cloudian已提供內含該功能的HyperStore平台軟體，並與Supermicro硬體整合為儲存伺服器銷售。
物件儲存成為GPU直連傳輸下一個戰場
MinIO與Cloudian在2024年底推出物件儲存層級的GPU直連技術，補上傳統GDS主要支援檔案層級存取的限制。對AI訓練與機器學習而言，物件儲存常被用於保存大規模資料集、模型與訓練資料，因此能否在S3等物件協定上提供低延遲、高吞吐的GPU直連傳輸，將成為儲存平台競爭的重要方向。
目前區塊與檔案儲存產品已可透過GDS建立GPU直連傳輸，而物件儲存領域也開始出現S3 over RDMA與GPUDirect for Object Storage等替代方案。這些技術是否會被更多物件儲存廠商採用，仍取決於實際工作負載、硬體配置、網路環境與軟體生態的支援程度，但GPU與儲存裝置之間的資料路徑，正從傳統CPU中介模式逐步走向更直接的傳輸架構。
