Servers and Datacentre

圖解Nvidia的GPUDirect Storage（GDS）直連傳輸技術 下圖是從SSD向GPU傳送資料的傳統I/O路徑，資料會經由PCIe交換器、經過主機CPU、複製，寫入主機記憶體的回彈緩衝區（bounce buffer），再經由CPU、PCIe交換器，複製寫入GPU的記憶體，供GPU存取。這整個過程需要經過6個環節，以及2次資料複製作業。 圖片來源／美光Micron 之所以必須採用這種繁瑣的傳輸路徑，是一系列原因造成的。 在儲存裝置與GPU之間的資料移動，是透過CPU運行的系統軟體驅動程式來管理，並可由下列3種方式來執行傳輸作業，但各有限制： （1）經由GPU的直接記憶體存取（DMA）引擎執行資料傳輸工作，但是，第3方周邊裝置通常不會公開其記憶體給其他裝置的DMA引擎定址，因而GPU無法以其DMA引擎直接存取第3方的周邊裝置，只有主機CPU的記憶體可供GPU DMA引擎存取。這也導致第3方周邊裝置向GPU的資料傳輸路徑，必須經過主機CPU記憶體中的回彈緩衝區，來作為中介。 （2）經由CPU的載入與儲存指令來執行資料傳輸，但CPU無法在2個周邊裝置之間直接複製資料，而須經由CPU記憶體回彈緩衝區的中介。 （3）經由周邊裝置的DMA引擎來執行資料傳輸，如NVMe SSD、網路卡或RAID卡的DMA引擎，而GPU的PCIe基底位址暫存器（PCIe Base Address...