在AI產業從模型訓練逐步轉向推論應用之際，記憶體的地位正快速提升。被業界稱為「HBM之父」的韓國科學技術院（KAIST）電機工程系教授金正浩近日表示，AI的核心不只是GPU，更在於能否快速且大量地提供資料的記憶體系統。
這番觀點正值記憶體產業受到資本市場高度關注之際。來源資料指出，韓國記憶體大廠SK海力士計畫以美國存託憑證（ADR）形式在那斯達克掛牌，股票代號為SKHY，募資規模約為282億美元，即約282億美元；原文英文標題則以「280億美元」描述，兩者在數字表述上略有差異。
記憶體類股受AI需求推動
即使記憶體類股近期出現明顯回檔，相關企業今年以來的股價表現仍然突出。來源資料列出的漲幅包括：SanDisk上漲533.79%、美光上漲212.20%、三星上漲129.18%；鎧俠控股（Kioxia Holdings）則在6月12日超越豐田，成為日本市值最高的企業，漲幅達619.34%。
市場資金持續流入記憶體產業，主要原因在於AI基礎建設需求。相較於訓練階段，推論服務需要頻繁處理使用者請求，資料搬移、讀取與寫回的效率，可能直接影響系統延遲、吞吐量與整體成本。
GPU可能受資料搬移速度限制
金正浩表示，全球部署在資料中心的數百萬部GPU，實際進行運算的時間可能只有約10%。以大型語言模型產生內容為例，系統每輸出一個詞，就必須從高頻寬記憶體（HBM）讀取資料、交由GPU運算，再將結果寫回記憶體。
在這個流程中，資料讀寫可能佔用大部分處理時間，使GPU在等待資料時處於閒置狀態。金正浩認為，即使透過演算法進行最佳化，GPU使用率也很難突破30%。因此，他以較強烈的說法指出，部分GPU在實際工作負載下可能有高達70%至90%的時間未被充分利用。
這項說法是對AI系統資料瓶頸的概括性描述，實際GPU使用率仍會受到模型架構、批次大小、互連技術、軟體最佳化與工作負載類型影響，不能直接套用至所有資料中心或應用場景。
GPU擴展面臨散熱與封裝限制
金正浩同時指出，GPU效能提升主要依靠擴大晶片面積、增加運算單元，但高密度運算也會帶來更高功耗與熱量。由於GPU背面需要配置散熱結構，難以像記憶體那樣持續進行垂直堆疊，可能限制晶片進一步擴展的空間。
在他的分析中，GPU發展正受到熱管理與封裝條件制約，AI運算效能的下一階段進化，將更多取決於記憶體容量、頻寬、延遲與系統整合能力，而不只是單一處理器的運算核心數量。
HBM頻寬與記憶體架構持續演進
推論場景的關鍵之一，是系統能夠同時容納並快速處理多少資料，而這項能力與記憶體技術密切相關。金正浩以道路比喻記憶體頻寬：傳統記憶體如同八線道高速公路，HBM則可達1,024線道，目前甚至朝2,048線道發展；他進一步預測，未來幾年可能朝更大規模的平行通道演進。
他提出的技術路線包括從高頻寬快閃記憶體（HBF）發展至高頻寬SRAM（HBS），最終目標則是類似「百層3D大樓」的立體記憶體結構。不過，這類架構的最大工程挑戰不僅是運算能力，也包括供電、訊號傳輸與散熱。
金正浩預測，隨著情境工程、多模態輸入與AI代理逐漸普及，記憶體需求可能每年倍增，十年內甚至成長千倍。這項預測反映的是他對AI應用規模的判斷，實際增長速度仍取決於模型效率、商業化進度、資料中心投資與新型記憶體技術的量產能力。
HBM4可能改變記憶體供應鏈議價權
記憶體產業的供應鏈關係也正在改變。過去記憶體多被視為標準化商品，買方在價格與規格上具有較大主導權；但金正浩表示，從HBM4開始，記憶體製造商可能需要在研發初期就取得輝達、Google、AMD等主要客戶的採購承諾，才會啟動相關產品開發。
這代表HBM產品與AI加速器、封裝技術及資料中心平台的整合程度提高，供應商不再只是提供通用型記憶體，而是參與客戶的早期系統設計。當高效能HBM供應不足時，AI企業可能需要提前排定產能，記憶體供應商的議價能力也因此上升。
金正浩進一步認為，未來HBM晶片可能整合通訊功能，以提升資料交換效率，並強化記憶體製造商在AI供應鏈中的位置。從這個角度來看，SK海力士規模達數百億美元的上市計畫，所反映的不只是市場對記憶體短缺的擔憂，也可能象徵記憶體企業在AI時代的產業權重增加。
技術預測仍待市場驗證
GPU閒置比例、記憶體需求倍增，以及HBF、HBS和立體堆疊架構的發展，都是對AI硬體未來的前瞻性判斷。這些方向能否實現，仍取決於製程、封裝、散熱、供電、成本與量產良率等因素。
可以確認的是，AI推論對記憶體頻寬與容量的需求正在增加，HBM也已成為高效能AI系統的重要元件；至於GPU是否普遍存在高達九成的閒置時間，以及記憶體需求能否在十年內成長千倍，則仍需要更多實際部署數據與產業發展加以驗證。
