平行檔案系統架構持續演進:從核心微服務化走向 AI 應用平台

AI 應用快速發展,帶動平行檔案系統在效能、擴展能力、部署彈性與管理方式上持續演進。自 2020 年以來,業界陸續出現分離運算與儲存、分離 metadata 與資料存取,以及以 key/value 儲存取代傳統區塊式底層架構等創新。進入 2025 年後,VAST Data 與 WEKA 又分別從應用平台和核心儲存架構切入,提出 AI OS 與 NeuralMesh 等新方案。

平行檔案系統的架構演進

近年較具代表性的變革,首先是 VAST Data 提出的「解構與共享一切」(disaggregated shared everything,DASE)架構,將運算節點與儲存節點分離。其後,Hammerspace 提出分離 metadata 與資料存取的平行 NFS(parallel NFS)架構。

2023 至 2024 年間,DDN Infinia 與 Quantum Myriad 則引進 key/value 底層儲存架構,嘗試取代傳統以區塊(block)為基礎的檔案系統底層設計。這些變化反映出平行檔案系統不再只著重於提升單一儲存系統的效能,也逐步朝向更具彈性、可分散部署及適合 AI 工作負載的方向發展。

VAST Data AI OS:從儲存平台延伸至代理式 AI

VAST Data 於 2025 年 5 月發表 AI 作業系統(AI OS)。雖然名稱中包含「作業系統」,但它並不是 Windows 或 Linux 這類負責硬體管理與基本系統服務的基礎作業系統,而是結合資料儲存、資料庫與代理式(Agentic)AI 應用的統一平台。

AI OS 可大致分為基礎服務與 AI 應用兩個層級。最底層是以 VAST Data DASE 平行檔案系統儲存平台為基礎的服務,包含提供儲存庫功能的 VAST DataStore、負責資料索引與 metadata 服務的 VAST DataBase,以及可跨越邊緣與雲端環境,將運算和儲存資源整合至單一命名空間的 VAST DataSpace。

在應用服務層,VAST DataEngine 以容器化程式形式負責調度與執行,並搭配訊息傳遞工具運作。其中,AgentEngine 用於 AI 代理程式的管理與執行,支援不同 AI Agent 的連結、部署、管理及資料存取;InsightEngine 則是用於追蹤與檢視代理程式運作狀態的嵌入式微服務。

AI OS 的最上層是 VAST Data 規畫推出的一系列開源 AI 代理程式。該公司宣稱預計每月發布一套 AI Agent,應用範圍將涵蓋聊天機器人、資料工程、合規監管、數位媒體編輯與生命科學研究等領域。

從產品定位來看,VAST Data 試圖以原有平行檔案系統和儲存平台為基礎,建立一套可供 AI 代理程式使用的統一應用環境。不過,這類平台能否形成完整生態系,仍取決於其他軟體與硬體供應商,以及企業用戶的實際採用程度。

WEKA NeuralMesh:全面微服務化的儲存架構

WEKA 於 2025 年 6 月推出 NeuralMesh,可視為其 WekaFS 平行檔案系統的微服務化進階版本。NeuralMesh 與 WekaFS 延續相同的基本設計,包括結合 stripe 與 parity 的平行分散存取及資料保護架構、分散式 metadata 管理,以及以「故障域」(Failure Domain)為基礎的自動修復、自動擴展與快速重建功能。

兩者的主要差異,在於 NeuralMesh 以容器化微服務架構執行所有儲存服務。每一台 WEKA 儲存節點可運行一個或多個微服務,每個服務分別負責資料存取、metadata、稽核、通訊協定或管理等特定功能。這些微服務透過 API 彼此通訊,組成跨多台儲存節點的分散式架構。

在這種設計下,不同功能可依需求獨立擴展。WEKA 表示,NeuralMesh 可支援裸機、雲端與混合環境部署,並提供 EB(Exabyte)容量等級的擴展能力,以及適合多租戶環境的資源隔離。不過,這些能力屬於廠商對產品的定位與宣稱,實際效益仍會受到工作負載、部署規模及管理環境影響。

NeuralMesh 也引進跨故障域的分散式 stripe 架構、大規模平行重建,以及依據風險高低排序資料重建優先順序的智慧型還原機制,目標是提高系統在硬體或節點故障情境下的韌性。

兩種不同方向的架構變革

VAST Data AI OS 與 WEKA NeuralMesh 分別代表平行檔案系統的兩種發展方向。NeuralMesh 著重於核心儲存架構,將儲存服務全面拆分為可獨立運行與擴展的容器化微服務。過去已有部分儲存平台在核心架構中導入容器或微服務元件,WEKA 自身的 WekaFS 也是相關案例之一;但 WEKA 將全面微服務化作為 NeuralMesh 的主要架構特徵,進一步提高部署和擴展彈性。

VAST Data AI OS 則是應用層面的延伸。VAST Data 不僅希望成為 AI 儲存平台供應商,也試圖以既有儲存平台為底座,建立可管理與執行 AI Agent 的通用操作平台。這項策略的成效,除了取決於 VAST Data 的產品發展,也需要其他供應商和企業用戶共同採用。

截至來源所述的 2025 年 8 月中旬,韓國 SK 電信已在 Petasus AI 雲端平台的 GPUaaS 服務中,引進 VAST Data 的 DASE 儲存設備與 AI OS 平台,成為該策略對外落地的案例之一。

從檔案系統到 AI 基礎服務

整體而言,平行檔案系統的競爭焦點正從單純的吞吐量與容量擴展,延伸至資源解構、跨環境部署、微服務管理及 AI 應用整合。VAST Data 以 AI OS 將儲存、資料庫、命名空間與代理式 AI 串接起來;WEKA NeuralMesh 則透過全面微服務化,重新處理儲存服務的部署、擴展與故障復原。

兩者的共同背景,是 AI 工作負載對儲存系統提出更高的彈性與管理要求。未來這些架構能否成為主流,仍須觀察其在大規模生產環境、跨雲部署、多租戶管理及生態系整合上的實際表現。

Related Articles

Stay Connected

0FansLike
0FollowersFollow
22,800SubscribersSubscribe
spot_img

Latest Articles