Apple Harbor 曝光:透過 Thunderbolt 5 串接多台 Mac 運行大型本地 AI 模型

BlueSky

AI 摘要

  • Apple 正在測試名為 Apple Harbor 的 Mac App,可將單台 Mac 變成本地 AI 推論伺服器。
  • Apple Harbor 支援透過 Thunderbolt 5 串接多台 Mac,匯集統一記憶體以運行大型模型。
  • Claris 尚未公布 Apple Harbor 的效能數據與價格,推出時間也尚未確定。

Apple Harbor 是 Apple 正在測試的一款 Mac App,目前以 Claris 品牌進行私人預覽。Claris 是 Apple 旗下的軟體子公司。根據爆料者 Aaron Perris 在 X 上公開的介紹,Apple Harbor 能把用戶的 Mac 變成私人 AI 推論伺服器,直接在 Apple silicon 上執行開放權重模型,資料不會離開硬體,也不會上傳到雲端。

產品定位與目標用戶

Apple Harbor 主要鎖定想在本地端運行大型語言模型的 Mac 用戶。許多人選擇 Mac mini 或 Mac Studio,是看中其統一記憶體容量足以支撐本地模型運作。Apple Harbor 的目標,是讓這類用戶不必自行架設環境,就能下載、載入與管理模型,並將多台 Mac 整合為一個運算資源池。

主要功能

  • 本地 AI 伺服器:將單台 Mac 轉為私人推論伺服器,在 Apple silicon 上執行開放權重模型。
  • 多機叢集:透過 Thunderbolt 5 連接多台 Mac,匯集統一記憶體,用於運行單台電腦無法載入的大型模型,也可承接更多同時湧入的請求。
  • 自動偵測與組建叢集:Apple Harbor 會透過 Thunderbolt 5 自動偵測已連接的裝置並組成叢集,接線後即可啟動。
  • 圖形化模型管理:瀏覽、下載與載入開放權重模型都在 App 內完成。

叢集運作方式與限制

以爆料中的例子說明:假設有兩台各配備 64GB 統一記憶體的 Mac,單台只有 64GB,兩台合計為 128GB。透過 Apple Harbor 的叢集功能,理論上可將一個約 100GB 的大型模型拆成兩半,分別放在兩台電腦上執行。

不過,這並不代表兩台 Mac 的記憶體會合併成一台 128GB 的電腦,效能也不一定加倍。每台 Mac 都要保留部分記憶體給系統使用,模型切分後,兩台機器之間還需要透過 Thunderbolt 5 持續交換資料,這些傳輸會消耗部分效能。目前 Claris 尚未公布任何 Apple Harbor 的效能數據,實際可用容量與速度仍有待實測驗證。

相容硬體

叢集要求每台機器都支援 Thunderbolt 5。根據報導,M4 Pro、M4 Max、M3 Ultra,以及 M5 Pro 的 Mac mini 和 Mac Studio 都符合條件。新推出的 M6 Mac mini 採用 Thunderbolt 4,無法加入此種叢集。

與 LM Studio、Ollama、Exo 的比較

LM Studio 和 Ollama 的強項主要在單台電腦。LM Studio 介面友善,適合想直接下載模型並對話的用戶;Ollama 則受開發者青睞,許多程式工具與 AI 代理可直接連接其 API。若只有一台 Mac,這兩款工具已相當足夠,Apple Harbor 未必能帶來明顯差異。

與 Apple Harbor 定位最接近的是開源工具 Exo。Exo 在 macOS 26.2 推出時就已支援 RDMA over Thunderbolt 5,同樣能自動偵測裝置並組成多台 Mac 叢集,也提供 macOS App。

工具主要定位特色多台 Mac 串接價格
Apple Harbor本地 AI 伺服器與多機叢集Thunderbolt 5 自動組叢集、整合統一記憶體、圖形化模型管理支援尚未公布
LM Studio圖形化本地 AI 工具模型下載、管理、對話,也能開啟本地伺服器以單機為主免費
Ollama本地 AI 模型運行平台命令列與 API 起家,開發工具整合多,也有桌面 App以單機為主免費開源
Exo開源多裝置叢集工具自動偵測裝置,支援 RDMA over Thunderbolt 5支援免費開源

上市時程

目前 Apple 尚未公布 Apple Harbor 的推出時間。外媒 9to5Mac 認為,該產品有機會在未來幾週到幾個月內公開亮相。有興趣的讀者可前往 Claris Harbor 官方預覽資訊與登記頁面留下資料,以取得後續消息。

Reference Link : kocpc.com.tw

Related Articles

Stay Connected

0FansLike
0FollowersFollow
22,800SubscribersSubscribe
spot_img

Latest Articles