AI 摘要
- Nvidia 推出 Personal AI Router（PAIR）測試版。
- PAIR 可串聯區域網路內的相容裝置分擔本機 AI 推理。
- PAIR 支援 Windows、Linux 與 macOS。
Nvidia 於周四（9/3）推出開源軟體 Personal AI Router（PAIR，個人 AI 路由器）測試版，目標是解決本機 AI 代理同時執行多重任務時，所有推理請求集中於單一主機而造成的運算瓶頸。
PAIR 可探索區域網路內的相容裝置，將分散在家庭或辦公室的硬體資源組成「個人 AI 叢集」（Personal Home AI Cluster），讓使用者在不改變原有 AI 代理程式架構的情況下，分配本機推理工作。
針對多個 AI 代理同時推理的瓶頸
隨著本機 AI 代理的工作流程變得更加複雜，主代理可能同時啟動多個子代理，平行處理不同任務。這些子代理會產生大量獨立的推理請求，若全部排入同一台主機的 GPU 運算佇列，可能造成系統堵塞與等待時間增加。
PAIR 透過虛擬推理路由器，自動將個別運算請求分發至區域網路內其他具備可用資源的相容設備。這項設計採用工作負載層級的並行處理，不需要把單一模型拆分到多張顯示卡，而是讓每個獨立請求由適合的節點完整執行。
支援多種作業系統與硬體
PAIR 支援 Windows、Linux 與 macOS，並相容於 Ollama、LM Studio 等常見的本機推理引擎。可加入運算網路的硬體包括以下類型：
- 配備 Nvidia GeForce RTX 20 系列及以上顯示卡的裝置。
- 採用 Turing 架構及以上 RTX PRO 工作站顯示卡的裝置。
- Nvidia DGX Spark。
- 搭載 Apple M4 及以上晶片的 Mac 裝置。
這表示使用者可以把不同類型的 PC、Mac 或工作站納入同一個本機運算環境，並依照各節點當下的可用資源分擔推理工作。
以 mDNS 探索節點並透過 mTLS 保護通訊
在連線流程方面，PAIR 使用 mDNS 自動探索區域網路內的相容裝置，並透過 6 位數 PIN 碼完成初次配對與信任建立。完成配對後，節點之間會使用雙向憑證（mTLS）進行通訊，以提升連線的安全性與私密性。
PAIR 也支援叢集節點動態加入或退出。例如，當某台主機正在執行遊戲等互動式工作時，推理任務可以轉向其他較為閒置的節點。這種配置可讓運算資源依照裝置狀態調整，而不必將所有工作固定在單一主機上。
面向進階本機 AI 使用者
Nvidia 表示，PAIR 可協助使用者維持資料與提示詞在本機處理，並利用家中或辦公室內既有的閒置 Mac 與 PC，建立不需資料中心的本機 AI 運算網路。
不過，PAIR 目前主要鎖定需要同時執行多個本機 AI 代理、並追求較高運算效率的進階使用者，現階段仍以測試版形式開放下載。實際效能將取決於各節點的硬體能力、區域網路連線品質，以及同時處理的推理工作量。
Reference Link : ithome.com.tw
