PS5LM Plus 釋出讓越獄遊戲主機化身 AI 伺服器：實測 Qwen3.8 27B 順暢運行

AI 摘要

• PS5LM Plus 透過原生 Vulkan 與 RADV 驅動程式，將越獄主機可用推論記憶體擴增至 11.4GB 並完全啟用 GPU 加速。
• 成功在主機上運行 Qwen3.8 27B 量化模型，每秒輸出逾 20 個 Token，輕量級 Llama 3.2 3B 更達每秒 124 個 Token。
• 系統支援直接從 Hugging Face 下載模型、DualSense 控制器操作，並提供 OpenAI 相容格式 API 與即時硬體監控儀表板。

全新開源專案 PS5LM Plus 正式發表，開發者成功將開源 AI 推論工具 llama.cpp 深度移植至越獄遊戲主機，將次世代家用主機轉型為本機 AI 推論伺服器。藉由突破先前的系統記憶體分配瓶頸，PS5LM Plus 實現了在主機內建 GPU 上直接運行具備 270 億參數的 Qwen3.8 27B 量化模型，展現高性價比邊緣 AI 推論的新潛力。

技術架構進化：從 CPU Payload 到原生 Vulkan GPU 加速

早期版本的 PS5LM 專案採用越獄後載入的小型程式（payload）形式運作，主要依賴 CPU 進行推論計算。受到系統記憶體分配機制嚴格限制，當時僅能調用約 6GB 記憶體，運算效能與模型規模皆極為受限。

新版 PS5LM Plus 則改寫為原生應用程式，導入 Vulkan 與 RADV 驅動程式支援，將推論工作全面移交給 GPU 核心處理。這項底層架構改動不僅大幅解放算力，更將可用記憶體上限由 6GB 推升至 11.4GB。透過高壓縮比的量化技術（如 IQ2_XXS 與 Q2_K_XL），成功將原本需 54GB 記憶體的 Qwen3.8 27B 模型權重壓縮至 6.8GB 至 9.15GiB，達成在限制環境下穩定運行的目標。

整合下載與 API 服務：打造類 Ollama 完整生態

PS5LM Plus 具備高度整合的作業環境，其操作流程與電腦端熱門的 Ollama 工具相當接近：

• 免電腦中轉下載：主機可直接連線 Hugging Face 搜尋並下載相容模型，免除額外傳輸步驟。
• 手把控制與相容性檢查：支援 DualSense 控制器操作介面，系統會自動評估模型大小是否能置入主機記憶體。
• 跨平台連網與 API 支援：區域網路內的電腦與手機可直接透過瀏覽器存取聊天介面，並完整支援 OpenAI 相容格式的 API 端點，方便第三方 AI 應用呼叫。
• 即時硬體監控儀表板：推論執行時提供即時數據顯示，包含輸出速率（Token/s）、CPU/GPU 使用率、耗電量、溫度、風扇轉速及快取記憶體分配。

多款主流模型推論效能實測比較

開發者針對多款不同規模與量化等級的模型進行基準測試，涵蓋大參數量模型至輕量化模型，詳細實測效能如下：

Reference Link : kocpc.com.tw