AI 摘要
- 開源推理引擎 Strata 發布 v0.1.44 更新，首度正式支援 Apple Silicon 架構，整體運算速度提升 10% 至 20%。
- 透過 GPU、RAM 與 SSD 的三層專家分層調度架構，讓 12GB 顯存的消費級硬體也能執行 176B 等級的 MoE 大模型。
- 新版加入 Qwen3.6-35B-A3B 模型，並擴展對 Unsloth UD 系列、NVFP4 量化格式以及 Intel A 系列顯卡的支援。
專為消費級硬體設計的開源 AI 推理引擎 Strata 近日迎來重要里程碑，發布了最新的 v0.1.44 版本更新。這款以 C++ 打造、採 MIT 授權的開源工具，最初由開發者 Niko Veit 為了在 12GB 顯存的消費級顯示卡上運行 176B 超大規模模型而打造。本次版本最受注目的亮點，莫過於首度正式支援 Apple Silicon 系列晶片，並在各平台上實現了 10% 到 20% 的效能提升。
Strata 的工具定位與主要功能
Strata 的核心定位是降低大語言模型的本機運行門檻，讓配備 12GB 至 24GB 顯示記憶體的一般電腦也能順暢運作伺服器等級的 MoE（混合專家）模型（例如 Qwen3.8-Flash-Next）。針對 MoE 模型每次運算僅動用少數專家的特性，Strata 透過分層調度機制，將整台電腦打造成一張虛擬的大顯卡：
- GPU 顯存：保留最常調用的熱門專家模組，隨時進行即時運算。
- 系統 RAM：存放全量專家作為整體儲備，並由處理器分攤計算。
- SSD 固態硬碟：建立大型查找表，需要較冷門的專家時再即時載入。
此外，Strata 具備推測解碼（猜了再驗）機制與長文本平行處理能力，並提供相容於 OpenAI 與 Anthropic 的 localhost 本地 API，能與現有的 coding agent 及開發工作流無縫對接，且所有資料均不離開本機。
v0.1.44 版本新功能與改進
在最新發布的 v0.1.44 中，開發團隊與社群帶來了多項核心架構的升級與相容性擴展：
- Apple Silicon 支援：M 系列晶片的使用者現在可藉由統一記憶體架構運行大型模型。
- 新增模型支援：加入 Qwen3.6-35B-A3B 模型，並提供 4、6、8 bit 版本。
- 多樣化量化套裝：安裝器新增 Unsloth 的 UD-Q4、UD-Q5、UD-Q6、UD-Q8 動態量化包，以及專為 NVIDIA 顯示卡最佳化的 NVFP4 格式。
- 加速參數功能：新增 –adapt-async 參數，啟用後可提升程式碼與文件處理速度約 7% 至 10%，並具備背景快取更新功能。
- 跨平台效能優化：改進 AMD 顯示卡的多卡配置與解碼速度、加入 Intel A 系列顯示卡支援，並為 Windows 使用者提供 STRATA_PIN_BY_NEED=1 環境變數，可讓提示詞處理加快 4.4%。
硬體前置條件與適用限制
在開始安裝 Strata 之前，需確認本機硬體符合下列規格限制：
- 顯示卡/晶片：支援 12GB 以上 VRAM 的特定 NVIDIA 卡（如 RTX 5070、RTX 3090）、AMD 卡（RX 6800/6900、RX 7700 XT 至 7900 系列、RX 9060 XT/9070 系列）、Intel A 系列顯卡，或 Apple Silicon M 系列晶片。
- 系統記憶體（RAM）：基本需求 32GB 以上，建議配置 64GB 以確保能執行完整尺寸模型。
- 儲存空間：需預留約 80GB 以上的硬碟空間（建議使用 NVMe SSD 以獲得最佳載入速度）。
- 格式限制：NVFP4 量化格式僅限 NVIDIA 顯示卡使用，Mac 用戶建議選用 UD 系列量化包。
Strata 安裝與啟動指引
根據官方公布的發布資訊，不同平台的安裝途徑與基本使用步驟如下：
- 硬體與環境檢查：對照官方硬體相容清單，確認電腦顯示卡或晶片型號在支援名單內，並備妥足夠的 RAM 與 SSD 空間。
- 取得軟體：Windows 與 Linux 使用者可下載現成的一鍵安裝包；Mac 使用者目前需下載原始碼自行建置（Build from source）。
- 選擇量化模型：根據系統記憶體與顯存大小，於安裝器中挑選適合的模型尺寸與量化格式（例如 NVIDIA 顯卡可挑選 NVFP4，通用環境可選 UD 系列或 Q2_0 到 IQ3_S）。
- 設定效能參數（選用）：在啟動時視需求加入 –adapt-async 參數以開啟非同步加速；Windows 系統可設定環境變數 STRATA_PIN_BY_NEED=1 以提升提示詞處理效能。
- 發送第一個提示詞：啟動本機服務後，可直接進行互動測試，或透過相容於 OpenAI / Anthropic 的本地 API 接口，將本機大型模型串接至既有的開發與工作工具。
Reference Link : kocpc.com.tw
