AI 摘要
- Strata 0.2.10 是一款面向消費級顯卡的開源本地大模型工具新版本。
- 新版本主要降低顯存門檻，並可在 8GB 顯存設備上維持 128K 上下文。
開源本地 AI 工具 Strata 近日推出 0.2.10 版本。Strata 是一款專為消費級顯卡設計的本地大模型運行工具，此次更新聚焦於降低顯存門檻、提升推理速度，以及優化多張顯卡的協同運作。依來源報導，這些改動有助於一般電腦運行大型模型，但相關數據多來自官方測試，實際表現仍會因硬體與模型而異。
8GB 顯存也能維持 128K 上下文
在過去的本地運行情境中，若在 8GB 顯存設備上開啟 64K 或更高的上下文，常因專家緩存空間不足而無法啟動，部分使用者只能將上下文降至 48K 左右。Strata 0.2.10 調整了底層資源分配機制：當顯存不足時，系統會優先動態調整顯存與內存之間的資料分配，盡可能保留使用者設定的上下文長度。
具體而言，Strata 會依據即時顯存餘量，自動縮減駐留在 GPU 中的 KV 緩存窗口，必要時將部分緩存分散至系統內存或硬碟。報導指出，使用者因此可在 8GB 顯存設備上啟動 Qwen3.8 IQ3_S 等模型，並維持最高 128K（即 131,072 Token）的上下文。
官方公布的測試數據如下：
| 測試情境 | 硬體 | 官方公布生成速度 |
|---|---|---|
| 8GB 顯存限制下開啟 DFlash2 模式 | 來源未specify指定硬體 | 63 至 73 Token/s |
| 128K 上下文 | Intel Arc A750 8GB | 12.7 至 14.8 Token/s |
需要注意的是，顯存壓力雖然透過內存與固態硬碟獲得分攤，但對電腦的內存配置提出了更高要求。官方建議內存至少 32GB 起步，48GB 較為合適，64GB 則能較從容應對複雜場景。
預設啟用 DFlash2 加速器，節省約 4GB 顯存
本次更新將全新的 DFlash2 設為預設推測解碼器。其基本邏輯是由一個輕量化的輔助模型預先預測後續內容，再交由主模型批量驗證。
相較於此前 MTP 推測層約 5.2GB 的顯存佔用，DFlash2 的顯存佔用約為 625MiB，單此一項即可額外節省約 4GB 顯存。官方指出，在 Windows 端搭載的 Ryzen AI Max、RTX PRO 5000，以及 Apple M5 Max 等設備上，DFlash2 在單一請求場景中均展現出明顯的性能優勢。
不過，傳統 MTP 在多並發處理與硬體相容性方面仍有其優勢，因此官方將 DFlash2 定位為單一請求場景下的優先策略。
All-cards Split Engine：多卡分工升級
過去多張顯卡運行模型時，通常是將模型的不同層分配至不同顯卡。新版本引入 All-cards Split Engine（多卡聯合分割引擎），支持多張顯卡共同處理模型的每一層，並同時參與並行計算。
官方測試顯示，在 Linux 系統下使用兩張 RTX A6000 執行程式碼編輯任務時，處理速度由先前的 195 Token/s 提升至 377 至 394 Token/s，接近翻倍。此為官方測試結果，其他系統與任務的表現來源未有說明。
ISTA-DAS Coder 與 Agent 體驗改進
新版本新增名為 ISTA-DAS Coder 的編程專用模型。該模型基於 DeepSeek-V4.1-Flash 進行專家裁剪，目的在保留編程與 Agent 能力的同時降低冗餘開銷。由於模型權重與 Engram 資料檔案體積較大，首次完整下載與運行仍需較大的儲存空間。
此外，版本針對智能體（Agent）與圖形介面的互動問題進行了修復與升級，主要包括：
- AI 回覆較長時，Approve 與 Deny 審批按鈕不會再因頁面捲動而被遮擋。
- 子 Agent 可接收使用者後續追加的指令。
- 歷史對話的自動摘要功能會優先匹配使用者原本的語言習慣。
- AI 生成內容期間，使用者可選擇等待、排隊發送新訊息或直接中斷。
- 支持精準引用先前的某一輪對話或選中的特定文字。
- 優化 Claude Code 遇到上下文溢出時的報錯提示，引導其嘗試自動壓縮。
- 修復 Windows 在特定背景啟動情境下，因磁碟讀取優先級過低導致模型載入變慢的問題。
平台支援與使用限制
Strata 目前已全面支援 Windows、macOS 與 Linux。圖形介面使用者可透過內嵌的更新通道直接升級至最新版本；終端使用者則可透過相關命令完成更新，來源未提供具體命令內容。
整體而言，報導中描述的效能提升多數來自官方測試，且高上下文與多卡情境仍對內存、儲存與硬體配置有一定要求。實際體驗建議以自身設備測試為準。
Reference Link : news.aibase.com
