AI 摘要
- 開源專案 Backburner 透過 USB-C 串聯 iPhone 與 Mac 協同運行 27B 大語言模型。
- 實測顯示該架構可將長文本讀取速度提升高達 44% 並擴展上下文長度。
- 此技術允許 8GB 記憶體 Mac 透過拆分模型負載成功載入大型 AI 模型。
在終端裝置本地端運行大型語言模型（LLM）時，統一記憶體容量往往是限制模型規模與上下文長度的主要硬體瓶頸。為了解決這項限制，開發者 StayLameBro 於 GitHub 釋出開源專案 Backburner 預覽版本（v0.0.1），並在社群平台 Reddit 公布實測成果。該專案透過一條具備高速傳輸規格的 USB-C 數據線，將 iPhone 與 Mac 互相連接，實現跨裝置協同運算 270 億參數（27B）級別的 AI 模型。
採用流水線分工機制拆分模型網絡層
Backburner 的運作核心在於將神經網絡層拆分並分派至不同裝置的硬體單元上。以測試中使用的 Qwen 3.8-27B 模型為例，該模型共有 64 層網絡結構：
- Mac GPU：負責運算模型的前 40 層網絡。
- iPhone：接續運算剩餘的第 41 至 64 層網絡。
為了防止裝置在資料傳輸期間陷入停頓，Backburner 採用工廠流水線（Pipelining）處理架構。系統將輸入的 Prompt 提示詞切分成每批 256 個 Token 的區塊。當 Mac 完成第一批資料的前 40 層運算後，隨即透過 USB-C 傳送至 iPhone 接續運算，此時 Mac 會同步開始處理第二批資料的前 40 層，達成雙裝置的併行運算。
由於此機制高度依賴資料吞吐量，傳輸頻寬成為系統能否發揮效能的關鍵。開發者特別指出，測試時必須使用支援 10Gb/s 傳輸規格的線材（如 USB 3.2 Gen 2 或 Thunderbolt 標準）；若使用 iPhone 原廠隨附的 USB 2.0 規格線材，傳輸瓶頸將大幅削弱整體效能。
長文本讀取速度與 AI 代理實測表現
在基準效能測試中，測試環境配置為配備 24GB 統一記憶體的 M4 Pro MacBook Pro 與 iPhone 17 Pro Max，透過 10Gb/s USB-C 線材連接並運行 Qwen 3.8-27B 模型。實測數據顯示，iPhone 的算力加入對長文本的預填（Prefill）階段有顯著改善：
- 16K 上下文長度：讀取速度提升 44%。
- 32K 上下文長度：讀取速度提升 29%。
- 48K 上下文長度：讀取速度提升 30%。
在 AI 代理（AI Agent）實際工作流程的測試中，針對約 2.7 萬 Token 的新工作階段：
| 運作配置 | 首次回應等待時間 | 後續連續對話平均等待時間 |
|---|---|---|
| 原版 llama.cpp | 245 秒 | 19.2 秒 |
| Backburner（僅 Mac） | 228 秒 | 未特別標註 |
| Backburner（Mac + iPhone） | 168 秒 | 14.5 秒 |
數據顯示，透過 Mac 與 iPhone 協同運算，首次回應等待時間相較原生架構縮短了近 80 秒。
KV Cache 轉移與 Split Decode 模式
當處理的上下文長度超過 6.4 萬（64K）Token 時，Backburner 會動態調整運作架構，將 iPhone 轉化為外部快取記憶體與協同處理單元。在傳統單機環境下，24GB 記憶體的 Mac 載入 27B 模型後，剩餘容量通常僅能容納約 64K 的 8-bit KV Cache。
透過 Backburner 機制，Mac 可將較舊的 KV Cache 資料卸載至 iPhone 保存與處理：
- 8-bit KV Cache：上下文支援上限由純 Mac 的 64K 擴增至 128K。
- 4-bit KV Cache：上下文支援上限可達 140K。
- 理論上限：透過動態資源調配，理論上最大可擴展至約 20 萬 Token。
此外，專案亦提供了 Split Decode 模式，進一步降低運行門檻。在此模式下，Mac 負責前半層數，iPhone 負責後半層數及最終輸出。測試證實，即使是僅具備 8GB 記憶體的入門款 Mac，亦能在 iPhone 的輔助下成功運行 Qwen 3.8-27B 模型。儘管該配置下的文字生成速度約為 3.9 Token/s，但該方案已驗證跨裝置資源整合突破低記憶體限制的可行性。
Reference Link : ezone.hk
