AI 摘要
- 開源專案 esp32-iphone-agent 利用 7 美元 ESP32-S3 開發板，達成免越獄、免簽名且手機端零安裝的 AI 操控 iPhone 方案。
- 系統架構整合 AirPlay 螢幕鏡像與 USB HID 鍵鼠模擬，並透過游標晃動演算法實現動態座標校正。
- 硬體成本低廉且運算支援地端模型，但在安全性上面臨提示詞注入與畫面隱私暴露風險。
全新開源專案 esp32-iphone-agent 正式推出，顛覆過往 iOS 自動化操控必須依賴開發者簽名或越獄的高門檻。該專案利用一塊市價僅約 7 美元的微控制器硬體，免去 Xcode、免開發者帳號、亦無須在手機安裝任何 App，即可讓多模態 AI 模型直接「代駕」真實 iPhone，完成瀏覽畫面、點選按鈕、打字與手勢滑動等完整日常任務。
定位與架構設計：視覺串流與 USB HID 的極簡整合
esp32-iphone-agent 的系統架構劃分為三大核心模組：視覺回饋、實體輸入與 AI 決策大腦，全程避開了繁瑣的 iOS 內部權限限制：
- 視覺接收（眼睛）：透過 iOS 內建的 AirPlay 功能，將手機螢幕鏡像輸出至電腦端運行的 UxPlay，再藉由 GStreamer 管線將即時影像串流切成 JPEG 畫面，依序傳送給多模態 AI 模型分析。
- 硬體輸入（手部）：硬體核心採用一片 Seeed Studio XIAO ESP32S3 微控制器，插上 iPhone 後直接被 iOS 識別為標準 USB 滑鼠與鍵盤複合裝置。開啟系統內建的 AssistiveTouch 後，滑鼠軌跡轉化為手指觸控點，點擊代表 Tap，拖曳則代表 Swipe。
- 模型決策（大腦）：架構分為規劃任務的 planner 模型與決定單步動作的 actor 模型，兩者可共用同一個多模態模型。系統全面相容 OpenAI 格式 API，支援雲端或自建地端模型。
動態校正演算法與地端運算技術指標
由於 iOS 系統的滑鼠點擊採用相對座標機制，外部電腦無法直接獲取游標絕對位置。esp32-iphone-agent 在每次點擊前會微幅晃動游標，透過鏡像畫面辨識游標位置並動態計算偏差進行校正，大幅提升點擊精準度。每次操作後，系統會自動比對螢幕畫面變動，若判定操作失敗則會重試或重新規劃路徑。
在實際硬體部署實測中，作者採用兩台 NVIDIA DGX Sparks 伺服器進行張量平行運算，運行 Qwen3.8-Flash 模型並關閉思考模式，實測出精準的反應時間：
- 單步動作耗時：約 1.3 秒。
- 全域計畫生成：約 2 秒。
- 操作頻率：每分鐘約執行 40 餘次動作，既超越純手動操作效率，又避免機器人腳本過於生硬的特徵。
各類 iPhone 自動化操控方案規格與架構比較
相較於傳統依賴 WebDriverAgent 的自動化技術，以及近期社群開發的各類 AI 硬體代理專案，esp32-iphone-agent 在免越獄與免 App 安裝上具備顯著優勢：
| 方案名稱 | 硬體需求與成本 | 手機端要求 | 畫面擷取方式 | 控制訊號傳輸 |
|---|---|---|---|---|
| esp32-iphone-agent | Seeed Studio XIAO ESP32S3（約 7 美元） | 零安裝、免越獄、開啟 AssistiveTouch | AirPlay 串流（UxPlay + GStreamer） | USB HID（硬體原生鍵鼠） |
| XCTest / WebDriverAgent | 無特殊硬體（需 Mac 電腦） | 需 Xcode、需開發者證書（免費用戶每 7 天需重簽） | WebDriverAgent 內部截圖 / 無障礙樹 | iOS 內部私有 API / 測試框架 |
| phone-agent | ESP32 開發板 | 必須在手機安裝專用 App | 應用程式內部擷取 | 藍牙 HID |
| Pilot | ESP32 + 3D 列印外殼 | 需執行語音與錄影流程 | ReplayKit 螢幕錄製 | 硬體外掛控制 |
| Aiden | 嵌入式運算板 + HDMI 轉 CSI 模組 | 無特殊 App 要求 | HDMI 視訊擷取硬體 | 板載直連運算與控制 |
硬體規格、供電與潛在安全性分析
esp32-iphone-agent 硬體核心僅需一片約 7 美元（折合新台幣約 230 元）的 Seeed Studio XIAO ESP32S3。配備 USB-C 接口的 iPhone 可直接插拔取電運作，Lightning 機型則需搭配轉接頭，所有運算與決策邏輯均在外部電腦執行，板子僅透過 Wi-Fi 接收 move、click、type 等純文字指令並轉換為 HID 訊號。
在安全性與限制層面，雖然 iOS 內建機制會阻擋 AirPlay 錄製密碼輸入畫面與 Apple Pay 流程，但銀行、郵件、即時通訊及推播通知等畫面均會完整被 AI 模型讀取。此外，該架構目前無法防禦提示詞注入（Prompt Injection）攻擊，若螢幕畫面上出現惡意釣魚文字或圖像，可能誘使 AI 代理執行非預期動作。開發團隊建議使用者優先採用備用機進行測試，並盡量選用地端部署之開源模型以維護資料隱私。
Reference Link : kocpc.com.tw
