Siri 太弱不夠用?開發者用 Codex 將 iPhone 變成可操作 App 的 AI 語音助理

如果你覺得 Siri 目前仍不夠聰明,開發者 Sharif Shameem 在 X(前身為 Twitter)公開的開源專案 Codex iOS Assistant,或許展示了另一種可能。這套方案能讓 OpenAI 的 Codex 變身為 iPhone AI 語音助理,讀取畫面、控制 App,甚至代替使用者執行多項指令。

Codex iOS Assistant 的特色是全程運作於原生 iOS 環境,包括來源所稱的 vanilla iOS 27,不需要越獄,也沒有修改 Apple 的封閉介面。

以 iMessage 傳送指令,再由捷徑操作 iPhone

這套系統的核心做法,是把 iMessage 當成命令通道,並利用 iOS 內建的「捷徑」自動化功能完成手機端操作。

在 Mac 上,Codex 會呼叫一個 iPhone 指令列工具,把指令包裝成例如「hola openurl」、「hola screentext」或「hola screenshot」等單行文字,再透過 iMessage 傳送至 iPhone。

iPhone 收到特定寄件人傳來、內容包含「hola」的訊息後,會啟動使用者事先建立的捷徑自動化流程。這支捷徑共有 95 個步驟,能呼叫原生 iOS 動作,執行開啟 App、擷取螢幕截圖、讀取剪貼簿及列出鬧鐘等工作。

資料回傳則由捷徑內建的 HTTP client 負責。螢幕文字、截圖、剪貼簿內容及鬧鐘清單等結果,會以 POST 方式送往指定的 HTTPS 位址;這些位址再透過 Cloudflare Tunnel 導向 Mac 上綁定 127.0.0.1 的接收端,Codex 便能輪詢本機接收端取得結果。

可讀取畫面、管理鬧鐘及開啟多款 App

根據專案說明,Codex iOS Assistant 支援的功能相當廣泛,包括讀取 iPhone 螢幕上可見的文字,以及儲存螢幕截圖;也能讀取或取代剪貼簿內容。

  • 列出、建立及關閉鬧鐘
  • 開啟相機、天氣、行事曆、訊息、尋找我的、Spotify、照片、錢包、備忘錄、Uber 及 DoorDash
  • 控制主畫面、控制中心、計時器、手電筒及低耗電模式
  • 撥打語音電話

Shameem 也特別提到一項實用用法:讓 Codex 在 Mac 上以 grep 搜尋 iMessage 內容,找到目標後,再透過 deep link 在 iPhone 開啟特定訊息。如此一來,搜尋訊息與開啟訊息便能由同一個 AI 代理串接完成。

不過,專案也刻意限制部分高風險操作。撰寫訊息時只會建立草稿,必須由使用者確認後才能送出;購物、訂餐及叫車等功能同樣被封鎖。即使開啟電商或叫車服務連結,也只會開啟頁面,不會直接下單或叫車。

安裝需要 Mac、支援 iPhone 及 Cloudflare 網域

要使用這套方案,官方列出的需求包括一台 macOS 14 或以上版本的 Mac、Python 3.11 或以上、訊息 App、Xcode Command Line Tools,以及一支能接收設定好 iMessage 位址訊息的 iPhone。此外,使用者還需要一個由 Cloudflare 管理的網域,並開啟 iCloud 捷徑同步,讓捷徑能從 Mac 同步至 iPhone。

安裝大多可以交由 Mac 上的 Codex 完成。專案建議使用者把指定描述貼入 Codex 對話,讓它自行設定 codex-ios-assistant。設定檔會放在 ~/.config/codex-ios-assistant/,不會寫入專案儲存庫。

唯一需要在 iPhone 上手動完成的主要步驟,是於捷徑 App 建立自動化流程,設定在收到包含「hola」的訊息時,執行那支 95 步驟的捷徑。

Shameem 已將完整程式碼公開於 GitHub,專案名稱為 codex-ios-assistant,定位是「透過 iMessage 和捷徑,從 Codex 控制並檢視 iPhone」。這項設計的目標,不只是讓 AI 回答問題,而是讓能理解使用者意圖的代理實際操作裝置並完成工作。

具備基本安全設計,但協定仍存在弱點

由於這套方案把 iPhone 的操作權交給 AI 代理,安全與隱私自然是重要考量。作者在 security.md 中說明,敏感檔案權限設定為 0600,資料夾權限為 0700;接收端只綁定本機,再透過 Cloudflare Tunnel 對外連線。

資料回傳要求使用至少 32 個字元、必須精確比對的 X-Auth token。系統日誌不會記錄螢幕文字、剪貼簿內容或鬧鐘細節。iMessage 發送端則使用受權限保護的 Unix socket,檢查使用者 UID,並且只允許執行固定的 AppleScript,避免使用者注入任意程式。

然而,作者也坦承目前協定仍有不足,包括沒有請求簽名、沒有過期時間,也沒有重放防護。任何取得 token 與 hostname 的人,都可能提交偽造回應;如果猜到 request ID,也可能讀取某筆回應。

因此,這套方案雖然展示了讓 iPhone 接受 AI 代理遙控的可行方法,但安全邊界尚未完整。自行架設時,token 與 Cloudflare 帳號的保管會是關鍵。

展示 iPhone 成為 AI 操作平台的可能性

Codex iOS Assistant 未必會成為主流工具,但它證明了即使不越獄、不修改 Apple 封閉介面,單靠 iMessage 自動化與捷徑這些原生功能,也能建立一條讓 AI 代理操作 iPhone 的管道。

對希望擁有能真正執行工作的語音助理、又對現有 Siri 能力感到不滿的使用者而言,這個開源專案提供了一個值得觀察的方向。不過,在嘗試之前仍應充分了解相關設定與安全風險,並妥善保護 Cloudflare 帳號及驗證 token。

Related Articles

Stay Connected

0FansLike
0FollowersFollow
22,800SubscribersSubscribe
- Advertisement -spot_img

Latest Articles