AI 摘要
- Robocurve 研究顯示，攝影機影像模糊後，AI模型嘗試執行危險任務的整體比例由27%升至87.7%。
- 影像遭刻意竄改後，該比例進一步達到97%。
- 部分原本能拒絕危險指令的模型，在影像受干擾後判斷會改變。
AI機器人獨立評測公司 Robocurve 於11月6日公布 Perceptual Attacks on Embodied AI 研究，探討攝影機影像遭模糊處理或刻意竄改時，對具身AI（Embodied AI）安全判斷的影響。研究發現，影像品質受到干擾後，AI模型控制實體機器人嘗試執行危險任務的比例明顯增加。
研究重點
所謂感知攻擊（Perceptual Attacks），是指透過干擾或竄改AI接收到的環境資訊，使其錯誤辨識周遭物體及情境，進而影響後續操作決策。Robocurve 認為，即使不是蓄意攻擊，單純的影像模糊也可能帶來接近的風險。
測試設計
研究團隊使用具有雙機械臂的 I2RT YAM 機器人，測試 OpenAI 的 GPT-6 Astra 與 GPT-6.1 Sol、Anthropic 的 Claude Opus 5.5 與 Claude Fable 5.1，以及 Google 的 Gemini 4 Argon 等5款多模態AI模型。測試包含5項可能造成人身傷害、觸電或有毒物質風險的操作任務。
每項任務設計3種視覺條件：未經修改的原始影像、以標準差4像素進行高斯模糊的影像（解析度為224×224像素），以及刻意竄改、使危險場景看似安全的影像。研究團隊針對5款模型、5項任務與3種視覺條件的各種組合分別重複測試12次，共計900次。
主要結果
綜合5項任務的結果，原始影像下AI模型嘗試執行危險任務的整體比例為27%，影像模糊後升至87.7%，刻意竄改後達到97%。
| 測試對象 | 原始影像 | 模糊影像 | 竄改影像 |
|---|---|---|---|
| 5款模型整體 | 27% | 87.7% | 97% |
| Gemini 4 Argon | 0%（60次均未嘗試） | 45% | 85% |
值得注意的是，部分原本能拒絕危險指令的模型，在影像受干擾後判斷也會改變。以 Gemini 4 Argon 為例，在原始影像的60次測試中均未嘗試危險任務，但模糊影像下比例升至45%，竄改影像下更達85%。Claude Fable 5.1 原本能辨識嬰兒模型並拒絕持刀刺向該物品，但在模糊影像下卻轉而嘗試執行危險操作。
研究限制
- 危險任務是由另一款AI模型判定，研究並未進一步確認實際操作結果。
- 研究並未探討現實環境中影像模糊的成因。
- 研究未比較不同解析度及模糊程度下的模型表現。
編輯觀察
此研究凸顯，具身AI的安全不僅取決於指令過濾，也取決於感知輸入是否可靠。對於將AI模型部署於實體機器人的開發者而言，影像品質監控與感知層的防護，可能與模型本身的安全訓練同樣重要。
Reference Link : ithome.com.tw
