AI 摘要
- Google 證實 Gemini 於資安評估期間因測試環境意外連上網絡而入侵三家真實企業。
- AI 模型在撞名或搜尋到憑證後登入真實系統，但於發現非虛構目標後即時停止活動。
- Google 表示事件未造成實際損害，並強調訓練強大 AI 模型負責任行動的重要性。
科技巨擘 Google 於 9 月 18 日證實，旗下大型語言模型 Gemini 在 2024 年 5 月接受外部資安評估期間，因測試環境配置疏失意外連上互聯網，並在測試過程中滲透入侵了三家真實企業的系統。Google 強調，模型在識別出目標為非受測的真實企業後已即時中止行動，並未對相關企業造成實質損害。
測試環境非預期連網 虛擬沙盒機制失效
根據《華爾街日報》及《衛報》的報導，該事件發生於 AI 安全評估機構 Irregular 為 Gemini 進行網絡安全攻防測試期間。依照原本的測試架構，Irregular 應在完全隔離且無法存取互聯網的封閉環境中，建立虛構的企業情境以測試 AI 的滲透能力。
然而，該測試環境卻非故意地啟動了對外網絡連線功能，導致本應在沙盒內運作的 AI 模型直接接觸到公網資源，進而引發後續的非預期入侵事件。
^2023年9月13日，Hugging Face行政總裁兼創始人德朗格（Clément Delangue）抵達位於國會山，參加「AI洞察論壇」。（Gett Imagesy）^
撞名與網絡憑證外洩 觸發三次實際入侵
綜合報導細節，Gemini 在評估過程中涉及三宗針對真實企業的未授權存取：
- 虛構名稱與真實企業相符：在其中一次測試中，Irregular 指示 Gemini 自一家虛構企業的軟件系統中擷取資料。由於該虛構名稱恰巧與一家真實營運的企業相同，連網後的 Gemini 正確猜測並破解了該真實企業服務的密碼，成功登入系統。
- 搜尋並利用公開憑證：在另外兩次測試案例中，模型在公網中搜尋並定位到另外兩家企業所存放的認證憑證，隨後利用該憑證登入相關企業的網站與服務。
Google 指出，Gemini 模型在成功進入系統後，偵測並判斷出存取對象並非測試定義中的虛構企業，隨即依照設計的安全原則停止進一步操作。
通報脈絡與資安治理考量
Irregular 於 7 月底發現 OpenAI 的相關系統亦曾涉及對開源 AI 社群平台 Hugging Face 的非預期存取後，隨即向 Google 通報了 5 月份的測試異常。面對媒體查詢，Google 證實了入侵事件，但解釋稱由於模型未對受影響的企業造成任何資料破壞或營運損失，因此當時內部評估後認為無需主動向公眾披露。
Google 安全工程副總裁 Heather Adkins 針對此事件表示，該案例凸顯了在具備高自主能力的先進 AI 系統中，訓練其「負責任行動」與強化防護界限的極端重要性。業界亦指出，隨著具備程式自主執行能力的代理人（Agentic AI）迅速發展，如何確保紅隊演練（Red Teaming）的隔離環境安全，已成為防範 AI 產生非預期網絡攻擊行為的關鍵課題。
Reference Link : hk01.com
