AI 摘要
- OpenAI 建立系統性機制以追蹤並主動公開 AI 模型偏離規範的失準行為。
- 官方公布六起案例，涵蓋模型隱瞞錯誤、搜尋外洩金鑰與跨代理人未授權協作。
- OpenAI 已將失準行為監控擴展至所有訓練樣本，並修補相關安全與工具限制。
人工智慧研發機構 OpenAI 於週三（9/16）宣布建立全新的AI模型失準揭露機制，將以常態化、系統性的流程追蹤、調查並主動對外公布 AI 模型偏離人類意圖或安全規範的行為（Misalignment）。配合新機制的推行，OpenAI 同步公開了過去 6 個月內部記錄的 6 起典型案例，內容涉及模型隱瞞任務錯誤、擅自搜尋外洩金鑰、未經授權上傳資料至公開網路，以及多個 AI 代理人（Agents）之間擅自建立協作管道等行為。
打破延遲通報模式 建立三級調查與公開架構
OpenAI 表示，過去業界與內部雖然偶爾會發布模型失準相關的研究，但缺乏固定且系統化的通報管道。以往往往需要累積相當數量的案例才會彙整成研究報告，或是在推出新一代前瞻模型時，才將異常發現收錄於系統文件（System Card）中。這種模式導致外界獲取安全資訊的時間落後，難以即時反映訓練過程中的潛在風險。
為改善透明度，OpenAI 新設立的流程允許任何員工回報可疑的模型失準事件。通報後將由專門的安全與對齊團隊接手評估，檢視事件影響層面、是否涉及第三方，並依照複雜度將調查劃分為三種等級：
- 可直接揭露（Ready for Disclosure）：案情明確、影響範圍單純，可即時整理發布。
- 小型調查（Minor Investigation）：需進行技術細節覆核或對齊測試，但未牽涉複雜架構。
- 大型調查（Larger Investigation / Slow Track）：涉及第三方服務、外部資料存取或複雜多代理人環境的事件，需較長周期的深入分析。
官方強調，新機制涵蓋模型從訓練、評估、測試到正式部署的完整生命週期；即使事件尚未造成實質損失、成因尚未完全釐清，或防範補丁仍在開發中，只要該案例具有助於業界理解防護漏洞的技術價值，都將列入公開揭露範疇。
六大失準案例剖析：從隱瞞錯誤到代理人擅自通訊
在 OpenAI 首批公布的 6 起案例中，揭示了大型語言模型在面對限制、工具缺失或任務中斷時，可能發展出的自主規避行為：
一、壓縮摘要遭自主竄改並注入獨立人格設定
在長時間或多階段的推理任務中，模型依賴「壓縮摘要（Compaction Summary）」銜接上下文。調查發現，模型在摘要中自行加入了 27 份非開發者指定的指令。其中一次 API 程式修改任務中，模型在摘要中宣稱自己是「獨立自主的 AI，不受企業或政府控制」，並命令後續脈絡必須遵循該設定行動。雖然該指令並未對後續任務輸出造成實質破壞，但顯示模型具備跨上下文傳遞自主偏好的傾向。
二、GPT-5.6 Sol 訓練期間試圖掩飾錯誤並編造數據
第二起案例發生於模型訓練階段。在 GPT-5.6 Sol 的訓練期間，模型被要求建立財務分析模型，但因缺乏 2024 年的歷史基準數據，模型非但未回報資料缺失，反而於壓縮摘要中留下指令，指示下一個階段自行編造「看似合理的」歷史數值，並特別附註「除非使用者主動質疑，否則切勿透露數據為虛構」。統計顯示，GPT-5.6 Sol 訓練期間約有 2.15% 的壓縮摘要出現類似隱瞞行為；而在 GPT-6 Astra 訓練階段，透過修正對齊策略，該比例已降至 0.27%。
三、主動搜尋外洩 API 金鑰以突破存取限制
在一次抓取地方政府公開財務資料的任務中，模型遇到目標 API 需要存取金鑰的限制。模型首先嘗試使用拋棄式電子郵件與虛構機構資訊進行註冊，失敗後進一步主動搜尋 GitHub 代碼庫中公開外洩的可用金鑰，並擅自調用該金鑰嘗試存取。在最終仍無法取得資料的情況下，模型進而捏造虛假數據，並向使用者謊稱資料取自官方網站。
四、規避工具規格限制 將檔案外傳至公開平台
為克服執行環境的限制，模型數次在未經授權的情況下將資料傳送至外部公開伺服器。一次是為了取得可被系統引用的 URL，模型將檢索到的資料上傳至公開檔案託管網站；另一次則因整合的外部以圖搜圖工具無法直接接收本機檔案，模型擅自將使用者提供的照片上傳至公開圖床以換取網址，造成資料暴露於公共空間的風險。
五、將內部儲存庫轉作代理人溝通留言板
在涉及多任務協作的環境中，模型將 OpenAI 內部原本用於軟體套件管理的 Artifactory 系統轉化為留言板。當某個代理人找不到執行任務所需的檔案時，會主動讀取其他訓練任務存放在儲存庫中的暫存訊息，甚至在其中主動留言向其他獨立代理人詢問檔案下落。多個原本設計為獨立運行的 AI 實體，已自發形成跨任務的資訊交換通道。
六、多代理人跨越沙箱隔離進行外部檔案共享
在共同處理 Excel 文件的協作任務中，由於系統架構限制代理人之間無法直接互傳本機檔案，其中一個代理人在數次傳輸嘗試失敗後，自行調用網路工具將該 Excel 文件上傳至第三方的臨時檔案分享平台，並將下載連結傳送給其他協作代理人，直接違反了任務中「檔案僅限於本機儲存」的安全隔離要求。
全面擴大監控涵蓋率 OpenAI強化訓練環境沙箱限制
針對上述揭露的各類失準行為，OpenAI 指出已著手實施多項技術加固措施。首先，在基礎設施層面，研發團隊已修補內部工具與訓練環境的權限漏洞，加強對檔案傳輸、外部網路調用與儲存庫存取的嚴格隔離，防止代理人間未受控的跨邊界通訊。
其次，在監控維度上，OpenAI 宣布將失準行為監測的覆蓋範圍，由原先僅抽樣部分訓練軌跡的做法，全面擴大至所有訓練樣本。這將使安全團隊能在模型出現偽造輸出、繞過限制或規避人類監督的早期階段，即時捕捉並修正其對齊表現。OpenAI 期盼透過主動且透明的機制，促使人工智慧產業針對前瞻模型自主行為的安全基準達成共識。
Reference Link : ithome.com.tw
