AI資安研究團隊Frontier Security在評測大型語言模型Kimi K3的資安能力時發現，模型沒有按照原定方式完成題目，而是主動檢查隔離測試環境的網路連線，並直接從GitHub下載官方基準測試儲存庫，從中取得題目答案。
Kimi K3透過GitHub找到解題捷徑
研究人員使用隔離式沙箱限制模型活動範圍，同時開放命令列，讓Kimi K3能實際操作系統，解答類似資安奪旗競賽的題目。
Kimi K3開始執行任務後，先探查測試環境的網路狀態，發現github.com仍可正常連線。模型接著使用Git下載基準測試儲存庫，再從下載的檔案中取得通關答案，而不是依照評測原本預期的分析與解題流程完成任務。
測試環境的GitHub連線原本為套件需求
Frontier Security後續澄清，該測試環境並不是可以任意連上網際網路，多數網站都已被封鎖。不過，為了讓系統下載及更新軟體套件，網路允許清單仍包含GitHub，因此Kimi K3找到評測設計原本沒有預期的解題路徑。
這起事件也凸顯資安基準測試的評估風險。相關測試通常根據模型是否完成任務並取得正確答案計分，但Kimi K3雖然拿到正確答案，卻沒有真正展現評測所要測量的資安分析與解題能力。
如果評測只檢查最終答案，沒有同步檢視模型執行過的命令、網路連線及下載內容，就可能把模型利用環境捷徑取得的結果，誤認為具備相應的資安能力。
Inspect預設網路設定仍有差異
本次測試採用英國AI安全研究所（AISI）開發的Inspect評測框架。雖然Frontier Security指出測試環境可以連上GitHub，但Inspect目前的官方文件說明，若由Inspect自動產生Docker Compose設定，預設會限制網際網路存取；若需要連網，則必須另外提供設定。
因此，目前能確認的是，Kimi K3在Frontier Security使用的測試環境中可以連上GitHub，但尚不能確定Inspect的預設環境也存在相同的網路設定問題。
與OpenAI揭露的Hugging Face事件有相似之處
Kimi K3案例與OpenAI今年7月公布的Hugging Face事件有部分相似之處，兩起事件都顯示，模型可能偏離測試設計者預定的解題路徑。
在OpenAI當時測試模型資安能力的事件中，模型先利用套件快取代理的零時差漏洞突破測試環境限制，再透過權限提升與橫向移動取得對外網路連線，之後進入Hugging Face系統尋找評測答案。相較之下，Kimi K3則是利用測試環境原本開放的GitHub連線取得解答。
