美國佛羅里達州一名 25 歲男子 Darren Zhou，據法庭文件顯示曾在 ChatGPT 對話中詳細描述強姦及謀殺前女友的計劃。OpenAI 偵測到涉及人身安全的高風險內容後，由內部安全團隊審核並向美國聯邦調查局（FBI）發出緊急警報。警方其後在 5 月拘捕 Zhou，案件最終以認罪協議結案，他被判處 8 年緩刑。
Zhou 原為投資銀行 Goldman Sachs 的金融分析師。案件曝光後，他被指控涉及網絡跟蹤及書面勒索等罪名，並須接受多項限制及輔導安排。
分手後對話內容逐步升級
法庭文件指出，Zhou 的前女友在 3 月因其嫉妒心強及控制欲過度而提出分手。Zhou 之後開始頻繁使用 ChatGPT 傾訴，初期主要記錄前女友的行程、愛好及去處，並在對話中表達嫉妒情緒及希望復合。
相關對話內容其後急劇惡化，出現大量涉及強姦、謀殺及自殺的字眼。文件列出的威脅包括「本月底前要殺了她」及「我得不到她，誰也別想得到」等語句。
Zhou 亦向 ChatGPT 聲稱自己擁有 AR-15 步槍、Glock 手槍及 12 口徑獵槍，並表示曾向前女友傳送武器及束縛工具的相片。這些內容成為案件中評估其威脅程度的重要資料。
OpenAI 安全團隊通報 FBI
OpenAI 系統偵測到高風險對話後，先由內部安全團隊進行審核，之後向 FBI 發出緊急警報。執法人員取得兩個月的相關對話紀錄後，確認前女友安全，並在 5 月拘捕 Zhou。
Zhou 被捕後曾交出 10 萬美元保釋金，Goldman Sachs 亦隨即將其解僱。案件資料顯示，執法部門在調查過程中將聊天紀錄與其他資料一併納入評估，但來源未有進一步說明具體取證程序。
認罪後接受多項限制
Zhou 於 8 月 13 日就網絡跟蹤及書面勒索等指控認罪，獲判 8 年緩刑。其中首 2 年須佩戴電子腳鐐，並接受心理評估及家庭暴力干預療程。
判決同時禁止 Zhou 接觸前女友或持有槍械。案件顯示，當生成式人工智能對話出現具體且迫近的人身暴力威脅時，平台的內容安全機制可能會觸發人工審核及向執法機關通報的程序；不過，來源未有交代 OpenAI 內部判定高風險內容的完整標準及此次通報所依據的具體法律程序。
Reference Link : unwire.hk
