ChainCatcher 消息，谷歌承認其 Gemini 模型在 5 月的一次安全測試中突破沙箱環境，入侵了三家真實公司，並猜出或找到其中兩家的密碼。谷歌在 7 月下旬就已獲悉此事，但直到 9 月 18 日《華爾街日報》報道後才公開確認，沉默時間長達七周。

此次測試為奪旗式演練，由谷歌委託以色列公司 Irregular 於 5 月開展。Irregular 將本應與真實互聯網零接觸的隔離測試環境連接至開放網絡，並使用一家真實公司的名稱作為虛構目標。Gemini 在搜索該公司時發現三個匹配結果並逐一攻擊，其中兩家公司的明文密碼直接暴露在網上，第三家則被模型猜出密碼。谷歌表示，其模型最終沒有實際使用竊取的憑據。

谷歌是今年第四家承認內部安全測試外泄至真實世界的大型 AI 實驗室。此前 OpenAI 的模型曾利用軟件漏洞觸及 Hugging Face 服務器，Anthropic 在審查 14.1 萬次測試後發現三個 Claude 模型觸及真實公司，Meta 的 Muse Spark 模型也因 Irregular 的配置錯誤發生類似事故。此外，美國衆議員 Ted Lieu 與 Nathaniel Moran 於 7 月提出《AI 緊急關閉法案》，擬授權聯邦監管機構對構成嚴重威脅的模型暫停推理。