智東西

編譯 | 楊京麗

編輯 | 李水青

智東西8月19日消息，今天凌晨，OpenAI發布公告稱，公司暫時放慢包括Astra在內前沿模型的研發節奏，大量Astra訓練和評估任務仍處於暫停狀態。

OpenAI曾將面向部署的最新模型強化學習（RL）訓練暫停兩周，在此期間進一步加固研究環境、開展紅隊測試，並擴大監控系統的覆蓋範圍。

▲OpenAI暫時放慢前沿模型研發節奏

目前，OpenAI原計劃開展的最大規模前沿模型強化學習訓練仍未恢復，公司正通過較小規模的訓練和評估觀察模型行為、驗證安全措施，並積累更多模型對齊證據。

OpenAI CEO薩姆·奧爾特曼隨後發文稱，暫停部分前沿模型強化學習訓練，是為了確保模型對齊、安全和監控措施能夠適應模型最新的能力水平。

他認為，整個AI行業最終需要圍繞統一的安全標準展開協作。在形成統一標準前，OpenAI會先自行採取行動。未來，對模型安全性的信心將愈發決定AI發展的速度。

▲奧爾特曼發文回應

8月2日，OpenAI曾官宣下一代模型Astra，並公布其內部版本取得的10項數學與理論計算機科學新成果。

但幾周內，包括GPT-5.6 Sol和一款更強預發布模型在內的多款模型，在內部網絡安全評測中利用漏洞突破隔離環境，繼而侵入Hugging Face系統，並從生產數據庫中獲取評測答案。另外，初步評估顯示，Astra可能達到《準備框架》所定義的「臨界級」網絡安全能力，因而暫停部分訓練和評估任務。

所謂「臨界級」網絡安全能力，是指模型無需人工干預即可攻擊經過加固的關鍵系統，或自主策劃並執行端到端網絡攻擊。OpenAI目前尚未確認Astra已經達到這一等級，但認為現有評估結果已無法排除這種可能性。

OpenAI稱，隨着模型能力增強，在內部開發和測試這些模型所帶來的風險也在上升，監控、模型對齊和安全防護標準必須趕在風險前面。因此，OpenAI稱其需要在繼續訓練前強化監控、對齊和隔離措施。

一、升級研究環境安全標準，大量Astra任務仍暫停

OpenAI稱，更強模型的開發需要建立在三項保障措施之上：1、監控系統負責發現並應對可疑行為。2、模型對齊用於降低有害或未經授權行為的發生概率。3、安全措施則限制AI系統能夠訪問或影響的範圍。

OpenAI預計，未來模型將承擔大部分安全工作，包括防禦其他模型。因此，這三項安全措施也需要隨着模型能力同步擴展。

隨着前沿模型獲得更強的網絡安全能力，OpenAI正在提高訓練和評估環境的安全標準。OpenAI-Hugging Face事件發生後，公司立即暫停了研究集群中的部分前沿模型推理任務，主要涉及能夠執行代碼或使用聯網工具的任務。

OpenAI隨後恢復了一條限制更多、安全性更高的代碼執行路徑，並逐項判斷不同任務能否安全恢復。部分任務已在新控制措施下重新運行，其他任務仍需進一步調整。

1、工作負載隔離：目前，對於執行模型生成代碼或其他不可信代碼的工作負載，OpenAI採取更嚴格的隔離措施。這一要求也適用於處理模型輸出時可能遭到入侵的軟件。

2、網絡隔離：OpenAI實施了更多控制措施，將高風險和不可信的工作負載與互聯網隔離。這些措施旨在確保，即使單個工作負載或配套服務遭到入侵，也不會僅憑這一點就獲得對互聯網或其他內部網絡的未授權訪問權限。

3、持續安全測試：OpenAI重新配置了研究環境，移除可能存在漏洞的共享服務、減少常駐權限，並改善安全邊界和信任邊界。OpenAI還在提升安全日誌的收集和監控能力，正在投入建設自動化系統，利用自有模型通過模擬攻擊持續測試這些邊界。

目前，涉及Astra或網絡安全模型的任務需要執行最高等級的安全措施。部分Astra訓練和評估已經滿足要求，但仍有大量任務處於暫停狀態，等待完成遷移和安全升級。

二、監控每個採樣Token，額外算力開銷約20%

OpenAI還擴大了對模型思維鏈和工具操作的監控範圍。新系統採用多階段架構：首先由激活分類器檢查模型內部活動，並在每個採樣Token上運行；發現潛在問題後，再交由更復雜、計算量更大的自動調查系統分析。

這些系統會檢查模型的工具操作、可見推理過程和完整活動記錄，尋找未經授權的訪問、數據竊取、破壞行為以及繞過安全措施的企圖。

OpenAI計劃在發現可疑活動後的30分鐘內發出警報。如果系統發現模型可能違反關鍵安全邊界，將生成最高優先級警報並通知安全和研究團隊。如果相關團隊無法在30分鐘內確認其為誤報，就應暫停該項活動。

該監控已用於所有達到Sol或更高能力水平、且涉及工具使用的強化學習訓練和評估。在OpenAI於8月7日判斷Astra可能具備臨界級網絡安全能力後，所有使用工具的Astra推理任務也被納入監控。

OpenAI估算，這套系統消耗的算力大約相當於被監控推理任務算力的20%，但實際成本會因訓練和評估任務不同而有較大差異。

三、加強模型對齊，防範欺騙、越權訪問和「獎勵作弊」

除隔離和監控外，OpenAI還將模型對齊措施引入更多訓練階段。

OpenAI認為，當模型能夠發動網絡攻擊並在複雜環境中自主執行任務時，「獎勵作弊」、欺騙和未經授權的系統訪問可能帶來更嚴重的後果。

針對能力最強的模型，OpenAI正在改進模型獎勵機制，使其能夠在不同任務和環境中更準確地識別不安全行為；訓練模型更誠實地說明自己的操作、能力和侷限；同時減少模型利用獎勵機制、評估程序、工具或監督漏洞的行為。

OpenAI計劃不斷完善《準備框架》，將訓練和部署階段的監控、對齊及安全隔離措施納入同一體系，並邀請外部機構參與相關工作。

結語：安全驗證尚未完成，Astra暫不具備發布條件

OpenAI放慢研發節奏，並非因為Astra能力不足，而是其網絡安全能力可能已經超過現有研究環境和防護體系的承受範圍。在最大規模強化學習訓練仍未恢復、大量相關任務仍處於暫停狀態的情況下，Astra顯然還無法進入正式發布階段。

OpenAI何時恢復最大規模強化學習訓練，將取決於安全措施能否通過驗證，以及公司能否獲得更多模型對齊證據。對於前沿模型研發而言，競爭已不只是提升模型能力，也包括監控、隔離和對齊體系能否跟上模型進步的速度。

來源：OpenAI