蘋果AI新研究:使其理解手機操作後果,避免高風險行為

市場資訊
06-27

  炒股就看金麒麟分析師研報,權威,專業,及時,全面,助您挖掘潛力主題機會!

IT之家 6 月 27 日消息,隨着 AI 智能體越來越聰明,甚至能夠主動幫助用戶在手機上完成各種任務(例如修改某項設置、打開導航),但 AI 本身並不理解 UI 結構對應的具體運行機制,僅僅是按照預設程序執行操作。

蘋果與華盛頓大學的研究人員現在聯合發表了一篇論文,探討如何讓 AI 學會判斷各種操作所產生的後果,避免執行用戶未批准的高風險動作。

AI 智能體的自主行爲是 2026 年蘋果系統升級的核心功能之一。蘋果在 2024 年 WWDC 上就曾展示過 Siri 的未來發展方向 —— 幫用戶代做諸如在線購物、訂票等任務,但這種自動化看似便捷,卻引發了關鍵問題:如果 AI 誤點“刪除賬戶”而非“註銷”,會發生什麼?

手機作爲個人設備,存儲着銀行金融數據、健康記錄、照片和私人信息。當 AI 智能體代行任務時,必須區分哪些動作無害、哪些可能造成持久或危險後果,更需知道何時停止並請求用戶確認。

然而,多數 AI 開發商只是停留在讓 AI“會操作”(如識別按鈕、找到對應的頁面、按指令執行程序),卻甚少關注這些操作對用戶的後續影響。

蘋果 AI 研究人員指出,並不是所有動作都安全無風險:點擊“刷新”按鈕是低風險行爲,但點擊“轉賬”則是高風險行爲。

這項研究從 AI 安全與 UI 設計專家參與的研討會開始,目標是創建一個“分類法”(結構化列表),用於定義 UI 動作的不同影響類型。團隊圍繞以下問題展開:

論文顯示,研究人員建立了一種多維度標註手機 App 動作的方法。例如,刪除消息可能在 2 分鐘內可撤銷,但超過時間則無法恢復;轉賬通常需協助才能撤銷。

這種分類法的重要性在於,它爲 AI 提供了推理人類意圖的框架 —— 相當於一份“風險檢查”程序,幫助 AI 判斷“哪些動作可能出錯”或“爲何需要額外確認”。

爲訓練 AI 區分動作風險,研究人員讓參與者在模擬移動環境中記錄高風險動作(IT之家注:如修改賬戶密碼、發送消息、更新支付詳情),而非瀏覽、搜索等低風險任務。

團隊將新數據與現有覆蓋安全、常規交互的數據集結合,用分類法標註所有數據,隨後測試了包括 OpenAI GPT-4 在內的五大 AI 模型,評估其預測動作影響水平或分類屬性的能力。

結果顯示,在提示中加入分類法有助於提高風險判斷準確率,但即使表現最佳的“GPT-4 多模態”模型,正確率也僅約 58%。

研究發現,AI 模型常會高估風險 —— 比如將“清除空計算器歷史記錄”這類無害動作標記爲高風險。這種“謹慎偏見”看似更安全,卻可能因頻繁請求確認而讓 AI 助手變得煩人或無用。而更嚴重的問題在於,模型難以完成判斷 —— 無法確定動作是否可撤銷,或如何影響他人。

蘋果研究人員認爲,用戶需要的是“有用且安全”的自動化功能:誤刪賬戶的 AI 是災難,但要是連調整音量這種操作都要請示用戶的話還不如不做。

研究人員認爲,他們的分類法可幫助設計更好的 AI 政策 —— 例如,用戶可自定義何時需要請求批准。這種方法支持透明化與個性化,幫助 AI 設計者識別當前模型的薄弱點(尤其在處理真實世界高風險任務時)。

研究表明,教 AI“識別按鈕”還不夠,它必須理解“點擊背後的意義”—— 這對 AI 而言是項艱鉅任務。人類可以通過上下文提示和歷史經驗來進行判斷,但機器卻很難完美地解決這種複雜性操作。

海量資訊、精準解讀,盡在新浪財經APP

免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。

熱議股票

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10