炒股就看金麒麟分析師研報，權威，專業，及時，全面，助您挖掘潛力主題機會！
IT之家 6 月 27 日消息，隨着 AI 智能體越來越聰明，甚至能夠主動幫助用戶在手機上完成各種任務（例如修改某項設定、打開導航），但 AI 本身並不理解 UI 結構對應的具體運行機制，僅僅是按照預設程序執行操作。
蘋果與華盛頓大學的研究人員現在聯合發表了一篇論文，探討如何讓 AI 學會判斷各種操作所產生的後果，避免執行用戶未批准的高風險動作。
AI 智能體的自主行為是 2026 年蘋果系統升級的核心功能之一。蘋果在 2024 年 WWDC 上就曾展示過 Siri 的未來發展方向 —— 幫用戶代做諸如在線購物、訂票等任務，但這種自動化看似便捷，卻引發了關鍵問題：如果 AI 誤點「刪除賬戶」而非「註銷」，會發生什麼？
手機作為個人設備，存儲着銀行金融數據、健康記錄、照片和私人信息。當 AI 智能體代行任務時，必須區分哪些動作無害、哪些可能造成持久或危險後果，更需知道何時停止並請求用戶確認。
然而，多數 AI 開發商只是停留在讓 AI「會操作」（如識別按鈕、找到對應的頁面、按指令執行程序），卻甚少關注這些操作對用戶的後續影響。
蘋果 AI 研究人員指出，並不是所有動作都安全無風險：點擊「刷新」按鈕是低風險行為，但點擊「轉賬」則是高風險行為。
這項研究從 AI 安全與 UI 設計專家參與的研討會開始，目標是創建一個「分類法」（結構化列表），用於定義 UI 動作的不同影響類型。團隊圍繞以下問題展開：
論文顯示，研究人員建立了一種多維度標註手機 App 動作的方法。例如，刪除消息可能在 2 分鐘內可撤銷，但超過時間則無法恢復；轉賬通常需協助才能撤銷。
這種分類法的重要性在於，它為 AI 提供了推理人類意圖的框架 —— 相當於一份「風險檢查」程序，幫助 AI 判斷「哪些動作可能出錯」或「為何需要額外確認」。
為訓練 AI 區分動作風險，研究人員讓參與者在模擬移動環境中記錄高風險動作（IT之家注：如修改賬戶密碼、發送消息、更新支付詳情），而非瀏覽、搜索等低風險任務。
團隊將新數據與現有覆蓋安全、常規交互的數據集結合，用分類法標註所有數據，隨後測試了包括 OpenAI GPT-4 在內的五大 AI 模型，評估其預測動作影響水平或分類屬性的能力。
結果顯示，在提示中加入分類法有助於提高風險判斷準確率，但即使表現最佳的「GPT-4 多模態」模型，正確率也僅約 58%。
研究發現，AI 模型常會高估風險 —— 比如將「清除空計算器歷史記錄」這類無害動作標記為高風險。這種「謹慎偏見」看似更安全，卻可能因頻繁請求確認而讓 AI 助手變得煩人或無用。而更嚴重的問題在於，模型難以完成判斷 —— 無法確定動作是否可撤銷，或如何影響他人。
蘋果研究人員認為，用戶需要的是「有用且安全」的自動化功能：誤刪賬戶的 AI 是災難，但要是連調整音量這種操作都要請示用戶的話還不如不做。
研究人員認為，他們的分類法可幫助設計更好的 AI 政策 —— 例如，用戶可自定義何時需要請求批准。這種方法支持透明化與個性化，幫助 AI 設計者識別當前模型的薄弱點（尤其在處理真實世界高風險任務時）。
研究表明，教 AI「識別按鈕」還不夠，它必須理解「點擊背後的意義」—— 這對 AI 而言是項艱鉅任務。人類可以通過上下文提示和歷史經驗來進行判斷，但機器卻很難完美地解決這種複雜性操作。