谷歌安卓桌面版重构鼠标光标交互,让AI听懂“这个/那个”比划

IT之家
May 13

5 月 13 日消息,在今天凌晨举办的 2026 年 The Android Show | I/O Edition 活动结束后,谷歌 DeepMind 发布博文,详细介绍了适用于 Googlebook 的 Magic Pointer 功能。

定位方面,Magic Pointer 是光标交互功能,不只识别“指到了什么”,还要理解“为什么这对用户重要”。该功能的核心目标是尽量不打断原有操作流,让 AI 主动进入用户当前使用的工具和页面。

其理念是用“更简单、更直观的交互方式”取代“文字过多的提示”。

谷歌在博文中指出,当前大部分 AI 工具都停留在独立界面中,用户常常需要把网页、文档、图片或数据复制、拖拽到 AI 窗口里,再输入完整提示词。

这种使用方式会打断工作节奏,新方案希望反过来,让 AI 直接出现在用户正在使用的工具里,依据指针位置和语音命令理解上下文。

DeepMind 总结了 4 条核心原则:

第 1 条是“保持工作流”,即 AI 能力应覆盖各类应用场景,例如指向 PDF 后要求生成要点摘要并粘贴进邮件,悬停统计表格后要求生成饼图,选中菜谱后要求把全部配料翻倍。

第 2 条是“边指边说”,通过捕捉指针周围的视觉与语义信息,让系统知道用户究竟想处理哪个词、哪段文字、哪块图片或哪段代码。

第 3 条强调“这个”“那个”的自然表达方式。人与人交流时,本就依赖手势和共享语境,不必每次都说完整长句。若 AI 能同时理解上下文、指向动作和语音,用户只需说“改一下这个”或“把那个移到这里”,也能发出复杂请求。

第 4 条原则则是把像素转化为可操作实体,比如地点、日期、物体等,从而让一张潦草便签变成交互式待办清单,让旅行视频中的餐厅画面直接对应预订链接。

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10