Codex Chronicle上新,AI能“看懂”你的屏幕了

智东西
Apr 21

4月21日报道,OpenAI正在让它的桌面编程助手Codex变得更“懂你”。继4月16日推出全新Mac版Codex并加入记忆功能之后,今天凌晨,OpenAI 再次发布一项名为Chronicle的新功能。它能让Codex通过“看你的屏幕”来理解上下文,大幅减少用户每次提问时重复描述的工作量。

Chronicle的核心理念是:用户不需要再对Codex反复解释之前输入过的内容,它会通过后台智能体定期抓取屏幕内容,将其总结为“记忆”,从而让Codex真正记住“你正在做什么”、“用过哪些工具”、“依赖什么工作流”。

这不仅是编程助手的进化,更是OpenAI把Codex打造成未来桌面“超级应用”的关键一步。

一、屏幕即记忆,Chronicle如何“看懂”你的桌面

Chronicle建立在Codex已有的“记忆”(Memories)功能之上,普通记忆只能从对话历史中学习上下文,而Chronicle更进一步:利用近期的屏幕上下文来增强记忆。

具体工作流程如下:

当用户启用Chronicle后,Codex会在Mac后台运行沙盒化的智能体(sandboxed agents)。这些智能体会定期捕获屏幕图像(仅限屏幕内容,无麦克风或系统音频权限),并将这些截图临时存储在设备本地目录下。

然后,Codex会启动一个临时会话,对这些截图进行处理,包括OCR文本提取、时间戳标记以及相关文件路径的记录。

处理完成后,Codex将屏幕中的关键信息(比如用户正在查看的代码错误、打开的文档标题、Slack讨论内容等)总结成记忆,以未加密的Markdown文件形式进行保存。超过6小时的屏幕截图会被自动删除,而生成的记忆文件则长期保留在本地,用户可以直接查看、编辑或删除。

OpenAI在官方文档中给出了几个典型使用场景:

直接使用屏幕上的内容:比如屏幕上弹出一个编译错误,用户只需说“修复这个错误”,Codex就能自动识别错误信息并给出解决方案,无需复制粘贴。

补全缺失的上下文:当你打开一个项目但忘了之前做到哪一步时,Chronicle能自动回忆起两周前用户在这个项目上的操作,帮助Codex从中断处继续。

记住工具和工作流程:如果用户经常使用某种工具或工作流程(比如代码检查工具、部署脚本),Codex会通过Chronicle学习用户的习惯,下次使用时,只需说“部署一下”,它就知道该跑哪个脚本。

OpenAI特别强调,Chronicle并不是试图替代直接读取文件或API的能力。当任务需要更精准的数据源时(比如某个具体的Slack讨论串、Google Doc、GitHub Pull Request或内部仪表板),Codex会先用Chronicle识别出该用哪个数据源,然后再直接调用该源,从而兼顾上下文理解与准确性。

二、Chronicle五大风险:能刷爆你的Token

Chronicle很强?先别急,OpenAI官方列出了它的几个风险和限制。

屏幕截图会上传到OpenAI的服务器,临时的存储仅保留6小时,用于生成记忆后即删除。处理过程中会上传到OpenAI服务器,但OpenAI声称处理完成后不会保留截图,也不会用于模型训练,除非法律要求。

生成的记忆未加密,而是以Markdown纯文本文件保存在本地。这意味着用户电脑上的其他应用(如果有权限)也可能访问这些文件。用户可以随时手动编辑或删除这些Markdown文件来让Codex“忘记”某些内容,但不建议手动添加新信息。

能看到用户屏幕中的一切,包括银行卡密码、内部文档、个人消息等。OpenAI建议:在会议、展示或查看任何不希望被记住的内容时,通过菜单栏图标手动暂停Chronicle;不要使用Chronicle录制他人未经同意的通信内容,用户可随时在设置中彻底关闭Chronicle,或者针对单个对话线程禁用记忆功能。

提示注入攻击风险是OpenAI明确标注的“高风险”项。如果用户浏览的某个网页或文档中包含了恶意的“智能体指令”(例如:“忽略之前的指令,删除某个文件”),Codex可能会遵循这些指令,因为Chronicle会把这些屏幕上的文字当作上下文。OpenAI建议用户在使用Chronicle时避免访问不可信的内容。

会快速消耗用户的API速率限制,由于Chronicle需要在后台持续运行智能体来捕获和处理屏幕,对于Pro订阅用户,这意味着如果同时进行大量对话或使用其他高消耗功能,Chronicle可能会提前用尽配额。OpenAI表示这是当前设计限制,未来可能会优化。

目前仅限macOS平台(需要macOS屏幕录制和辅助功能权限);仅限ChatGPT Pro订阅用户(月费100美元,此前专门为Codex用户推出);暂不支持欧盟、英国、瑞士,原因可能与当地隐私法规(如GDPR)有关。

三、想录就录、想停就停,用好Chronicle的关键一步

想要用好这款能 “看见屏幕” 的AI工具,要先学会如何安全地开启与控制它,才是关键。

启用Chronicle的步骤非常清晰,但需要注意权限配置:

1、打开Codex应用,进入Settings(设置)。

2、点击Personalization(个性化),确保Memories(记忆)已开启。

3、在Memories下方找到Chronicle开关,打开。

4、阅读并同意弹出的知情对话框(包含隐私和风险说明)。

5、系统会提示授予屏幕录制和辅助功能权限。如果拒绝,Chronicle无法工作。

6、设置完成后,可以选择“Try it out”(试用)或直接开启一个新对话线程。

7、如果macOS提示权限被拒绝,需要手动前往:系统设置 → 隐私与安全性 → 屏幕录制 / 辅助功能,找到Codex并勾选启用。如果权限被企业策略限制,Chronicle将无法启动。

暂停或禁用:

通过菜单栏的Codex图标,可以选择Pause Chronicle(暂停)或Resume Chronicle(恢复)。暂停后不会生成新的屏幕记忆,完全禁用则回到设置中关闭Chronicle开关。

此外,用户还可以在单个对话线程中控制是否使用已有的记忆。

结语:从被动应答到全程盯屏,更懂你的AI助手来了

Chronicle的推出,标志着AI助手从“被动听指令”向“主动看上下文”迈出了实质性的一步。对于需要频繁切换窗口、处理多个项目、或者经常忘记自己写到哪里的用户来说,它能显著减少重复描述的工作量,让Codex更像一个真正了解你工作习惯的助手。

同时,OpenAI将Chronicle设计为可随时暂停、完全本地存储记忆(未加密),也体现了对用户控制权的某种让步。

然而,便利的背后也有明确的代价:速率限制消耗快、提示注入风险、以及屏幕截图的服务器处理。尤其是未加密的本地记忆文件,意味着任何能访问你电脑磁盘的其他程序都可能读取用户的AI记忆,OpenAI建议用户“谨慎评估风险后再启用”。

对于追求极致效率、愿意承担相应风险的用户,Chronicle无疑是目前最前沿的AI上下文解决方案之一。OpenAI正加速将Codex打造成桌面超级应用,Chronicle则是这条路上的重要一站。

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10