英伟达发布Lyra 2.0:单张照片AI生成90米3D场景

IT之家
4小时前

IT之家 4 月 17 日消息,科技媒体 The Decoder 昨日(4 月 16 日)发布博文,报道称英伟达研究人员推出 Lyra 2.0 系统,可从单张照片生成跨度约 90 米的连贯 3D 环境,解决现有模型在长距离漫游中的画面扭曲与遗忘难题。

当前 AI 生成 3D 场景的核心痛点之一,是虚拟摄像机长距离移动后,画面会出现色彩与结构扭曲,返回已探索区域时模型常重新构建环境。

英伟达团队为提高机器人仿真训练质量,针对视频模型离开视野即遗忘已见区域,以及逐步生成过程中误差累积导致严重扭曲两大挑战,发布 Lyra 2.0 系统,仅需单张照片即可生成可实时漫游的 3D 场景。

Lyra 2.0 通过存储每一帧的 3D 几何数据解决记忆问题,当摄像机重返旧地后,系统调取历史空间信息作为参考,避免重复生成。针对误差累积,研究团队在训练中让模型暴露于自身有缺陷的输出,让其学会识别并纠正质量下降,而非传递错误。

基准测试显示,Lyra 2.0 在图像质量、风格一致性和摄像机控制等几乎所有指标上击败 GEN3C、Yume-1.5、CaM 等 6 种竞品,其 Fast 版本在质量相当的情况下,视频生成速度提升约 13 倍。

生成的 3D 场景支持交互式探索,并可导出为网格格式用于 Nvidia Isaac Sim 等物理引擎。这意味着训练机器人无需采集真实世界 3D 数据,可在完全生成的虚拟环境中训练。

免责声明:投资有风险,本文并非投资建议,以上内容不应被视为任何金融产品的购买或出售要约、建议或邀请,作者或其他用户的任何相关讨论、评论或帖子也不应被视为此类内容。本文仅供一般参考,不考虑您的个人投资目标、财务状况或需求。TTM对信息的准确性和完整性不承担任何责任或保证,投资者应自行研究并在投资前寻求专业建议。

热议股票

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10