英伟达发布Lyra 2.0:单张照片AI生成90米3D场景

IT之家
6 hours ago

IT之家 4 月 17 日消息,科技媒体 The Decoder 昨日(4 月 16 日)发布博文,报道称英伟达研究人员推出 Lyra 2.0 系统,可从单张照片生成跨度约 90 米的连贯 3D 环境,解决现有模型在长距离漫游中的画面扭曲与遗忘难题。

当前 AI 生成 3D 场景的核心痛点之一,是虚拟摄像机长距离移动后,画面会出现色彩与结构扭曲,返回已探索区域时模型常重新构建环境。

英伟达团队为提高机器人仿真训练质量,针对视频模型离开视野即遗忘已见区域,以及逐步生成过程中误差累积导致严重扭曲两大挑战,发布 Lyra 2.0 系统,仅需单张照片即可生成可实时漫游的 3D 场景。

Lyra 2.0 通过存储每一帧的 3D 几何数据解决记忆问题,当摄像机重返旧地后,系统调取历史空间信息作为参考,避免重复生成。针对误差累积,研究团队在训练中让模型暴露于自身有缺陷的输出,让其学会识别并纠正质量下降,而非传递错误。

基准测试显示,Lyra 2.0 在图像质量、风格一致性和摄像机控制等几乎所有指标上击败 GEN3C、Yume-1.5、CaM 等 6 种竞品,其 Fast 版本在质量相当的情况下,视频生成速度提升约 13 倍。

生成的 3D 场景支持交互式探索,并可导出为网格格式用于 Nvidia Isaac Sim 等物理引擎。这意味着训练机器人无需采集真实世界 3D 数据,可在完全生成的虚拟环境中训练。

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10