腾讯发布并开源混元世界模型2.0:一句话生成3D游戏原型

新浪科技
Yesterday

  新浪科技讯 4月16日上午消息,今日,腾讯正式发布并开源混元3D世界模型2.0( HY-World 2.0)。据介绍,HY-World 2.0是一个多模态世界模型,能够理解文字、图片、视频等不同类型输入,自动生成、重建和模拟 3D 世界,同时支持多格式3D资产(Mesh/3DGS/点云等)导出,可以与现有的游戏工作流无缝对接,用于快速生成游戏地图和关卡原型。

  据悉,不同于谷歌的Genie 3和混元世界模型1.5仅能生成视频文件,世界模型2.0的实用性更进一步:它可以直接生成可二次编辑的3D资产文件,这些生成的3D资产可以直接导入到游戏制作或者具身仿真引擎,实现真正可玩、可用。

  目前,世界模型2.0已经上线至腾讯混元3D创作引擎官网,用户可以申请使用。

  混元世界模型2.0支持文、图、视频多种输入。输入一段文字或一张图片,模型即可精准解析复杂语义,一键生成风格多样的可漫游世界。相比较混元世界模型1.0,2.0的模型架构全面升级,画面精细度和真实感大幅提升。用户还可以自定义风格,按需生成真实风、漫画风、游戏风的3D空间。生成完成后,用户可以将资产导入到Unity、UE 等引擎、进行二次编辑,显著降低了游戏地图的创作门槛。

  模型还支持角色模式,用户可以操作角色在街道、建筑、场景中自由探索,不限时间,具有物理碰撞,就像在游戏里一样。同时,世界模型2.0支持复刻真实3D场景,用户输入一段真实空间的视频或者多视角图片,模型就能构建出高精度的数字孪生空间。基于升级后的 WorldMirror 2.0 架构,模型支持任意尺寸图像与视频输入,一次性预测密集点云、多视角深度图、表面法线及相机参数 ,一次生成永久可复用。未来,室内装修预览、城市规划、文化遗产保护等场景,都可以基于这一能力实现快速构建和还原。

  混元世界模型2.0以3D为主轴,通过统一空间理解、生成、重建的架构,实现了SOTA级的生成效果。与其他世界模型相比,混元世界模型2.0在场景完整度(物体侧面和背面)以及对输入图片的遵循程度表现更优。混元生成的3DGS与Mesh的混合表征,也让用户能够开启角色模式进行有真实物体碰撞的交互。

海量资讯、精准解读,尽在新浪财经APP

责任编辑:江钰涵

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10