效率提升9倍!英伟达新模型Nemotron 3 Nano Omni瞄准智能体落地,整合语音、视觉与推理能力

华尔街见闻
Apr 29

在人工智能智能体(AI Agent)竞赛持续升温之际,英伟达正加速从“算力霸主”向“模型平台商”延伸。

美东时间28日周二,英伟达在公司博客宣布,推出名为Nemotron 3 Nano Omni的全新开源模型,主打“原生全模态理解+高效推理”,试图为企业级AI Agent提供一体化基础模型底座。英伟达介绍,这款业内领先的开源全模态推理模型融合了视觉、音频与语言能力,将帮助AI智能体实现高达9倍的效率提升。

英伟达介绍,已有一批AI与软件领域的公司率先采用了Nemotron 3 Nano Omni,包括Aible、Applied Scientific Intelligence (ASI)、Eka Care、富士康、H Company、Palantir 和 Pyler。此外,戴尔、DocuSign、Infosys、K-Dense、Lila、甲骨文和 Zefr 正在对该模型进行评估。

主打Omni:一个模型打通语音、视觉与语言

不同于传统多模态模型通常通过拼接多个子模型实现能力融合,Nemotron 3 Nano Omni强调“原生全模态(omni-understanding)”。其可同时处理文本、图像、音频甚至视频输入,并在统一架构内完成理解与推理任务。

英伟达在技术博客中指出,该模型具备从视频和文档中提取信息的能力,支持复杂场景下的跨模态推理,例如通过语音转录增强视频理解,或结合OCR解析视觉文本内容。

从架构上看,Nemotron 3 Nano Omni延续了Nemotron 3系列的混合架构路线:融合Transformer与Mamba机制,并引入混合专家(MoE)以在保持性能的同时大幅降低推理成本。

瞄准AI智能体 从理解走向执行

此次发布的核心关键词并非多模态,而是智能体。英伟达明确将Nemotron 3系列定位为代理式(agentic)AI的基础模型,即不仅用于生成内容,更用于驱动具备决策与执行能力的智能体系统。

官方资料显示,Nano Omni是首个“生产级开放模型”,专为构建可扩展AI Agent设计,支持长上下文、多步骤推理以及工具调用等能力。

同时,该模型还引入GUI训练数据,使AI可以理解和操作界面元素,进一步贴近真实应用场景,例如自动化办公流程、软件操作甚至复杂工作流执行。

媒体解读认为,这种“全模态+Agent”组合意味着AI系统可以直接处理现实世界中的非结构化数据(视频、语音、文档),并据此做出决策,从而拓展AI在企业中的落地边界。

效率仍是核心卖点:小模型撬动大能力

尽管能力扩展至多模态与智能体场景,Nemotron 3 Nano Omni仍延续“Nano”定位,即强调高性价比与推理效率。

Nemotron 3 Nano基础模型采用约300亿参数规模,但通过MoE机制每次仅激活参数30亿,在性能与成本之间取得平衡。同时,该系列模型支持超长上下文(最高达百万token级别),适合处理复杂文档与长流程任务。

在英伟达整体产品体系中,Nano、Super与Ultra形成梯度:Nano强调效率,Super面向高吞吐企业场景,Ultra则瞄准前沿推理能力。

开源生态对抗闭源阵营

值得注意的是,英伟达再次强调“开放”。Nemotron 3 Nano Omni不仅开放模型权重,还配套提供训练数据、工具链(如NeMo)以及优化方案,试图打造完整开发生态。

这一策略正值AI行业分化加剧之际:一方面,部分头部厂商逐步转向闭源;另一方面,中国及开源社区持续推进开放模型。英伟达试图以“开放+高性能”切入中间地带,吸引开发者与企业客户。

从更宏观角度看,随着AI应用从“聊天机器人”迈向“智能代理”,模型能力的竞争也从单一语言理解升级为多模态融合+任务执行能力的系统竞争。

Nemotron 3 Nano Omni的推出,标志着英伟达不仅要卖“铲子”(GPU),也要提供“施工方案”(模型与工具链),进一步加深其在AI产业链中的纵深布局。

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10