英伟达、DeepSeek集体跟进！18个月前被忽视，如今统治AI推理

新智元

2025/11/09

新智元报道编辑：元宇【新智元导读】2024年，加州大学圣地亚哥分校“Hao AI Lab”提出了DistServe的解耦推理理念，短短一年多时间，迅速从实验室概念成长为行业标准，被NVIDIA、vLLM等主流大模型推理框架采用，预示着AI正迈向“模块化智能”的新时代。如果说“摩尔定律”认为计算能力每18个月翻倍，如今大模型推理成本的下降速度，已远超“摩尔定律”关于计算能力迭代速度的预测。这并非只是...

网页链接

免责声明：投资有风险，本文并非投资建议，以上内容不应被视为任何金融产品的购买或出售要约、建议或邀请，作者或其他用户的任何相关讨论、评论或帖子也不应被视为此类内容。本文仅供一般参考，不考虑您的个人投资目标、财务状况或需求。TTM对信息的准确性和完整性不承担任何责任或保证，投资者应自行研究并在投资前寻求专业建议。

热议股票

{"basename":"/hans","ssrTDKData":{"titleTemplate":"%s - 老虎证券","title":"老虎证券全球投资理财平台| 一站式投资美股新股港股A股","description":"老虎证券助您一站式投资美股，新股，港股，A股等全球金融理财产品。新加坡华人最信赖的在线投资平台，现在加入即享低费用，24/5 无时差炒美股投资理财！","keywords":"老虎证券,老虎证券开户,老虎券商,老虎证券官网,老虎证券app,tigertrade老虎证券,股票,炒股,新加坡股票交易平台,投资,投资理财","social":{"ogDescription":"老虎证券助您一站式投资美股，新股，港股，A股等全球金融理财产品。新加坡华人最信赖的在线投资平台，现在加入即享低费用，24/5 无时差炒美股投资理财！","ogImage":"https://c1.itigergrowtha.com/portal5/static/media/og-logo.be62fbe1.png","ogUrl":"https://www.itiger.com/hans/news/2582895316"},"companyName":"老虎证券"},"pageData":{"isMobile":false,"isTiger":false,"isTTM":true,"region":"SGP","license":"TBSG","edition":"fundamental"},"isCrawlerRequest":true,"__swrFallback__":{"@#url:\"https://stock-news.skytigris.cn/v3/news\",params:#id:\"2582895316\",edition:\"fundamental\",auth_exemption:1,,,undefined,":{"share":"https://ttm.financial/m/news/2582895316?lang=zh_CN&edition=fundamental","thumbnail":"","is_english":false,"pubTime":"2025-11-09 13:29","share_image_url":"https://static.laohu8.com/9a95c1376e76363c1401fee7d3717173","id":"2582895316","market":"us","top_or_hot":-1,"title":"英伟达、DeepSeek集体跟进！18个月前被忽视，如今统治AI推理","media":"新智元","content":"<div>\n<p>新智元报道编辑：元宇【新智元导读】2024年，加州大学圣地亚哥分校“Hao AI Lab”提出了DistServe的解耦推理理念，短短一年多时间，迅速从实验室概念成长为行业标准，被NVIDIA、vLLM等主流大模型推理框架采用，预示着AI正迈向“模块化智能”的新时代。如果说“摩尔定律”认为计算能力每18个月翻倍，如今大模型推理成本的下降速度，已远超“摩尔定律”关于计算能力迭代速度的预测。这并非只是...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251109133625a4940746&s=b\">网页链接</a>\n\n</div>\n","source":"tencent","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>英伟达、DeepSeek集体跟进！18个月前被忽视，如今统治AI推理</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n英伟达、DeepSeek集体跟进！18个月前被忽视，如今统治AI推理\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-11-09 13:29 北京时间&nbsp;&nbsp;&nbsp;<a href=http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251109133625a4940746&s=b><strong>新智元</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>新智元报道编辑：元宇【新智元导读】2024年，加州大学圣地亚哥分校“Hao AI Lab”提出了DistServe的解耦推理理念，短短一年多时间，迅速从实验室概念成长为行业标准，被NVIDIA、vLLM等主流大模型推理框架采用，预示着AI正迈向“模块化智能”的新时代。如果说“摩尔定律”认为计算能力每18个月翻倍，如今大模型推理成本的下降速度，已远超“摩尔定律”关于计算能力迭代速度的预测。这并非只是...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251109133625a4940746&s=b\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"NVDA","symbol_name":"英伟达","start_time":0,"source_url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251109133625a4940746&s=b","article_id":"2582895316","we_media_id":null,"thumbnails":[],"rights":{"source":"tencent","url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251109133625a4940746&s=b","rn_cache_url":null,"customStyle":"body{padding-top:10px;}#news_title{font-weight:bold;#titleStyle#;}#news_description span{font-size:12px;#descriptionStyle#;}.footer-note{#statement#}","selectors":".mod-LoadTzbdNews, body","filters":".relate-stock, .hot-list, .recom-box, .wx-sou","directOrigin":true},"url":"https://stock-news.laohu8.com/highlight/detail?id=2582895316","pubTimestamp":1762666169,"columns":[],"sourceInfo":{"source_id":"tencent","name":"腾讯"},"weMediaInfo":null,"summary":"而加速这一进化的，源自一个在DistServe系统中首次提出并实践的“解耦推理”理念。推出DistServe系统的“Hao AI Lab”，由加州大学圣地亚哥分校助理教授Hao Zhang领导，他也是2025年谷歌机器学习与系统青年教师奖的获得者。当prefill和decode被部署在同一组GPU上时，资源分配器必须同时满足两种最坏情况的延迟需求。DistServe通过将prefill与decode拆分为独立的计算池，彻底打破二者的干扰，并首次实现了独立伸缩，使其可以各自独立地满足TTFT和TPOT的延迟要求，同时保持高整体效率。","collect":0,"end_time":0,"defaultTopTitle":"qq.com","property":["earning"],"viewcount":null,"language":"zh","relate_stocks":{"NVDA":"英伟达"},"translate_title":"Nvidia and DeepSeek collectively follow up! Ignored 18 months ago, now rules AI reasoning","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"NVDA":1.5},"content_text":"新智元报道编辑：元宇【新智元导读】2024年，加州大学圣地亚哥分校“Hao AI Lab”提出了DistServe的解耦推理理念，短短一年多时间，迅速从实验室概念成长为行业标准，被NVIDIA、vLLM等主流大模型推理框架采用，预示着AI正迈向“模块化智能”的新时代。如果说“摩尔定律”认为计算能力每18个月翻倍，如今大模型推理成本的下降速度，已远超“摩尔定律”关于计算能力迭代速度的预测。这并非只是芯片性能提升之功，更重要的是来自推理系统的自身进化。而加速这一进化的，源自一个在DistServe系统中首次提出并实践的“解耦推理”理念。该系统由加州大学圣地亚哥分校的“Hao AI Lab”于2024年3月推出，并提出了一个简单而大胆的设想：将大模型的推理过程拆分为“预填充”和“解码”两个阶段，并让它们分别在独立的计算资源池中进行伸缩与调度。如今，这种解耦推理架构已被NVIDIA、llm-d、vLLM、MoonCake等主流大模型推理框架采用，并开始在大规模、真实推理场景中发挥强大力量。推出DistServe系统的“Hao AI Lab”，由加州大学圣地亚哥分校助理教授Hao Zhang领导，他也是2025年谷歌机器学习与系统青年教师奖的获得者。加州大学圣地亚哥分校助理教授Hao Zhang“Hao AI Lab”团队，2025年还获得了NVIDIA赠送的DGX B200系统，用于强化AI研究基础设施。“Hao AI Lab”团队获得NVIDIA赠送的DGX B200系统Hao Zhang团队以“解耦推理”的最初设计者身份，详细回顾了“预填充-解码”解耦架构（prefill-decode disaggregation）如何从研究概念走向生产系统，以及在大模型推理持续扩展的背景下，解耦推理又将如何演进。从同址部署到解耦推理在DistServe出现之前，大多数推理框架都采用“同址部署”方式：即在同一块GPU上同时执行“预填充”（prefill）和“解码”（decode）阶段。在每一次推理迭代中，调度器会尽可能将多个用户请求打包成一个批次，运行一轮计算，然后为这些请求各生成一个输出token。这种称为“连续批处理”技术最早由Orca提出，后由vLLM推广。这种方法曾因其先进性而成为业界标准做法，但它同时也有两个根本性的限制。一是干扰。“prefill”和“decode”共享同一块GPU，它们的延迟（latency）会不可避免地相互干扰。即使采用了“分块预填充”等缓解措施，一个大型预填充请求仍可能让TPOT（time-per-output-token）膨胀2到3倍，尤其在负载突发时更为明显。如上图（上），当prefill（橙色）与decode（蓝色）同址部署时，两者互相干扰，导致decode阶段停滞；上图（下），当将prefill与decode分离到不同机器时，两者即可无干扰地顺畅运行。二是耦合伸缩。在实际生产环境中，企业级应用通常将TTFT（time-to-first-token）和TPOT视为关键的用户体验延迟指标。当prefill和decode被部署在同一组GPU上时，资源分配器必须同时满足两种最坏情况的延迟需求。这意味着系统需要过度预留资源，导致计算资源利用率低下，整体效率不佳。随着部署规模不断扩大、延迟要求日益严格，以上两个问题产生的成本也随之剧增。正是这些现实痛点推动了DistServe的出现。DistServe通过将prefill与decode拆分为独立的计算池，彻底打破二者的干扰，并首次实现了独立伸缩，使其可以各自独立地满足TTFT和TPOT的延迟要求，同时保持高整体效率。最初推出DistServe时，Hao Zhang团队便认为这将是一个具有颠覆性的想法。但出乎意料的是，它最初并未获得广泛采用。在2024年的大部分时间里，开源社区都对这一思路持保留态度，因为对原有推理系统进行深度的架构重构，需要大量工程投入。然而到了2025年，局面突然发生逆转：几乎所有主流的大模型推理栈都将“解耦”视为默认方案。首先，主要是由于越来越多企业将大模型作为其核心业务组件，“延迟控制”成为决定业务增长乃至生死存亡的关键因素。而DistServe正好击中了这一痛点：它让prefill和decode的延迟易于观测和控制，且在真实生产环境中可持续优化。其次，随着模型体量急剧扩大、访问流量激增，推理系统必须扩展到数百乃至上千张GPU才能支撑这些庞大且变化剧烈的负载。在这种规模下，“解耦架构”的优势完全显现：它可以为不同阶段独立分配资源，并灵活配合多种并行策略，实现极高的资源利用率。第三，“解耦”意味着系统架构的可组合性大大增强。当下的解耦推理如今，曾被视为激进的架构理念，已经成为大模型推理的主要设计原则之一。几乎所有与大模型推理相关的生产级框架——从编排层、推理引擎、存储系统，甚至到新兴的硬件架构，都以某种形式采用了这一解耦推理的思想。在编排层，最有代表性的是NVIDIA Dynamo。NVIDIA Dynamo架构示意图NVIDIA Dynamo是目前最先进、最成熟的开源数据中心级分布式推理框架之一，专为P/D解耦而设计。此外，还有llm-d、Ray Serve等都是基于解耦推理架构。在存储层，由芝加哥大学团队开发的LMCache通过加速从prefill实例到decode实例的KV缓存移动来优化P/D解耦过程。LMCache架构示意图Kimi AI团队开发的MoonCake，以“KVCache中心化”为核心思想，构建了一个面向P/D解耦的LLM推理平台。它将系统中未充分利用的存储介质统一抽象为一个集中式KV缓存池，从而使prefill实例可以无缝将缓存传输给集群中decode实例。MoonCake架构示意图如今，LMCache与MoonCake已成为大规模LLM推理系统的标准存储后端。在核心引擎层，几乎所有开源的LLM推理引擎，如SGLang与vLLM，都已原生支持“解耦推理”。解耦推理的未来“预填充-解码解耦”的推理理念，在2025年已逐渐成熟。然而，这仅仅是一个起点。从更长远的角度看，解耦不仅是一种“架构技巧”，更是一种更深层次的系统哲学：打破神经网络推理中的“计算单体”结构，让系统能够在计算、存储与通信之间实现自由重组。而学术界和工业界也正在探索多种新方向，推动解耦架构迈向“通用分解式推理（Generalized Disaggregated Inference）”阶段。计算层面的解耦1. Attention-FFN解耦（Attention-FFN Disaggregation）以往的P/D解耦主要解决了“上下文输入与自回归输出”的阶段性分离问题，但模型内部结构仍然被视为不可拆解的整体。如今，研究者开始尝试在模型层级上细化解耦粒度。2025年，MIT CSAIL与DeepSeek Research提出了“Attention–FFN Disaggregation”框架，将Transformer的注意力模块（Attention）与前馈层（Feed Forward Network,FFN）分别放置于不同计算节点。这种架构可以使不同节点利用异构硬件优势。这意味着未来的推理系统可能不再是“每个节点运行完整模型副本”，而是每个节点运行模型的一个功能子模块。2. 流水线解耦（Pipeline Disaggregation）解耦架构的另一种自然延伸，是跨层级的流水线分解。目前已有多个研究团队提出框架，如：Stanford DAWN的“DisPipe”系统；Meta AI的“HydraPipe”；Alibaba DAI-Lab的“PipeShard”。这些系统都尝试让推理过程在不同节点之间以“阶段流”的方式流动，从而实现全局流水线化推理。这种方式能让不同阶段的计算使用不同类型的加速器，更适合未来多芯片异构系统。跨模态与多模型的解耦1. 模态分解随着多模态大模型的出现，推理系统正面临更复杂的资源编排问题，将它们全部塞入同一推理流程会导致资源利用率显著下降。因此，未来的趋势是将多模态推理解耦为多个模态子推理流，再在编排层通过调度器进行异步融合。2. 多模型协同在推理系统中同时运行多个LLM或专用子模型也变得常见，这些架构天然适合解耦化设计。内存与缓存体系的解耦当前的解耦体系仍依赖于“集中式KV缓存池”或“共享SSD集群”，未来的研究方向在于让缓存体系本身也实现多层解耦与自治调度。1. 层级化缓存架构MIT与ETH Zürich的研究者提出HiKV（Hierarchical KV Cache）框架，将KV缓存划分为三个层次：L1：GPU本地缓存；L2：节点共享缓存；L3：分布式持久缓存。系统根据上下文热度自动迁移KV片段，从而使解耦推理的内存管理更具弹性。2.存算协同一些硬件厂商已开始探索原生支持解耦架构的芯片，这意味着未来的“解耦推理”不仅是软件架构问题，而将演化为软硬件一体化体系。迈向模块化智能如Google Brain Zürich与FAIR等一些研究团队，提出更加大胆的设想：既然推理可以解耦，那么训练与持续学习是否也能被解耦？他们将模型的学习过程被分为多个相互独立的子任务，每个子任务在不同硬件上运行，并通过共享梯度缓存与语义路由器实现跨任务通信。这种理念被称作“解耦学习”，被视为解决大模型“灾难性遗忘”与“持续适应”问题的潜在关键路径：目前，Google Zürich团队的内部项目“Hope”模型就是在该思想指导下诞生的。过去十年，深度学习系统的趋势是“从分散到集中”，所有计算汇聚在单体模型中。而如今的趋势正在反转：从集中到解耦。这种演进并非倒退，而是一种成熟的标志，AI系统也正在走向模块化智能，不同功能模块可独立演化、独立扩展、独立优化。而“解耦推理”正是这一趋势的起点。未来，或许将看到“解耦学习”“解耦推理”“解耦认知”三者融合的智能架构体系。参考资料：https://hao-ai-lab.github.io/blogs/distserve-retro/","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"1","news_tag":"","news_rank":0,"isVideo":false,"video":null,"symbols":[],"gpt_button":0,"need_auth":false,"code":"91000000","status":"200"}}}