炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!
DeepSeek爆火后,算力成本终会降低成了行业共识。但选择哪一路径,是数据中心、一体机还是推理服务器,业内尚未有统一的定论和参考模式。6月13日,在“2025红帽媒体Open讲”线下交流会上,红帽全球副总裁兼大中华区总裁曹衡康告诉《每日经济新闻》记者,在红帽看来,今年是AI(人工智能)的推理元年。AI进入了推理后,意味着所有的AI应用将正式开始上线运行,并且为企业带来业务收入以及内部成本控制等实际效益。
红帽大中华区方案架构部总经理王慧慧还透露,目前业界的推理技术栈里大概有两个主流的技术方向,红帽选择的是其中一个——“vLLM”(一个高性能大语言模型推理框架,现已成为开源领域的事实标准推理服务器,支持多种加速器和分布式部署,广泛应用于生产环境)。
“这是目前最热的一个推理社区。我们发现,来自中国的贡献者占到这个社区35%的贡献量。这也印证了也许推理在中国将会是最热,也是第一个带来企业价值的。”王慧慧提到,在做推理的过程中有两个技术点较难克服:怎样用最小的硬件设备、最小的成本完成最高性能推理;可不可以不把推理的工作量集中在单一台服务器,而是分散到不同的服务器上,做一个分布式的推理引擎。
基于这一背景,红帽在2025年推出了推理服务器。根据红帽方面介绍,使用推理服务器的最大优势就是降低企业的算力成本。不过,该公司高管也在采访中多次强调,红帽不做硬件,只做软件。
随着未来算力成本的降低,行业对芯片算力卡的需求是否会有变化?曹衡康告诉《每日经济新闻》记者,在他看来,目前AI的应用还不够多。“毕竟用AI成本太高。假设今天(原本)有1000家企业用(AI),成本降低了会是1万家、10万家、100万家企业用。GPU(图形处理器)的量一定会起来的。现在我们的做法就是让门槛更低。”曹衡康称。
Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.