成本降95%性能超ES9.0,OceanBase推GPU加速的向量数据库

智东西
24 Jun

作者 | 王涵

编辑 | 漠影

智东西6月24日报道,独立数据库厂商OceanBase今日在媒体沟通会上宣布,其云数据库OB Cloud已实现AI能力的开发部署及生态集成,并已服务零售、金融、物流等行业的数十家头部企业,推动AI落地。

在今年的3月27日,OceanBase举行了首届合作伙伴大会,在会上OceanBase称“AI将成为其未来重要的发展方向。此次OB Cloud对AI能力的部署集成与行业应用,被视为OceanBase AI战略落地的第一步。

“云数据库与AI天然契合。”OceanBase副总裁、公有云事业部总经理尹博学这样解释,一方面,云数据库的弹性扩展、成本优化、高可用等特性,为AI工作负载提供坚实底座;另一方面,AI对多模态数据的高效调用需求,推动云数据库强化向量检索、多模融合等能力。

“推理过程中,向量检索与标量查询相结合式的数据检索,可以缓解大语言模型的幻觉现象。”尹博学介绍到,OB Cloud将向量索引、全文索引和模糊索引集成为“all in one”的存储化引擎,可以帮助客户在简洁高效的技术栈上,提高效率并降低成本。

据悉,OB Cloud云基座涵盖了国内外主流的6家云厂商,可以获得开箱即用的云服务。从去年第二季度到今年第二季度,一年里OB Cloud的开服区域从30提升到50,提升了67%;可用区从100+提升到170+,其可靠性和容灾能力大幅度提升。可以在不同的地域、不同的国家、不同的基础设施上,AI应用的可获得性变得更便捷,OB Cloud也能够在各种地域、各种云上为AI应用提供支撑和服务。

▲OceanBase副总裁、公有云事业部总经理尹博学

一、成本直降95%,OB Cloud性能超ES9.0

如今的AI应用涉及海量的结构化、半结构化以及非结构化数据,单一数据类型的存储和查询已经没有办法满足业务需求。与此同时,更大的挑战来自高维向量数据,推荐系统、图像搜索、语义理解等AI场景,需要处理的数据不仅体量庞大,而且计算复杂。

企业对于数据库的向量能力的要求也越来越高,而OB Cloud可以将多模态数据通过嵌入模型转化成向量进行储存,实现更加高效的数据存储与调用。

对于非结构化数据处理,OceanBase资深技术专家张易称,OB Cloud主要通过加强文本检索和向量检索来达到更优的性能。同时在非结构化之上,目前正在通过AI函数的功能,链接模型以及数据的能力,从而能够达到一条SQL串接整个的结构化以及非结构化处理的工作流。

在 RAG 技术应用中,其核心处理流程与行业主流架构具有一致性。该流程首先对用户问题进行理解与改写,将自然语言查询转化为适配系统处理的格式;继而在知识库检索环节中,完成知识片段的召回与排序优化,确保向大模型输入高相关性信息;最终由大模型基于处理后的内容生成答案并反馈给用户。

值得关注的是,该方案对全流程各环节进行了细粒度拆解,通过对问题解析、知识检索、模型交互等每个节点的独立调优与协同串联,实现了整体回答准确率与处理效率的系统性提升。

▲OceanBase资深技术专家张易

OB Cloud向量算法库叫做VSAG,目前已经开源。在国际主流的Benchmark上,VSAG向量的性能大概是目前Sota水平的90%以上。

此外,在数据层面,OB Cloud基于向量算法组织了内存索引、磁盘索引和混合索引来应对向量的存储和计算的需求。最后是算力层,目前OB Cloud正在构建基于GPU的向量索引。

在算法方面,张易还提到,一方面向量数据会随着用户增长而不断摄入,一方面用户对数据的需求也会越来越大。为了既实现增量又要满足海量,OB Cloud让检索实时可见,并引进磁盘IVF+HNSW混合索引,单机可支撑10亿向量检索。

同时,在AI领域,在json等半结构化数据处理方面,OB也做了大量的工作。目前在json的存储优化方面,已有的版本跟主流的MongoDB相比,成本仅为1/3。

OB和其他的向量数据库还有一个比较大的区别,即从OB整个向量数据库到向量算法全部都是自研的。OceanBase资深技术专家张易称,从整体性能上看,自研的OB Cloud的向量性能已经达到主流开源数据库水平。

据蚂蚁内部统计,OB Cloud对资源的要求高1~2个数量级,同等召回率和性能的条件下,OB Cloud的成本可以下降95%,在研版本的性能超ES 9.0 BBO 16%。

在最近的几个月,OceanBase引入RabitQ来解决传统HNSW算法占用内存较多的问题。内部统计,在不同的工作负载、同样的查询以及召回数据等量的情况下,引入RabitQ的OB Cloud会比和传统计算的数据存取高,对资源的要求也高1到2个数量级。同时与同时引进了RabitQ算法的主流产品ES9.0做了对比,OB Cloud的BBQ高16%左右。

据悉,OB Cloud正在“TP+向量”与“向量+多模态”的方向上进行探索。从蚂蚁集团内部实践及行业趋势来看,文本检索领域正经历技术迭代升级:数年前单一向量技术即可解决语义检索需求,近年来已发展为向量与全文检索结合的模式。而当前业界数据表明,向量、全文与稀疏向量的融合应用能进一步提升召回率。

基于此,技术团队正推进两方面优化:一方面将稀疏向量、稠密向量与全文的多路检索能力集成至数据库内核,使用户通过单条 SQL 即可实现混合检索;另一方面尝试将向量 Embedding 模型嵌入数据库,使用户仅需插入原始数据,无需关注向量处理过程,从而实现数据插入与查询的一体化易用性体验。

二、PowerRAG:一站式解决方案,提升回答准确率与处理效率

OceanBase公有云高级产品专家冯礼在会上称,在 AI 落地中,RAG(检索增强生成)是企业优先采用的核心场景,通过知识库、知识检索与大模型结合,解决大模型 “幻觉” 问题,使其基于企业内部数据作答。

传统RAG搭建需复杂选型向量库、文本库等数据底座,上层依赖开源框架开发,运维与集成成本高。现推出的PowerRAG多模一体化方案整合多元检索能力,在此基础上实现全流程模块集成,以一站式方案降低成本,其核心流程涵盖问题理解、知识库检索及大模型交互,通过环节优化提升效率。

▲OceanBase公有云高级产品专家冯礼

新产品PowerRAG正在形成“集成知识库+知识检索+大模型”式的多模一体化数据解决方案。该产品可以将文档输入到知识库形成切片,通过向量嵌入模型以向量模式存储,用户通过提问检索答案,再将答案通过大语言模型输出给用户。PowerRAG还可以对文档的段落、表格和图片等不同的多模态数据采取不同的解析策略。

OceanBase AI助手以及AI驱动的智能运维服务(OAS)就是该产品的落地实践结果。目前,PowerRAG可以在OB Cloud官网进行体验。

三、DB – LLMOps新范式,解决企业AI规模化落地三重挑战

“AI不再是工具,而是平台级基础设施的接替者。”OceanBase公有云事业部解决方案总监戴涛称,企业AI规模化落地三个核心挑战:数据治理与架构适配、成本和性能博弈、企业级数据安全。

▲OceanBase公有云事业部解决方案总监戴涛

面对这三个挑战,OceanBase可以帮助企业从结合自身优势产生AI应用新范式:DB-LLMOps。该范式是围绕企业数据和大模型的应用程序的生命周期管理平台或者工具。企业可以充分利用企业与数据的长处和特征,引入大模型的能力,共同完成整个企业开发、AI开发架构范式的变化。

另外,戴涛强调,在向量技术的实际应用中,检索场景始终是核心切入点。传统检索模式以全文检索、结构化检索为主,但随着大模型技术的引入,检索需求正经历深度变革:向量检索、语义检索、模型重排序及RAG等技术的融合,使检索逻辑从单一规则匹配转向语义理解与智能优化的复合模式。

当前企业面临的检索场景呈现显著复杂化特征:从数据形态看,图像、文本、音频、视频等多模态数据的检索需求并存;从应用维度看,跨语料、跨专业、跨学科的复杂检索场景日益普遍。

此类需求的升级推动向量数据库成为关键解决方案,其通过高维向量表征与语义相似度计算,可有效应对多模态数据关联分析、跨领域知识匹配等复杂检索场景,为企业解决传统检索技术在语义理解与跨维度检索中的瓶颈问题。

在企业落地案例中,向量数据库助力以图搜图功能实现高效应用。例如,三维家家居设计企业,其借助向量数据库对大量家居素材图片进行Embedding嵌入,用户上传图片后,系统可快速检索匹配相关设计素材,辅助设计师生成AI装修视觉图。

跨境电商企业卡佩希通过向量数据库实现多模态检索,客服可基于用户的图片或文字需求描述,快速检索并推荐相关女装商品,提供混合检索服务。在视频推荐场景中,合作企业当贝基于用户观看记录的向量表征,通过语义匹配推送风格相似的内容,将向量检索能力延伸至广告推荐领域。

在RAG场景落地中,伯俊科技利用OB向量能力构建企业知识库,沉淀专业知识,后续将延伸至文件导购、AI配货等场景。货拉拉以RAG为底座,一方面通过图片、代码等模式识别实现资损代码识别,辅助用户赔偿建议判断;另一方面打造数仓AI答疑功能,支持自然语言SQL查询,为客户提供数据仓库问题解答。

在企业问数场景落地中,银泰通过处理自然语言,将其转化为RAG化、向量化内容,为企业管理层提供实时问题诊断。该方案涵盖从自然语言到SQL的转化,训练企业特殊语料,搜索数据后供经营者决策。同时,银泰还应用RAG功能,对外提供智能问答,对内构建知识库。

在企业Agent领域应用中,OB的一体化技术架构具备显著优势:其混合查询能力支持标量与向量一体化检索,多模态交互特性可处理多元数据。高并发、低延迟性能适配企业实时需求,数据隔离与多租户机制则保障了企业级应用的安全性与资源管理效率,为企业构建AI底座提供核心支撑。

最后,戴涛总结称,企业 AI 规模化落地可分三步推进:

第一步:单场景从0到1切入,建议以知识库为入口,选择高价值、短链路场景,借助PowerRAG产品快速搭建验证。

第二步:渐进式场景扩展,针对业务与 IT 团队认知差异,通过Design Thinking工作坊协同挖掘AI场景,完成小规模应用构建,实现从1到10的能力延伸。

第三步:构建 AI 业务中台,整合Agent、RAG及一体化数据库,形成标准化平台,支持业务与轻IT人员快速开发创新应用,推动业务与IT双轮驱动,最终实现从AI赋能到AI原生的升级。

结语:AI正重塑企业智能生产力

OceanBase副总裁、公有云事业部总经理尹博学将OB Cloud的AI能力优势总结为四点,分别是具备天然的一体化架构,一套数据库支持事务处理(TP)、实时分析(AP)、AI工作负载,用户面向AI无需引入额外技术栈;多模向量一体化,原生支持向量、标量、空间、文本等多模数据的混合检索,简化AI应用复杂度;提供开箱即用的RAG服务,“0门槛”构建现代RAG应用;Bring AI to Data,一体化架构实现数据的新鲜度与智能的实时性融合。

据了解,目前OB Cloud的AI能力已在零售、金融、物流等众多行业的数十家头部企业中落地验证。除上述提到的合作伙伴外,OB Cloud在携程落地“以图搜图”的搜索及个性化推荐场景;支撑中国联通软研院、九讯云等实现RAG智能问答的高效混合检索;助力支付宝等企业打造更智能的“问数”与Agent协同应用。

值得一提的是,OceanBase已与LlamaIndex、LangChain、Dify、支付宝百宝箱等60余家AI应用开发与生态开放平台深度集成,并支持大模型生态协议MCP,在全球范围内构建完整的AI技术生态链。据了解,OB Cloud与这些AI生态伙伴也实现深度对接,共同加速行业智能化升级。

“未来的数据底座必须同时具备云的弹性、AI的智能以及多云环境下的韧性。”正如尹博学称,AI正重塑企业智能生产力。

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10