客户案例 | 识货基于向量检索服务 Milvus 版搭建电商领域的向量数据检索平台

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,5000CU*H 3个月
简介: 阿里云的Milvus服务以其性能稳定和功能多样化的向量检索能力,为识货团队在电商领域的向量检索场景中搭建业务系统提供了强有力的支持。该服务的分布式扩展能力不仅可靠,而且能够适应日益增长的数据规模。

客户介绍

识货,成立于2012年6月,致力于为广大用户提供专业的网购决策指导,为喜欢追求性价比的网购用户带来及时的运动、潮流、生活、时尚等网购优惠资讯,产品覆盖国内外主流购物商城。识货提供了全球范围内的时尚品牌、潮流单品信息,帮助用户发现和购买最新、最热、最具性价比的时尚商品。


业务挑战

随着业务规模的持续扩展,识货面临着如下痛点:


商品类目快速增长,面临性能与效果的挑战

在通过识货App查看全网低价渠道的场景中,需要将识货平台中的商品与全网多个销售平台进行精准关联,这样用户在购买时就可以直观对比不同渠道的商品价格。对于像iPhone这类热门商品的数据,识货采用了人工精细关联的策略,来确保信息的准确。但面对数量庞大的中长尾商品,识货初期的方案是依赖“全文检索匹配辅以人工审核”的方式。但是随着商品种类的快速增长,这种初期方案在召回率和准确率上都难以满足需求。因此,识货技术团队果断转向采用“向量检索结合全文检索以及人工审核”的策略,在线上业务中增加准确性更高的向量召回链路。


保障集群稳定性,平衡成本与可用性

在业务起步阶段,识货选择自建Milvus集群的策略,但是在常规数据写入的压力测试中,集群部分节点的CPU使用率常在50%~100%的范围内大浮动波动,这导致集群整体的稳定性受到影响。随着业务规模的不断扩大,如何更好地保障集群稳定性,保证线上业务的平稳运行是识货面临的第二大挑战。在这个背景下,识货技术团队开始考虑稳定性更高的向量服务。


轻量化管理和运维,降低管理和运维的复杂度

随着自建集群规模的增长,管理和运维的成本也在逐步上升。例如对集群各个节点监控、一键告警、计算资源的平滑升配、内核版本无缝升级等能力也需要投入大量人力进行管理和维护,如何做到高效且低复杂的管理和运维集群是识货面临的第三大难点。因此,识货技术团队开始考虑全托管、免运维的云原生向量服务。


阿里云的解决方案

基于向量检索服务 Milvus 版提供精准的数据检索服务

阿里云向量检索服务Milvus版是100%兼容开源版的全托管产品,兼备了开源Milvus全部优势的同时,配套了完善的运维基建,可以一键拉起集群快速启用数据检索服务。


服务上线后,经过测试对比发现,采用向量检索服务Milvus版为识货带来了显著的三大优势:


显著提升稳定性

相较于自建集群,阿里云 Milvus 通过优化数据读写策略,实现了数据分布的均衡化,从而提升了查询性能。在实际测试中,识货观察到整体QPS提升了约10%。写入性能在承受同等压力/写入速率保持在2K TPS的情况下,阿里云 Milvus 集群的 CPU 利用率稳定维持在50%左右,未出现明显的 CPU 波动现象,展现出卓越的稳定性。


增强可用性与灵活性

阿里云 Milvus 提供了超过100项监控指标,包括 CPU 和内存使用率在内的多项关键指标,支持自定义报警规则的设定,满足多样化的业务需求。这一全面的监控体系助力识货实现了对集群状态的精准把控。此外,阿里云 Milvus 还提供灵活的资源调整方案,使得识货能够根据业务需求的变化,平滑地进行资源的扩容或缩容,确保服务的持续可用性。


大幅降低管理成本

对比自建 Milvus 集群的模式,虽然使用阿里云向量检索 Milvus 版的单集群成本会增加大约30%,但这部分额外费用却能显著减轻识货在运维人力和资源上的负担。据识货技术团队的估算,若自建集群,需投入超过1/3的人力资源来构建和维护相应的运维体系及基础设施。相比之下,选择阿里云的托管服务模式,不仅能够避免这些高昂的隐性成本,还能确保服务的高效率和稳定性。

识货业务流程架构图

O1CN01d1gvZU1PzHqqfP96s_!!6000000001911-2-tps-1003-533.png


使用阿里云 PAI-SAE 及相关大模型进行训练与推理

识货当前在其 Embedding 模型的训练与推理流程中,除了依赖自建系统,在部分环节中还使用了阿里云 PAI-EAS。


PAI-EAS 即模型在线服务(Elastic Algorithm Service),是阿里云 PAI 产品为实现一站式模型开发部署应用,针对在线推理场景提供的模型在线服务,支持将模型服务部署在公共资源组或专属资源组,实现基于异构硬件(CPU和GPU)的模型加载和数据请求的实时响应。


PAI-EAS 在搜索推荐场景下,体现出了高并发和低延迟的技术优势。


业务价值

阿里云的向量检索服务Milvus版以其性能稳定和功能多样化的向量检索能力,为识货团队在电商领域的向量检索场景中搭建业务系统提供了强有力的支持。该服务的分布式扩展能力不仅可靠,而且能适应日益增长的数据规模,这对于处理大规模向量数据的相似性检索服务至关重要。


识货团队对于Milvus的未来发展充满期待,希望能够通过不断的升级和优化,以适应更加复杂多变的业务场景需求。识货团队在将来也会继续选择和阿里云Milvus以及阿里云更多AI产品及团队更紧密合作,进一步提升识货团队产品的用户体验,并为其用户提供更加精准的搜索服务,同时也将有助于在电商领域探索和开辟新的市场机会。


产品动态

为了更好地服务广大用户,提供更加专业、灵活、高效的向量搜索引擎服务,阿里云Milvus服务已于2024年7月19日,由「EMR Serverless Milvus公测版」全新升级为「向量检索服务Milvus版」,并继续维持公测。全新升级后的“向量检索服务Milvus版”将提供独立产品控制台、售卖入口、帮助文档,不仅集成了Zilliz高性能商业化内核,显著提升了检索性能,还推出了多项企业级独享功能,以满足更复杂的业务需求和企业级服务质量。欢迎大家前来试用体验!



快速跳转

  1. 向量检索 Milvus 版官网:https://www.aliyun.com/product/milvus
  2. 产品控制台:https://milvus.console.aliyun.com/#/overview
  3. 产品文档:https://help.aliyun.com/zh/milvus/
  4. 标准版申请:https://survey.aliyun.com/apps/zhiliao/JqRjGNFoS


向量检索 Milvus 版用户交流钉钉群

相关文章
|
4月前
|
存储 人工智能 Cloud Native
阿里云向量检索服务测评:高效、易用、强大的向量管理与查询能力
摘要:本文对阿里云向量检索服务进行了全面的测评,从其基于自研Proxima内核的高性能、全托管、云原生特性,到简洁易用的SDK/API接口,再到在多种应用场景下的集成能力,为读者提供了一个全面了解阿里云向量检索服务的机会。
1169 0
|
4月前
|
存储 数据库 Python
阿里云向量检索服务 | 全性能搜索方案
【1月更文挑战第13天】阿里云向量检索服务 | 全性能搜索方案
阿里云向量检索服务 | 全性能搜索方案
|
4月前
|
人工智能 大数据 API
阿里云向量检索服务测评
在当今的大数据时代,向量检索技术已成为处理海量数据、实现高效信息检索的重要手段。阿里云作为国内领先的云计算服务提供商,推出了自己的向量检索服务。本文将对阿里云的向量检索服务进行深入的测评,探讨其在语义检索、知识库搭建、AI多模态搜索等场景的最佳实践,并分析其与其他向量检索工具的优劣。
674 1
|
4月前
|
机器学习/深度学习 自然语言处理 搜索推荐
阿里云向量检索服务:重塑大数据检索的未来
阿里云向量检索服务是一款强大且易于使用的云服务产品,专为大数据检索而设计。通过深度学习模型和高效的索引结构,该服务提供了快速、准确的检索能力,适用于多种业务场景。在评测中,我们对其功能、性能和业务场景适配性进行了全面评估,认为其具有出色的性能和良好的业务场景适配性。未来,阿里云向量检索服务有望持续发展和创新,拓展更多应用领域,为用户带来更加卓越的体验。
1633 5
|
1月前
|
人工智能 运维 Cloud Native
全新启航!阿里云向量检索服务Milvus版正式上线!
由阿里云与 Zilliz 联合推出的业内领先的云原生向量检索引擎 - 阿里云向量检索服务 Milvus 版在杭州、上海、北京、深圳四大 region 正式可用并开放公测!
|
3月前
|
Cloud Native 数据库
《阿里云产品四月刊》—向量检索服务 新地域
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
4月前
|
人工智能 自然语言处理 搜索推荐
基于阿里云向量检索服务搭建AI智能问答机器人
基于阿里云向量检索服务搭建AI智能问答机器人
123499 38
|
4月前
|
人工智能 API 数据处理
阿里云向量检索服务评测报告
本评测报告对阿里云向量检索服务进行了全面而深入的分析,包括最佳实践探索、产品体验评测以及与其他向量检索工具的对比。评测结果显示,阿里云向量检索服务在语义检索、知识库搭建、AI多模态搜索等场景中表现出色,具有高效、易用、可扩展等优点。同时,该服务还提供了丰富的功能和优化选项,满足了复杂业务需求。然而,也存在一些可以改进的地方,如优化大规模数据处理性能、提供更多自定义配置选项等。总体而言,阿里云向量检索服务是一款值得推荐的向量检索解决方案。
|
4月前
|
存储 人工智能 算法
【阿里云产品测评】揭秘阿里云向量检索服务:赋予智能时代搜索新“维度”
【1月更文挑战第3天】在数字化洪流席卷全球的今天,信息的表达与检索方式正在悄然变革。从字符到图像,再到复杂的多维度数据,我们正在步入一个深度理解、精准匹配的智能搜索新时代。此刻,阿里云推出的向量检索服务正以前沿技术之力,引领这一领域的创新潮流。 阿里云向量检索服务,内核采用自研的Proxima引擎,其强大之处在于能够实现水平拓展、全托管和云原生的高效向量检索。这就好比构建了一个可以无限延伸的“知识宇宙”,无论是大规模图像识别、语音识别模型生成的特征向量,还是复杂的大模型知识库结构化信息,都能通过向量化的形式被管理和高效检索。
|
4月前
|
存储 人工智能 大数据
阿里云向量检索服务评测报告
随着人工智能和大数据技术的飞速发展,向量检索技术在语义检索、知识库搭建、AI多模态搜索等领域的应用越来越广泛。阿里云推出的向量检索服务基于自研的Proxima内核,旨在为用户提供高效、全托管的向量检索解决方案。本报告将从最佳实践、产品体验和对比测评三个方面对阿里云向量检索服务进行全面评测。