孚盟选用Lindorm升级自建Elasticsearch,护航跨境电商出海

简介: 孚盟软件是国内知名的外贸SaaS服务提供商,支持500+上市公司和6万+中小企业用户。随着业务增长,自建Elasticsearch集群暴露出查询性能瓶颈、索引管理复杂、数据规模大及扩容慢等问题。采用阿里云多模数据库Lindorm后,核心场景查询时延减少80%,自动分索引降低维护成本,压缩率提升一倍降低成本,存算分离实现快速扩缩容。Lindorm助力孚盟提升用户体验与竞争力,推动跨境电商业务高效发展。

客户介绍

image.png

孚盟软件(上海孚盟软件有限公司)成立于2006年,是国内知名的外贸SaaS服务提供商,也是专业的外贸行业解决方案提供商,目前已在近50个城市设立本地服务机构。孚盟软件主要为国际贸易和跨境电商企业提供智能营销获客、外贸CRM、外贸ERP、外贸业务流程管理以及供应链管理等全流程软件产品。

孚盟软件获得“AAA级企业信用评定”,是“上海专精特新”企业、“上海市生产性服务业先进示范企业”和“闵行区科技小巨人企业”,多次获得“最具创新SaaS提供商”、“企业外贸管理软件信赖产品奖”、“中国制造业最佳外贸软件供应商奖”等荣誉。孚盟支持了500+家上市公司,6万+中小企业用户,每天100万+的外贸从业人员以孚盟产品作为工作平台展开一天的商务活动。

业务痛点

孚盟公司为用户提供独有的外贸获客解决方案、外贸全流程解决方案以及集团化解决方案,可支持外贸不同行业、不同发展阶段企业管理诉求,帮助外贸企业实现营销、销售、管理全周期运营需求,助力其高效运营与持续增长。然而,随着业务规模的快速增长,孚盟原本自建Elasticsearch集群的方案逐渐暴露出弊端

  1. 查询性能瓶颈明显,影响用户体验与平台竞争力

查询的速度关系着用户体验,尤其是在业务最核心的聚合查询场景下响应时间过长,无法支撑良好的用户体验。孚盟需要提升系统查询性能,从而提升与同类平台的竞争力。

  1. 索引管理复杂,使用与维护成本高

由于业务存储了历史所有的数据,为提升查询效率,业务需根据时间手动划分索引,在查询时还需自行判断时间范围与索引的匹配关系,增加了使用复杂度,同时也提高了维护的成本。

  1. 数据规模大,业务持续增长

孚盟软件支持了500+家上市公司,6万+中小企业用户,每天100万+的外贸从业人员以孚盟产品作为工作平台展开一天的商务活动。孚盟不仅要永存保留庞大的历史数据量,还面临着与日俱增的新增数据,亟需寻找更具性价比的数据存储方案。

  1. 扩容慢,资源利用率低

Elasticsearch的内核不支持存算分离,扩充计算节点需要进行数据搬迁,在数据量大的情况下需要若干小时甚至天级别来完成数据均衡,业务因此需要配置冗余的资源,以备不时之需。

基于Lindorm的方案优势

经过多个产品间的验证对比和充分的测试后,孚盟公司最终决定采用阿里云多模数据库Lindorm作为新的业务搜索库解决方案。

三大主要场景用户体验大幅提升,核心场景查询时延减少80%

业务难题

  • 多个聚合查询场景效率低下,平均耗时超过5秒,影响用户体验,孚盟期望将主要场景的响应时间控制在400ms以内。
  • 海量数据聚合后产生4000万条结果,对其进行深度翻页(如第500页)时,聚合与翻页查询的总耗时达到10-15秒

优化效果

Lindorm通过多项深入内核优化(如时序裁剪、自适应merge、多级缓存等)提升检索性能。基于孚盟的核心场景进行性能测试Lindorm相比原本的自建Elasticsearch方案,性能大幅提升,并超过了当前同类型的SaaS服务

图1 - 三大主要场景的查询延迟对比

场景解析

  • 场景1:基于25亿数据,查询命中4000万数据后进行分组聚合
  • 自建ES的查询延迟高达5秒,而Lindorm通过高效的内核优化,将延迟降低至500ms,远超目标性能(1.5秒)。Lindorm在这一场景中展现了处理大规模数据聚合时的卓越能力,显著提升了聚合效率。
  • 场景2:Top 20 聚合 + 深度翻页至第500页
  • 这是孚盟最核心的场景之一,涉及亿级别数据聚合后翻页查询操作。Lindorm通过内核进行了聚合及翻页的多项改进,将延迟从10秒降低到2秒,优于同类型平台性能(3秒),满足了核心业务需求。
  • 场景3:Top 10000 聚合
  • 自建ES的查询延迟超过15秒,而Lindorm将其优化至4秒,性能提升显著。

除了核心场景,客户还在Lindorm集群上测试了在业务中实际会用到的636个用例,为了直观对比Lindorm和客户自建ES在的性能表现,将测试数据整理为柱状对比图,横坐标表示不同的测试用例,纵坐标表示查询延迟(单位:毫秒)。其中,橙色柱代表阿里云Lindorm的查询延迟,蓝色柱代表客户自建线上Elasticsearch(ES)的查询延迟。从图表中可以清晰看到,几乎在所有测试用例中(99%),Lindorm的查询延迟均大幅优于客户自建的ES:

图2 - Lindorm(橙色)与自建Elasticsearch(蓝色)的查询延迟对比

Lindorm自动根据时间分索引,查询时自动裁剪,无需客户自行维护索引路由

业务难题

  • 为提升查询效率,业务需根据时间手动划分索引,在查询时还需自行判断时间范围与对应索引的匹配关系,增加了使用复杂度的同时也提高了维护的成本

优化效果

Lindorm搜索引擎支持时间自动分区功能,业务只需在创建索引时,通过简单的SQL语句定义时间分区策略,Lindorm即可自动完成后续的索引管理。通过预定义的时间分区策略,Lindorm能够自动按时间范围划分索引,并智能路由查询请求,完成扫描分区的自动裁剪,彻底解决了在自建集群中需要业务手动管理索引的运维复杂问题

图3 - Lindorm的自动索引和智能路由查询

除了帮业务免除时间分区索引的构建成本,Lindorm还提供全生命周期的分区管理:

  • 自动滚动分区
  • 当前分区达到时间间隔上限时,Lindorm会自动创建新分区,并确保数据无缝写入,无需人工触发。
  • 若写入未来数据,系统会动态扩展分区,避免数据丢失。
  • TTL自动清理:
  • 根据预设的TTL参数(如90天),Lindorm会定期清理过期分区,释放存储资源。
  • 清理任务由Lindorm内核统一调度,无需客户编写脚本或依赖第三方工具。
  • 灵活配置更新:
  • 客户可随时调整分区策略(如修改间隔或TTL),系统支持在线更新,不影响业务连续性。

压缩率提升一倍,助力客户低成本存储长期数据

业务难题

  • 当前单表存储30亿条记录单集群数据存储总量已达6TB,数据需要永久保留,存储成本难以控制。
  • 随着业务的快速增长,每月新增5000万行,未来数据将持续膨胀,需要寻找更具性价比的数据存储方案。

优化效果

Lindorm使用深度优化的ZSTD压缩算法,相比开源ES默认的LZ4压缩算法,存储空间可以降至原先的50%从而有效降低存储成本Lindorm相比原本的自建Elasticsearch方案,压缩率提升一倍,从而有效降低存储空间占用:

图4 - 同一数据集下的空间占用对比

存算分离,快速扩缩容,轻松应对业务高峰

业务难题

  • Elasticsearch的内核不支持存算分离,扩充计算节点需要进行数据搬迁,在数据量大的情况下需要若干小时甚至天级别来完成数据均衡。
  • 扩容效率低导致系统难以快速应对业务高峰,为提升系统的抗风险能力,当前资源配置存在冗余,CPU使用率长期低于50%,存在资源浪费。

优化效果

Lindorm侧原生存算分离,迁移Partition无需搬迁数据,秒级完成服务与流量迁移,实现快速扩缩容。在业务高峰期时,使用Lindorm的搜索方案可以迅速增加计算节点并提供服务,确保系统性能。下图展示了Lindorm在TB级数据量的扩容表现,全程只需十几分钟:

图5 -Lindorm在TB级别数据量的扩容监控示意

此外,存算分离的设计还让Lindorm 提升了系统的抗风险能力,即使某个计算节点出现故障,其他节点也可以迅速接管其分管的分片,避免单点故障导致的服务中断;计算资源的配置也更加灵活,计算存储的配置可以解耦,避免不必要的资源浪费。

客户价值总结

Lindorm在开源兼容Elasticsearch的基础上,不仅给客户带来了以下业务效果提升,并且提供了成熟的增量数据迁移方案,将业务改造成本降到最低:

  1. 三大主要场景用户体验大幅提升,核心场景查询时延减少80%。
  2. Lindorm自动根据时间分索引,无需客户自行维护索引路由,大幅提升开发效率。
  3. 压缩率提升一倍,助力客户低成本存储长期数据。
  4. Lindorm支持存算分离,业务高峰来临时可以做的快速扩缩容,不再需要提前配置冗余资源。

图5 -云原生多模数据库Lindorm

“阿里云多模数据库Lindorm的多维检索能力很好地支撑了跨境电商企业出海的业务发展,提供高性能、低成本的服务,大幅降低业务检索延迟和存储空间,助力跨境电商业务更稳,更快,更高效的发展。”

——阿里云解决方案架构师 周申旸


未来,孚盟客户还将基于Lindorm的多模一体能力,为更多业务低成本挖掘数据价值,助力出海业务高效增长。


联系我们

业务咨询:https://page.aliyun.com/form/act1646610924/index.htm

技术交流:“Lindorm技术交流群(外)”钉钉群号: 35977898

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
存储 自然语言处理 BI
从 Elasticsearch 到 Apache Doris 腾讯音乐内容库升级,统一搜索分析引擎,成本直降 80%
实现写入性能提升 4 倍、使用成本节省达 80% 的显著成效
477 1
从 Elasticsearch 到 Apache Doris 腾讯音乐内容库升级,统一搜索分析引擎,成本直降 80%
|
自然语言处理 安全 Linux
干货 | Elasticsearch 8.X 版本升级指南
干货 | Elasticsearch 8.X 版本升级指南
|
存储 弹性计算 运维
阿里云Elasticsearch智能存储引擎能力再升级,索引存储大小降低超40%!
Elastic中国开发者大会2023上,阿里云首次对外公开Elasticsearch全面Serverless化背后的产品技术架构,阿里云Elasticsearch依靠云原生底座技术升级,持续进行内核优化,并在日志场景大幅提升使用性价比,向用户提供更简单、更稳定、更弹性的搜索云服务。
514 0
阿里云Elasticsearch智能存储引擎能力再升级,索引存储大小降低超40%!
|
存储 JSON 前端开发
Spring Data Elasticsearch 5.0升级指南
Spring Data Elasticsearch 5.0升级指南
1840 0
|
数据库 索引
新年第一天,老板让升级ElasticSearch版本,我说得加钱
新年第一天,老板让升级ElasticSearch版本,我说得加钱
新年第一天,老板让升级ElasticSearch版本,我说得加钱
|
安全 Java 网络架构
解决SpringBoot ElasticSearch6.x升级7.x产生的问题
解决SpringBoot ElasticSearch6.x升级7.x产生的问题
1155 0
|
监控 安全 Java
elasticsearch 1.7升级到7.x全攻略
elasticsearch 1.7升级到7.x全攻略
617 0
elasticsearch 1.7升级到7.x全攻略
|
监控 安全 数据安全/隐私保护
《Elastic(中国)基础开发宝典》——集群安全配置功能大升级,单机模拟运行 Elasticsearch 8.1.2 三节点集群
《Elastic(中国)基础开发宝典》——集群安全配置功能大升级,单机模拟运行 Elasticsearch 8.1.2 三节点集群
|
安全 Java Apache
elasticsearch 升级Apache Log4j2组件包
elasticsearch 升级Apache Log4j2组件包
1481 0
|
安全 Java 网络架构
ElasticSearch7.x 升级后SpringBoot连不上?
本文主要讲述使用ElasticSearch6.x 升级到 ElasticSearch7.x后所需要的修改以及案例代码。
777 0