阿里云瑶池助力华鼎冷链科技:零ETL畅享高性能数据生态

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 为解决自建TiDB带来的运维难题和高昂成本,华鼎采用阿里云PolarDB MySQL与AnalyticDB MySQL,通过Zero-ETL实现数据无感集成,大幅降低成本、提升性能和效率,并实现了异地灾备、秒级查询和BI分析等功能,助力业务快速发展。

客户介绍

河南华鼎冷链仓配科技有限公司(简称“华鼎冷链科技”)创立于2019年5月,定位为“中国的Sysco”。依托国内领先的大数据、物联网的技术支持,为客户提供高效协同的一站式冷链方案。

截至目前,华鼎冷链在全国已经有25个分支机构,22个省级中心仓,仓储面积40万平方,干支线网络2890条,辐射全国除港澳台和西藏以外的全部省区,290个地级市、近2000个县,通过华鼎自主研发的SAAS系统,已连接食材工厂、连锁餐饮品牌、经销商等2500余家,服务餐饮终端门店200000余家,并先后荣获“国家服务型制造业示范平台”、“中国冷链百强企业”、“高新技术企业”、“专精特新企业”、“全国冷链运营创新企业”、“四星级冷链物流企业”、“河南省冷冻食材数字化供应链示范平台”等国家和行业荣誉,并参与国家城乡高效配送服务标准的制定。

业务痛点

华鼎从自建TiDB面临着一系列不可忽视的挑战:老旧系统频繁引发的业务不稳,缺乏专业DBA团队导致的运维难题,以及随着数据量爆炸式增长,所带来的高昂成本与架构复杂性,严重阻碍了业务的快速发展。

  • 自建TIDB,运维技术难度、成本高。
  • 异地双活,异地灾备方案复杂度较高,费用翻倍,技术难度大。
  • 数据体量较大,数据库的性能稳定性需要极为关注。
  • HTAP类型业务性能隔离、数据隔离方案难度较大。

产品方案

为了业务发展,华鼎决定进行数据库业务架构升级。基于Zero-ETL 无感数据集成链路,使用阿里云瑶池数据库PolarDB MySQL+AnalyticDB MySQL(下文简称 ADB MySQL)替换TIDB,一站式完成数据同步和管理,实现事务处理和数据分析一体化。

Zero-ETL无感数据集成

阿里云瑶池数据库提供了无感集成(Zero-ETL)功能:无感、免费、易用的数据链路,可以快速构建业务系统(OLTP)和数据仓库(OLAP)之间的数据同步链路,减少在不同服务间手动迁移或转换数据的工作。无论企业和数据的规模有多大,复杂度有多高,通过为客户消除ETL 和其它数据迁移任务,助力客户专注于分析数据,面向业务获取新的洞察。

AnalyticDB MySQL企业级数据分析引擎

ADB MySQL是阿里云自研的云原生实时数据仓库,支持从OLTP数据库和日志文件中实时写入数据,并秒级完成PB级数据分析,采用云原生存算分离的架构,存储按量付费,计算弹性伸缩,同时具备离线处理与在线分析资源隔离的能力,满足企业对于数据处理效率、成本控制、系统稳定性的要求。

ADB MySQL擅长做大数据量的查询加速,适合做复杂关联查询,支持毫秒/秒级响应,通过Zero-ETL链路把TP数据免费实时地同步到数据仓库ADB中,利用ADB的强大分析能力对慢SQL进行加速,保证报表的正常产出。同时该方案可以将上层应用系统的SQL和跑分析报表的SQL完全隔离,互不影响,能更好地保障上层应用的稳定性。

ADB MySQL下游还可以无缝对接多种BI报表工具,满足实时看板/大屏等需求。另外ADB MySQL还提供丰富的分析函数,比如圈人函数、漏斗留存函数、路径分析函数等多种函数,满足多种数据分析场景。

OLTP+OLAP云原生一体化架构升级

具体的架构升级路径为分为四个步骤逐步推动,具体如下图所示:

  1. 通过DTS将 TiDB的数据平滑迁移到PolarDB-MySQL。
  2. 创建ADB MySQL实例,配置Zero-ETL链路,实现业务数据免费实时地同步到ADB MySQL中。
  3. 改造数据分析架构,支持BI数据分析、数据可视化业务大屏、运维监控等应用场景。
  4. 实现从PolarDB-MySQL到ADB MySQL的全面云原生架构。

通过业务库迁移、数据链路改造、分析架构升级与业务全量割接四个步骤逐步推动,最终实现OLTP+OLAP云原生一体化架构升级。

Zero-ETL方案业务效果

通过Zero-ETL链路,在成本、性能、效率和运维上均有很大提升:

  • 成本:数据同步链路免费,构建数仓成本降低20%;
  • 性能:弹性资源:采用弹性Serverless架构,更好地应对源库流量高峰,全量同步400MB/S,增量同步80MB/S。
  • 效率:固定源端和目标端类型,减少配置,构建数仓效率提升60%;
  • 运维:0%的链路可自动优化,链路出现延迟或中断,1小时内自动修复

总结与展望

从PolarDB的高性能数据库服务到AnalyticDB的强大数据分析,阿里云丰富的产品矩阵为华鼎提供了全方位的解决方案,通过Zero-ETL链路,技术栈的搭建如同拼图般便捷,同时满足客户对高性能、高一致性的严格要求,实现如下效果:

  • 异地灾备,通过跨地域实例GDN实现了数据库异地双活。
  • 性能提升,通过HTAP实现业务性能的大幅度提升。
  • 秒级查询,仓储业务上快速更新和秒级的分析查询。
  • BI分析,用ADB实时数仓解决报表分析对业务系统带来的影响。
相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
14天前
|
供应链 监控 安全
对话|企业如何构建更完善的容器供应链安全防护体系
阿里云与企业共筑容器供应链安全
171330 12
|
17天前
|
供应链 监控 安全
对话|企业如何构建更完善的容器供应链安全防护体系
随着云计算和DevOps的兴起,容器技术和自动化在软件开发中扮演着愈发重要的角色,但也带来了新的安全挑战。阿里云针对这些挑战,组织了一场关于云上安全的深度访谈,邀请了内部专家穆寰、匡大虎和黄竹刚,深入探讨了容器安全与软件供应链安全的关系,分析了当前的安全隐患及应对策略,并介绍了阿里云提供的安全解决方案,包括容器镜像服务ACR、容器服务ACK、网格服务ASM等,旨在帮助企业构建涵盖整个软件开发生命周期的安全防护体系。通过加强基础设施安全性、技术创新以及倡导协同安全理念,阿里云致力于与客户共同建设更加安全可靠的软件供应链环境。
150295 32
|
25天前
|
弹性计算 人工智能 安全
对话 | ECS如何构筑企业上云的第一道安全防线
随着中小企业加速上云,数据泄露、网络攻击等安全威胁日益严重。阿里云推出深度访谈栏目,汇聚产品技术专家,探讨云上安全问题及应对策略。首期节目聚焦ECS安全性,提出三道防线:数据安全、网络安全和身份认证与权限管理,确保用户在云端的数据主权和业务稳定。此外,阿里云还推出了“ECS 99套餐”,以高性价比提供全面的安全保障,帮助中小企业安全上云。
201961 14
对话 | ECS如何构筑企业上云的第一道安全防线
|
2天前
|
机器学习/深度学习 自然语言处理 PyTorch
深入剖析Transformer架构中的多头注意力机制
多头注意力机制(Multi-Head Attention)是Transformer模型中的核心组件,通过并行运行多个独立的注意力机制,捕捉输入序列中不同子空间的语义关联。每个“头”独立处理Query、Key和Value矩阵,经过缩放点积注意力运算后,所有头的输出被拼接并通过线性层融合,最终生成更全面的表示。多头注意力不仅增强了模型对复杂依赖关系的理解,还在自然语言处理任务如机器翻译和阅读理解中表现出色。通过多头自注意力机制,模型在同一序列内部进行多角度的注意力计算,进一步提升了表达能力和泛化性能。
|
7天前
|
存储 人工智能 安全
对话|无影如何助力企业构建办公安全防护体系
阿里云无影助力企业构建办公安全防护体系
1251 8
|
7天前
|
人工智能 自然语言处理 程序员
通义灵码2.0全新升级,AI程序员全面开放使用
通义灵码2.0来了,成为全球首个同时上线JetBrains和VSCode的AI 程序员产品!立即下载更新最新插件使用。
1298 24
|
9天前
|
机器学习/深度学习 自然语言处理 搜索推荐
自注意力机制全解析:从原理到计算细节,一文尽览!
自注意力机制(Self-Attention)最早可追溯至20世纪70年代的神经网络研究,但直到2017年Google Brain团队提出Transformer架构后才广泛应用于深度学习。它通过计算序列内部元素间的相关性,捕捉复杂依赖关系,并支持并行化训练,显著提升了处理长文本和序列数据的能力。相比传统的RNN、LSTM和GRU,自注意力机制在自然语言处理(NLP)、计算机视觉、语音识别及推荐系统等领域展现出卓越性能。其核心步骤包括生成查询(Q)、键(K)和值(V)向量,计算缩放点积注意力得分,应用Softmax归一化,以及加权求和生成输出。自注意力机制提高了模型的表达能力,带来了更精准的服务。
|
7天前
|
消息中间件 人工智能 运维
1月更文特别场——寻找用云高手,分享云&AI实践
我们寻找你,用云高手,欢迎分享你的真知灼见!
584 23
1月更文特别场——寻找用云高手,分享云&AI实践
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
|
13天前
|
人工智能 自然语言处理 API
阿里云百炼xWaytoAGI共学课DAY1 - 必须了解的企业级AI应用开发知识点
本课程旨在介绍阿里云百炼大模型平台的核心功能和应用场景,帮助开发者和技术小白快速上手,体验AI的强大能力,并探索企业级AI应用开发的可能性。