作者 / 李欣,诺亚财富数据总监;卢帅,诺亚财富高级数据开发
2022年诺亚财富数据管理部推出新一代的自研数据分析产品,借助阿里云瑶池数据库旗下的云原生数据库仓库AnalyticDB的引擎能力,运行短短一年,实现了PV的10倍增长,UV 的20倍增长,在数字化能力和分析能力方面实现新的突破。
诺亚财富在AnalyticDB的助力下,一方面使数据分析产品具备自助化的数据查询能力,降低数据使用门槛,实现“人人都是数据分析师”的愿景;另一方面,以业务实际场景为导向不断迭代升级,并对外输出通用型大数据一体化应用解决方案,实现“科技+金融”双驱动发展,将“大数据赋能”的理想真正转变为现实。
1.客户业务挑战
诺亚控股有限公司以“诺亚财富”为品牌,源起于中国,是首家在港美两地上市的中国独立财富管理机构,首家开创了财富管理和资产管理的双轮驱动业务模式,同时也是国内首家获得标准普尔“投资级”评级的财富管理公司,业务涵盖财富管理、资产管理和其他业务。诺亚数据智能部门负责公司大数据体系框架建设,主要工作是支撑日常的BI分析,数据看板,人群画像,自助分析等场景。
在公司数字化转型的背景下,业务增长带来了数据量的激增,老的架构面临诸多挑战:
- 复杂查询耗时长:因为业务发展时间比较长,积累了大量的用户多年的存量和交易数据特别大,对于一些用户数据指标计算,数据需要复杂关联查询才能得到,还有高并发查询时间周期比较长的数据,返回时间较长。
- 查询引擎不统一:系统可能有多种查询引擎组成,每一种查询引擎都有自己的DSL,业务开发学习成本高,同时需要跨多数据源查询也增加了架构复杂度,异构查询引擎也容易形成数据孤岛。
- 数据分析时效差:企业的精细化运营越来越重要,但由于当前数据处理时效性不足,很多明细数据无法直接使用,近线业务数据的价值无法被充分利用。
- 架构运维成本高:老的数据架构的加速查询是基于impala线性扩容成本、运维成本比较高。没有统一的OLAP引擎能满足大部分的分析场景,需要不同的组件搭建适配不同的业务场景,技术栈深且杂,组件众多运维压力大。
2.解决方案
针对以上挑战,阿里云通过云原生数据仓库AnalyticDB和数据传输服务DTS制定了如下解决方案:
打破数据孤岛:使用AnalyticDB和Maxcompute的兼容性,把一部分的数仓维表从AnalyticDB外表的方式把数据导入AnalyticDB内表中,另外明细层和应用层的表通过Dataworks的数据同步功能把数据导入到AnalyticDB中,保证了查询引擎的统一解决了数据孤岛的问题同时升级到现在的分布式架构。
冷热数据分层:根据用户对于表的不同使用频率,对于AnalyticDB的表进行数据存储冷热隔离。数据存储冷热分离策略分为全冷存储cold、全热存储hot、冷热混合存储mix。对于不同的业务数据设置不同的策略,既保证了数据的查询效率又优化了存储。
数据实时同步:使用DTS直接把业务的只读实例的数据同步到AnalyticDB中,同时对于DTS的任务实例做了监控告警,保证数据的及时性和准确性满足业务对于数据的实时性需求。
实时感知集群状态:使用云原生数据仓库AnalyticDB MySQL的监控策略能够及时探查到集群的使用状态,在业务高峰期能够及时的进行对于集群进行平滑的扩容,保证集群的稳定性。
3.客户价值
查询更实时:新的数据产品在使用AnalyticDB MySQL查询效率方面性能优化显著,以前单个查询的效率返回在2~5s,现在返回在300+ms,用户体验很好,同时在公司内对于新的数据产品接受度更高,为数字化转型提供了有力的工具支撑。
投放更精准:实时的广告投放多维分析,帮助市场部门及时提供数据支撑,基于AnalyticDB MySQL做了很多的数据规则监控和数据预警,及时调整投放策略,提高投资回报率。
点击了解云原生数据仓库AnalyticDB更多信息👉https://www.aliyun.com/product/ApsaraDB/ads