带你读《Apache Doris 案例集》——04 星云零售信贷 基于 Apache Doris 的 OLAP 演进之路(2)

本文涉及的产品
云原生内存数据库 Tair,内存型 2GB
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 Redis 版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 带你读《Apache Doris 案例集》——04 星云零售信贷 基于 Apache Doris 的 OLAP 演进之路(2)

更多精彩内容,欢迎观看:

带你读《Apache Doris 案例集》——04 星云零售信贷  基于 Apache    Doris 的 OLAP  演进之路(1):https://developer.aliyun.com/article/1405754


Apache Doris 助力信货业务场景落地 

 

基于ApacheDoris  的功能实践,我们建设了星云零售管理后台、自助报表等一体化业务分析平台。接下来,我们主要介绍在业务场景落地过程中,风控大数据报表平台、统一日志存储分析与用户行为分析的业务实践。 

 

 互式分析查询,实现风控大数据平台智能化 image.png

如上图所示,星云管理后台会对风控数据进行分析,涉及授信情况分析、用信分析、放款结构分析、拒绝申贷原因分析等报表业务,我们希望通过风控报表平台实现风控策略化、智能化,提升线上的风控能力、提高审批效率并完善信贷业务流程。以授信情况分析为例,具体的操作流程如下: 

 

数据调度:指标数据首先通过DolphinSchedulerShell任务编排实现风控离线数仓各分层数据的调度与流通、统一管理。

 

数据同步:借助Apache Doris JDBCCatalog Insert Into 的方式,将多个外部源表中的数据增量导入数仓贴源层,实现统一建模、统一数据口径。

 

数据处理:Apache  Doris DW  层中进行数据关联分析、聚合、日区分落盘等操作,最终结合维表数据共同创建物化视图或者落地大宽表。基于 Apache  Doris的分层存储与数据处理,我们的报表开发时间从天级别提升至小时级别,大幅提高报表开发的效率。

 

数据分析:基于以上三个步骤,业务人员可以在平台中进行自定义交互式分析查询,如查询某一段时间内授信额度区间的占比,并以饼状图形式呈现。

 

极致性价比,达成统一日志存储分析

image.png

星云零售在业务运营过程中会存在大量的日志存储分析场景,如使用 API 访问异常日志。在引入Apache Doris 之前,我们使用Grafana  +Loki进行多节点本地支持存储,这种方式不仅无法保证存储统一性,并且增加运维成本。

 

 

在引入Apache  Doris 后,我们基于 Stream  Load 自定义开发 Flume  Sink Tail  Dir 日志采集组件,能够支持动态配置,使节点灵活且易于扩展。我们还采用了Apache Doris 的动态分区表模型,实现动态添加分区或者删除分区,减少了运维过程中的使用负担。更重要的是,Apache   Doris 提供了极致的列存储压缩比,使存储成本大幅度下降,并且2.0版本的倒排索引功能支持文本类型的全文检索,也能对普通数值日期的等值、范围查询进行加速,能够从海量数据中秒级  检索出满足条件的日志,更加契合我们后续对日志数据分析的需求。总而言之,基于 Apache  Doris 的实时日志存储功能为我们提供了全面的实时预警监控、实时监控大屏、故障分析等能力,真正意义上实现统一实时的日志存储分析。


JSON统一存储+丰富解析函数,助力用户行为日志分析  

 

image.png

在营收信贷业务过程中,我们会对潜在客户进行广告投放,通过自动获取用户行为日志数据,分 析信贷需求来加强营销活动、提升获客效果,达到精准投放的目的。我们借助Stream  Load 自 定义的日志采集工具收集用户在小程序或者App 中的访问日志, 利用 JSON  统一存储功能与丰富的解析函数对行为日志进行实时查询分析、跑批离线宽表加工等操作。 

 

在这一过程中 ,Apache  Doris 的引入使用户行为日志降低70%的存储成,同时提供了丰富 且开箱即用的用户行为分析函数,避免业务人员重复进行复杂 SQL 函数编写、验证、推导再应用,极大提高了数据开发效率,为后续广告精准投放提供了强有力的数据支持。

 

总结收益 

 

当前,腾梭科技星云零售信贷业务基于Apache  Doris 搭建了高度统一实时的数据仓库,实现星 云管理后台中的风控报表管理、运营报表管理、用户行为日志分析等信贷业务应用。  Apache

Doris 的引入为我们带来以下收益与成果:

 

● 灵活数据分析: 不论是业务端还是数据开发端,都可以基于 Doris 支持自定义导数、动态配 置,实现灵活及易扩展的多维数据分析。

 

● 查询快速响应: 从业务层面来看,现阶段的风控信贷点查、偏离计算等复杂场景都可以基于 Apache  Doris进行多表关联,并且实现毫秒级查询响应,大幅提升查询效率。

 

● 交付效率提升:助贷业务的核心业务为客户管理,在引入 Apache  Doris后,其数据分层存 储与开箱即用的分析函数,在用户行为、信用评估、风险控制等多方面提供了有效报表分析,以挖掘更多潜在用户,大幅提升交付效率,实现精准获客的目标。

 

● 综合成本降低: 与之前数据源端存储不同, Apache  Doris 极致的存储压缩比,降低了70 % 的存储成本。同时, Apache Doris 支持集群节点进程保活、自动均衡极致,几乎达到零运维,为公司运维成本控制提供了核心收益。


 未来规划 

 

未来,我们希望基于 Apache  Doris热分层技术实现统一的数据归档功能,将冷数据、历史数据定时进行归档,进一步优化数仓存储空间。同时,利用Apache Doris 湖仓一体功能实现智能数据网关,使Schema列类型等元数据能够映射至Apache Doris的数据结构中,形成统一元数据映射结构,提供一致性的查询体验。

 

最后,感谢 Apache Doris 社区和 SelectDB 技术团队在数仓搭建过程中的积极响应与技术支持,未来我们也会持续参与社区活动,将相关成果贡献回馈社区,希望Apache   Doris 飞速发展,越来越好!

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
10天前
|
SQL 消息中间件 关系型数据库
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。
|
9天前
|
存储 JSON 物联网
查询性能提升 10 倍、存储空间节省 65%,Apache Doris 半结构化数据分析方案及典型场景
本文我们将聚焦企业最普遍使用的 JSON 数据,分别介绍业界传统方案以及 Apache Doris 半结构化数据存储分析的三种方案,并通过图表直观展示这些方案的优势与不足。同时,结合具体应用场景,分享不同需求场景下的使用方式,帮助用户快速选择最合适的 JSON 数据存储及分析方案。
查询性能提升 10 倍、存储空间节省 65%,Apache Doris 半结构化数据分析方案及典型场景
|
15天前
|
SQL 消息中间件 Java
兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)
通过兼容 Connector 插件,Apache Doris 能够支持 Trino/Presto 可对接的所有数据源,而无需改动 Doris 的内核代码。
兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)
|
23天前
|
存储 消息中间件 运维
招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
招联内部已有 40+ 个项目使用 Apache Doris ,拥有超百台集群节点,个别集群峰值 QPS 可达 10w+ 。通过应用 Doris ,招联金融在多场景中均有显著的收益,比如标签关联计算效率相较之前有 6 倍的提升,同等规模数据存储成本节省超 2/3,真正实现了降本提效。
招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
|
1天前
|
SQL 存储 缓存
Apache Doris 2.1.6 版本正式发布
2.1.6 版本在 Lakehouse、异步物化视图、半结构化数据管理持续升级改进,同时在查询优化器、执行引擎、存储管理、数据导入与导出以及权限管理等方面完成了若干修复
|
30天前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
16天前
|
存储 大数据 数据挖掘
【数据新纪元】Apache Doris:重塑实时分析性能,解锁大数据处理新速度,引爆数据价值潜能!
【9月更文挑战第5天】Apache Doris以其卓越的性能、灵活的架构和高效的数据处理能力,正在重塑实时分析的性能极限,解锁大数据处理的新速度,引爆数据价值的无限潜能。在未来的发展中,我们有理由相信Apache Doris将继续引领数据处理的潮流,为企业提供更快速、更准确、更智能的数据洞察和决策支持。让我们携手并进,共同探索数据新纪元的无限可能!
62 11
|
1月前
|
存储 数据挖掘 Apache
Apache Doris + Iceberg 快速搭建指南|Lakehouse 使用手册(三)
如何在 Docker 环境下快速搭建 Apache Doris + Apache Iceberg 测试 & 演示环境,并展示各功能的使用操作
Apache Doris + Iceberg 快速搭建指南|Lakehouse 使用手册(三)
|
23天前
|
关系型数据库 MySQL API
Apache Doris集群部署
Apache Doris集群部署
|
2月前
|
SQL 存储 关系型数据库
计算效率提升 30 倍、存储资源节省 90%,雨润集团基于 Apache Doris 的统一实时数据仓库建设实践
数字化转型的浪潮中,高效准确的数据分析能够帮助雨润集团快速洞察市场动态、优化供应链管理、提高生产效率。雨润集团引入了 Apache Doris 构建了统一实时数据仓库,实现了计算效率提升 30 倍、存储资源节省 90%、成本降低超 100 万、人员效率提升 3 倍,为智能化、高效化转型指明了方向。
计算效率提升 30 倍、存储资源节省 90%,雨润集团基于 Apache Doris 的统一实时数据仓库建设实践

推荐镜像

更多