选择 Hologres 是我们从多个方面调研以及测试验证的结论。下面我们将结合业务行验证,因为离线数仓阶段,数据库最大的瓶颈就是查询性能和写入性能。
• 查询性能:基于目前实际的业务场景,包括简单及复杂 SQL 进行查询性能验证, 前期未做优化表现差不多,后面对 Hologres 的表设计和底层优化,我们验证出Hologres 基本能有 4 倍左右的提升,后面也会跟阿里的同事一起做更多性能调优工作;
• 写入性能:之前在某 DB 的环境上,MaxCompute 写入某 DB 的时间非常长(1亿数据一个小时左右),特别是查询业务上来后,写入性能有几倍的降速,甚至会宕机。而写入 MaxCompute 数据至 Hologres 的性能表现非常强悍,1 个亿的数据导入 10 多秒左右即可完成。
2) 满足多个分析场景 结合 MaxCompute+Hologres+Flink 搭建的流批一体实时数仓,使得我们的系统应用场景更加丰富,主要包括:
• 实时数仓:由于 Hologres 与 Flink 集成性好,通过实时的采集数据,Flink 实时计算,直接将数据写到入 Hologres 中,就能实时构建实时大屏、实时监控预警、实时推荐、实时训练等应用,快速响应业务需求;
• MaxCompute 加速查询:Hologres 可以直接通过外表的方式,对 MaxCompute的数据进行查询,如果需要更高的性能,则可以将数据导入到 Hologres 中更高性能的查询处理。如果是前一种方式,则可以在数据不输出的情况下,对离线数据进行查询分析;
• 自适应广告分析场景:Hologres 有很多丰富的分析函数,比如留存分析函数和漏斗分析函数,这对广告业务的相关场景非常适用,无需我们二次开发,直接就能使用。 综上所述,无论从性能支撑还是使用场景都非常符合我们公司的业务需求。
以上内容摘自《大数据&AI实战派 第1期》电子书,点击https://developer.aliyun.com/ebook/download/7722 可下载完整版
Hologres是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与即席分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。