开发者社区> 问答> 正文

离线数仓开源代表有哪些?

离线数仓开源代表有哪些?

展开
收起
游客gwxzsspn6neze 2022-05-10 18:51:48 713 0
来自:阿里技术
1 条回答
写回答
取消 提交回答
  • 今天也要加油吖~

    传统上,离线数仓(开源以Hive/Spark为代表,闭源以阿里MaxCompute、Snowflake、AWS Redshift、Google BigQuery等为代表,以及Vertica、Oracle、HANA等传统IT厂商),流式计算(以Flink/Spark Structured Streaming为代表),数据服务层(HBase、MySQL、ES、Redis等)共同组成了大数据处理的标准架构:Lambda架构。Lambda架构提供了实时数据的服务(serving)能力。 近几年,以ClickHouse、Apache Doris、阿里Hologres等为代表的实时数仓兴起,通过实时写入明细数据+灵活交互式查询部分实现了去Lambda架构,在实时性、灵活性、成本、管理和运维等多方面都达到了较好的平衡。 随着2021年双11的完美落幕,实时数仓技术在阿里双11场景也经历了多年的实践和发展。从早期基于不同作业的烟囱式开发,到基于领域分层建模的数仓引入,再到分析服务一体化的新型融合式一站式架构,开发效率逐步提升,数据质量更有保证,也沉淀了更多技术创新。

    2022-05-13 10:10:19
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进 立即下载
基于MaxCompute快速打通数仓和数据湖:湖仓一体实践 立即下载
《新一代数仓架构漫谈)》 立即下载