开发者社区 > 大数据与机器学习 > 实时数仓 Hologres > 正文

未来期待的Hologres架构与能力是什么?

已解决

未来期待的Hologres架构与能力是什么?

展开
收起
游客lmkkns5ck6auu 2022-09-26 22:47:12 382 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    1、资源隔离:长期看批流统一计算后,大Query/小Query难以避免资源的抢占,资源组隔离即对计算资源进行弹性划分,不同资源组之间的计算资源在物理上完全隔离。通过账号绑定到不同的资源组,SQL查询根据绑定关系自动路由至对应的资源组执行命令,用户可以选择为不同的资源组设置不同的查询执行模式,从而满足用户实现实例内部多租户、混合负载的需求,当然如果Hologres调度可以自动优化资源抢占问题就更加完美了。

    2、流批一体:批和流一套引擎,运行在一套资源底座上,天然削峰填谷,自然混布,不仅节省了开发成本,同时也大幅节省了运维成本和资源成本。 一存储统一(方向一):MaxCompute可以直接访问Hologres数据,准实时链路逐步升级实时,Hologres数据支持归档MaxCompute,逐步去除离线ODS,实现离线&实时数据的统一。 一计算统一(方向二):基于Hologres一体的流批一体数据业务,MPP模式错峰执行流批任务。

    3、分时弹性:数仓系统的负载存在明细的时段波动,低峰期资源往往处于闲置阶段。分时弹性功能允许用户灵活定制弹性计划(每天定时),在业务高峰期来临之前自动进行扩容满足业务流量,即满足了业务流量高峰的需求,又降低了使用成本,同时结合资源组功能,甚至可以让某个资源组在低峰期时0节点,成本极低。

    4、数据分层:按表粒度、表的二级分区粒度独立选择冷、热存储介质,比如指定用户维表数据全部存储在本地SSD,或指定交易表的一部分分区数据存储在本地SSD,冷分区存储在0SS上,以达到最低的存储成本。

    5、行列混存:维度表订阅T流实现维表实时更新,行列混存方式帮助维度表同时具备行存表的更新,列关联聚合的理想性能。

    6、行列自动转化:Flink/业务数据实时写入时,选择行存表,单记录全字段更新删除操作更友好,行存表如果可以自动转换为列存表,同时进行组合排序或多维排序,让列存表提供贴合业务场景的最佳查询性能。

    7、物化视图:简化数据清洗流程(ETL:Extract, Load, Transform),帮助用户加速分析,如: 大屏类业务加速,配合B工具使用,或者是缓存一些公共中间结果集用以加速慢查询。

    以上内容摘自《阿里云实时数仓Hologres最佳实践合集》电子书,点击https://developer.aliyun.com/topic/download?id=996 可下载完整版

    2022-09-26 23:49:17
    赞同 展开评论 打赏

本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等,也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975

相关产品

  • 实时数仓 Hologres
  • 相关电子书

    更多
    MaxCompute Serverless 架构演进 立即下载
    阿里云消息队列的 Serverless架构演进 立即下载
    青团社云原生架构实践—亿级灵活用工平台的架构实践 立即下载