开发者社区 > 数据库 > 正文

AnalyticDB MySQL 3.0 是基于数据库的并行数据模型存储建模亲和 MPP 计算模型?

AnalyticDB MySQL 3.0 是基于数据库的并行数据模型,存储建模亲和 MPP 计算模型,内部实现为哪几级架构?

展开
收起
曦情兮 2022-05-09 22:25:54 500 0
1 条回答
写回答
取消 提交回答
  • 第一级是集群实例级并行,用户实例被划分为多个存储节点组(Worker Group),每个 Worker Group 由 N(通常是 3,也可以是其他基数)个 Worker 构成。Worker 相当于用户数据节点容器,分组的目标是保证系统大规模扩展时不会出现通信膨胀、也方便系统并行升级和运维。 第二级是 DB 并行,用户数据库被切分为 N 个物理分库( Shard,也叫数据分片),每个 Shard 是独立的 Raft Group 以保证数据强一致,多个 Shard 就形成了 multi-raft 的并行。Shard 是可以是 Hash 或者 Range 分区,通常 Hash 分区可以做数据对齐以避免数据大表 JOIN 的数据 Shuffle;Shard 可以在需要的时候在不同 Worker Group 之间均衡或者迁移,Shard 本身也会支持动态分裂和合并。 第三是表内并行,对于数仓场景的历史数据存储通常有数据分区的概念,例如 TPC-DS 中 store sales 就可以根据时间周期分区,数据分区除方便数据生命周期管理外还可以支持查询分区裁剪和 DFP,有助于大幅缩小数据计算范围。

    2022-05-10 13:01:53
    赞同 展开评论 打赏

数据库领域前沿技术分享与交流

相关产品

  • 云数据库 RDS MySQL 版
  • 相关电子书

    更多
    基于云原生数据仓库AnalyticDB PG的最佳实践 立即下载
    新氧云原生全栈数仓最佳实践 立即下载
    离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进 立即下载

    相关镜像