开发者社区> 问答> 正文

canal server对接RocketMQ集群环境,使用partitionHash, 但是数据一直

环境信息

canal version 1.1.3 mysql version 5.7.20

问题描述

Canal Server 对接 RocketMQ集群环境(2主2从集群,Broker a 和 Broker b),instance.properties配置信息如下

mq config

canal.mq.topic=example canal.mq.dynamicTopic=.\.. #canal.mq.partition=0

hash partition config

topic默认队列大小为4

canal.mq.partitionsNum=4

基于表名进行hash

canal.mq.partitionHash=.\..

解析的Binlog数据一直投递到Broker a, Broker b中无数据 (担心热点表数据过大,一直投递到同一个Broker对集群性能产生影响)

期待结果

期望: 根据表名Hash, 不同的表可以分散到不现的Broker, 数据在RocketMQ上均衡分布

现执行情况

实际:解析的Binlog数据一直投递到Broker a, Broker b中无数据

原提问者GitHub用户

展开
收起
古拉古拉 2023-05-08 12:29:24 98 0
1 条回答
写回答
取消 提交回答
  • 看一下MQ多个topic对应分区的数据分布情况,确认是否都集中到了一个分区还是多个分区

    原回答者GitHub用户agapple

    2023-05-09 17:36:49
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
行业实践:RocketMQ 业务集成典型行业应用和实践 立即下载
技术揭秘:RocketMQ 5.0 云原生架构升级之路 立即下载
RocketMQ Summit 2022 开源生态发展 立即下载