开发者社区> 问答> 正文

Flink on yarn作业如何确定使用多少个tm,每个tm多大内存,每个tm多少 #Flink

Flink on yarn作业如何确定使用多少个tm,每个tm多大内存,每个tm多少slot,使用多少核,整体多少并行度,有没有方法论? #Flink

展开
收起
黄一刀 2020-06-08 19:05:50 1706 0
1 条回答
写回答
取消 提交回答
  • 1.每个task 的solt 的数量 与core 相等 2.JM 内存: 4G TM : 3G 3. 整体并行度的话 需要根据数据量/集群规模(资源) 等多个方面 去设置 (source 跟kafka partition 一致,下游的transfer算子 根据数据量去给) 我是这么认为的 . 希望可以帮到你

    2020-06-08 19:06:45
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
深度学习+大数据 TensorFlow on Yarn 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载