开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

直接读取kafka流里面的数据,发现每隔着几百条消息每个并发就会打印一次执行一次

直接读取kafka流里面的数据,发现每隔着几百条消息每个并发就会打印一次执行一次 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(parallelism); env.enableCheckpointing(5000); env.addSource(consumer) .setParallelism(parallelism) .map(new RichMapFunction<String,Integer>() { private static final long serialVersionUID = 1L;

@Override
public void open(Configuration config) {
  System.out.println("执行一次");
}

@Override
public Integer map(String value) throws Exception {
  return 1234;
}

}) .print() .name("清洗成json");

代码大概是这样的 consumer就是kafka的consumer 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。 点击这里欢迎加入感兴趣的技术领域群。

展开
收起
黄一刀 2019-12-04 13:39:19 1152 0
1 条回答
写回答
取消 提交回答
  • env.setRestartStrategy(RestartStrategies.noRestart());自动重启异常被flink吃了,开发的时候一定要把自动重启关了

    2019-12-04 13:40:10
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载