AI 助理
备案控制台

徐前进_个人页

个人头像照片 徐前进
个人头像照片
文章
0
问答
9
视频
0

个人介绍

暂无个人介绍

擅长的技术

获得更多能力
通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
暂无更多信息
正在加载, 请稍后...
暂无更多信息
  • 回答了问题 2019-07-17

    有没有人用过1.7 state schema evolution 吗？ 不太明白怎么用

    这是对state schema的一个扩展和加强。具体使用可以参照Flink源码：https://github.com/apache/flink/blob/master/flink-runtime/src/test/java/org/apache/flink/runtime/state/StateBackendTestBase.java
    踩0 评论0
  • 回答了问题 2019-07-17

    flink用于实时指标统计，现在业务要新加指标，怎样把之前该指标对应的状态捞回来？

    对于已经进数仓的事件指标可以采取关联维表的形式获取数据。也可以通过async/io的方式去loopup数据。
    踩1 评论0
  • 回答了问题 2019-07-17

    开发中用Flink State遇到性能瓶颈不知道原因在哪，求解！！！！

    可以从几个方面优化一下：1.对象序列化多发生在数据传输中间，例如不同算子，不同结点之间。对于这种情况可以开启算子之间的chain链。使数据在同一算子之间避免数据传输所产生的序列化。2.如你使用的方式一样在窗口内自己实现缓存或借助第三方例如redis，hbase这种kv性能很高的数据库来避免序列化。3.像blink一样实现minibatch减少实时去更新state状态的次数。关于blink minibatch可以参考https://yq.aliyun.com/articles/448853。
    踩0 评论0
  • 回答了问题 2019-07-17

    Flink 执行checkpoint报错

    如图你得OrderState应该没有描述成Flink所能接受的对象类型。你可以尝试在open方法中创建声明和描述： valueState= getRuntimeContext.getState( new ValueStateDescriptor[OrderState]('average', createTypeInformation[OrderState]) )
    踩0 评论0
  • 回答了问题 2019-07-17

    想请教个问题，我watermark后，发现时间少了8个小时，时区问题，大家是怎么解决的啊？

    缺少8小时是因为系统默认产生时间是0时区，而中国是在8时区所以差了8个小时。对于你这个问题可以在你生产watermark的时候加上8个小时进行处理。针对这个问题，社区也有一些isuse讨论可以关注。目前只能在业务代码层面来处理8小时时间差。
    踩0 评论0
  • 回答了问题 2019-07-17

    RichAllWindowFunction的open方法在什么时候被触发

    全局window必须通过触发器设置触发条件来进行触发。例如： val env = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) val source = env.addSource(new SimpleSource) var triggerTest = EventTimeTrigger.create() val window = source .keyBy(_._1) .window(GlobalWindows.create()) .trigger(CountTrigger.of(1)) .apply(new WindowFunctionTest) .print().name('GlobalWindows') env.execute('GlobalWindows')
    踩0 评论0
  • 回答了问题 2019-07-17

    本地运行多个flink任务时，分析占的cpu、内存、时延情况，一般用什么方法或工具呀

    可以将Flink指标输出到Prometheus中，通过Grafana消费Prometheus的指标数据来进行图形监控和展示。包括常用的cpu，内存，9个9等。
    踩0 评论0
  • 回答了问题 2019-07-17

    本地编译flink1.6 1.7都不过，有个 flink-MapR 有问题

    用mvn clean package -DskipTests来编译执行，如果仍然有问题请查看java版本，maven版本，scala版本。
    踩0 评论0
  • 回答了问题 2019-07-17

    请问下各位大佬，在Flink里面频繁出现Checkpoint expired before completing的错误，状态本身并不大，看了一下Checkpoint确认的进度56/64 (88%)，还有几个不知道什么原因迟迟收不到Acknowledge。请问下出现这种现象是什么原因？

    出现这个问题从两方面考虑:1.checkpoint设置的时间过短(包括完成checkpoint的超时时间)env.enableCheckpointing(5000) 这里的5秒生产肯定是不够的env.getCheckpointConfig.setCheckpointTimeout(60000)2.得从你代码逻辑着手，是不是代码中有出现checkpoint无法完成的逻辑。
    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息