1918339123670743
1918339123670743_个人页
1918339123670743
文章
0
问答
2
视频
0
个人介绍
暂无个人介绍
擅长的技术
暂无更多信息
暂无更多信息
暂无更多信息
-
回答了问题
2020-08-07
Spark与Flink主要区别在哪？
Spark 和 Flink 的不同执行模型带来的最大的区别应该还是在对流计算的支持上。最开始的 Spark Streaming 对流计算想得过于简单，对复杂一点的计算用起来会有不少问题。从 Spark 2.0 开始引入的 Structured Streaming 重新整理了流计算的语义，支持按事件时间处理和端到端的一致性。虽然在功能上还有不少限制，比之前已经有了长足的进步。不过 micro batch 执行方式带来的问题还是存在，特别在规模上去以后性能问题会比较突出。最近 Spark 受一些应用场景的推动，也开始开发持续执行模式。2.3 里的实验性发布还只支持简单的 map 类的操作。从最近 Spark+AI Summit 大会上的介绍来看（下图），会发展成一个和 Flink 的流处理模式比较相似的执行引擎。 https://www.infoq.cn/article/spark-vs-flink赞0 踩1 评论0 -
回答了问题
2020-08-07
flink 可以读写es吗?#Flink
ES访问只要配置好EsClient相关的东西就能通过访问，在Flink里的代码访问外部数据仓库是完全不影响的，Flink只是流式处理方式，访问读写ES是处理逻辑，这两个应该算是不同的范畴赞0 踩0 评论0
滑动查看更多
暂无更多信息