开发者社区> 问答> 正文

请问,有全局状态组件吗?

请问,有全局状态组件吗?我有一个需求需要对数据里的id和name做映射,也就是如果两条数据的id或者name相同则映射成一个值;现在只能使用operator state,并且并行度设置为1,来实现全局state

来自志愿者整理的flink邮件归档来自志愿者整理的FLINK邮件归档

展开
收起
小阿怪 2021-12-04 19:13:18 364 0
1 条回答
写回答
取消 提交回答
  • 任意并行度全局状态从物理上就是不可行的,你可以了解一下分布式计算系统怎么部署物理作业的。“全局状态”要么依赖外部存储要么依赖实现(部署)细节。

    你这个需求能不能自定义 KeyBy 细节(KeySelector)来实现?相关文档见 https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/api_concepts.html#define-keys-using-key-selector-functions

    来自志愿者整理的flink邮件归档来自志愿者整理的FLINK邮件归档

    2021-12-04 22:30:54
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
事务、全局索引、透明分布式 立即下载
fibjs 模块重构从回调到协程--陈垒 立即下载
动态、高效,蚂蚁动态卡片的内核逻辑 立即下载

相关实验场景

更多