关于使用Flink RocksDBStateBackend问题
Hi 在使用RocksDBStateBackend过程中，有些问题想请教一下 采用自定义的optionsFactory后，flink-conf.yaml配置文件中的RocksDB Configurable Options相关参数配置不生效，请问一下要如何使其中的state.backend.rocksdb.writebuffer.size等参数生效？
OptionsFactory optionsFactory = new OptionsFactory() {
@Override
public DBOptions createDBOptions(DBOptions dbOptions) {
return (new DBOptions()).setUseFsync(false);
}
@Override
public ColumnFamilyOptions createColumnOptions(ColumnFamilyOptions columnFamilyOptions) {
return (new ColumnFamilyOptions()).setCompressionType(CompressionType.NO_COMPRESSION);
}
};
RocksDBStateBackend rocksDBStateBackend = new RocksDBStateBackend("hdfs://:/flink/checkpoints");
rocksDBStateBackend.setOptions(optionsFactory);
env.setStateBackend(rocksDBStateBackend);*来自志愿者整理的flink邮件归档
写回答
-
使用自定义options factory的话，我们会认为是高级用户，自然也就完全交由用户进行配置，至于write buffer size如何配置，可以参考PredefinedOptions [1] 的使用方法。
[1] https://github.com/apache/flink/blob/8f67d1d7e6809d528fe957cb4eb78308d87da324/flink-state-backends/flink-statebackend-rocksdb/src/main/java/org/apache/flink/contrib/streaming/state/PredefinedOptions.java#L173*来自志愿者整理的FLINK邮件归档
2021-12-02 18:03:26赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
