开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

各位大佬,请教一个问题。state.backend : filesystem 时, 使用 hdfs

各位大佬,请教一个问题。state.backend : filesystem 时, 使用 hdfs 和使用 rocksdb 该如何选择?

展开
收起
十一0204 2023-04-05 09:23:56 124 0
1 条回答
写回答
取消 提交回答
  • 值得去的地方都没有捷径

    在Flink中,当使用state.backend: filesystem时,你可以选择使用HDFS或者RocksDB作为文件系统。选择哪种文件系统取决于你的具体需求和环境。下面是一些选择建议:

    如果你需要高可靠性和高可用性,建议使用HDFS作为文件系统。HDFS是一种分布式文件系统,具有高度的可靠性和可用性,可以在多个节点之间复制数据,从而提供数据冗余和容错能力。HDFS还具有良好的扩展性和性能,可以处理大规模数据集。
    
    如果你需要高性能和低延迟,建议使用RocksDB作为文件系统。RocksDB是一种高性能的键值存储引擎,具有低延迟和高吞吐量的特点,可以快速读写数据。RocksDB还具有可扩展性和可配置性,可以根据需要调整存储和缓存策略。
    

    总的来说,选择使用HDFS还是RocksDB作为文件系统,取决于你的具体需求和环境。如果你需要高可靠性和可用性,或者处理大规模数据集,建议使用HDFS;如果你需要高性能和低延迟,或者处理实时数据流,建议使用RocksDB。

    2023-04-14 22:30:20
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
海量数据分布式存储——Apache HDFS之最新进展 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载