开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

FLINk CDC 用本地的 rocksdb 做 state , IOPS消耗很高吗?

FLINk CDC 用本地的 rocksdb 做 state , IOPS消耗很高吗? 6800的IOPS还不够用,还需要每天额外付200多的磁盘性能突发费用 ?应该是我阿里云盘用错了 ,使用 ESSD AutoPL云盘 起步才6800 IOPS ,剩下的是弹性的 ,一块盘这个地方每天都画好几百 ,最普通的SSD都比他强很多倍,收费太贵了

展开
收起
真的很搞笑 2023-11-15 08:10:14 69 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    一般来说,使用 RocksDB 做 State 会产生较高的 IOPS 消耗,但具体取决于您的数据量和应用需求。
    首先,RocksDB 是一个高性能的 KV 存储引擎,可以满足大部分实时分析和机器学习场景的需求。但是,在高并发的情况下,RocksDB 的 IOPS 使用率可能会变得非常高,尤其是在写入密集型工作负载下。因此,如果您的工作负载要求很高的 IOPS 性能并且 CPU 使用率较高,那么可能会导致 IOPS 费用增加。
    其次,根据您的描述,您目前使用的是 ESSD AutoPL 云盘,该盘采用弹性 IOPS 模型,可以根据实际需求动态调整 IOPS 性能。这意味着如果您需要更高的 IOPS 性能,将会产生额外费用。建议您使用 SSD 云盘来降低 IOPS 成本,并提高性能稳定性。如果可能的话,可以考虑更换更高性能和更低价格的 SSD 类型。

    2023-11-15 22:38:20
    赞同 展开评论 打赏
  • 您好!RocksDB作为一个嵌入式数据库,其设计目标是在有限的存储空间内实现高性能的数据存储和处理。因此,它在随机读写方面表现出色,但在大量连续读写的场景下可能不是最佳选择。

    对于Flink CDC这种需要大量顺序读写的场景,使用SSD硬盘可能会更加合适。SSD硬盘在读写速度和耐用性方面都优于传统的机械硬盘,而且价格也相对较低。

    另外,您提到的ESSD AutoPL云盘可能更适合用于缓存或临时数据的存储,而不适合用于长期存储或大量数据的处理。在选择云盘类型时,除了考虑IOPS之外,还需要考虑存储容量、持久化级别等因素。

    2023-11-15 09:57:02
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载