开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

有ck大佬吗 现在dwd的数据都放在了ck 而且都是有变化的数据 导致每次查ck的数据是要加fina

有ck大佬吗 现在dwd的数据都放在了ck 而且都是有变化的数据 导致每次查ck的数据是要加final或者要先聚合一遍 数据量上来了就导致非常慢 请问大佬们有什么好办法吗 感觉是我这边没把ck用好

展开
收起
数据大拿 2023-07-10 09:43:45 208 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    CK(ClickHouse)是一种高性能、可扩展的列式数据库,适用于大规模数据存储和实时数据分析。在 CK 中,可以使用 MergeTree 引擎来实现快速的数据插入、查询和更新,支持高并发和高可靠性的数据访问。

    如果您的 DWD 数据都存储在 CK 中,并且数据是有变化的,即需要不断更新和追加新的数据,那么每次查询 CK 数据时需要加上 FINAL 关键字,以确保查询的是最终的数据结果。这是由于 CK 的 MergeTree 引擎使用了分层存储和条件合并等优化策略,导致查询时可能存在多个版本的数据,需要使用 FINAL 关键字来明确查询的版本和范围。

    例如,可以使用以下 SQL 查询语句来查询 CK 的 DWD 数据,并加上 FINAL 关键字:

    Copy
    SELECT ...
    FROM dwd_table FINAL
    WHERE ...
    上述代码中,使用 FINAL 关键字来指示查询最终的数据结果,而不是查询多个版本中的数据。需要注意的是,FINAL 关键字会导致查询变慢和消耗更多的资源,因此需要根据具体情况进行权衡和优化。

    如果您的 CK 数据库中数据量非常大,

    2023-07-30 09:39:17
    赞同 展开评论 打赏
  • 写入表用replacemergetree。

    2023-07-10 15:32:01
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
阿里云 ClickHouse 企业版技术白皮书 立即下载
ClickHouse在手淘流量分析应用实践Jason Xu 立即下载
云数据库clickhouse最佳实践 立即下载