开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

在实时计算 Flink版重启过后 对应这张表不存在了 你们是怎么做持久化的呢?

"你们在sql-client 里面创建的table 在实时计算 Flink版重启过后 对应这张表不存在了 你们是怎么做持久化的呢?
"

展开
收起
真的很搞笑 2023-10-18 17:19:39 276 0
3 条回答
写回答
取消 提交回答
  • 对于问题1,Flink的SQL Client并不会持久化已经创建的表。当你在SQL Client中创建了一张表,并且执行了一些查询,然后关闭了SQL Client,那么这些表和查询信息将会丢失。这是因为SQL Client的设计目标是提供一个轻量级的交互式查询工具,而不是一个持久化的数据管理工具。

    对于问题2,如果你的任务在重启后需要重新创建,那么可能是因为你的任务没有进行持久化。在Flink中,你可以使用Checkpoint来实现任务的持久化。Checkpoint可以将任务的状态持久化到存储系统中,这样即使在任务重启后,也可以从上次的状态开始执行,而不需要从头开始计算。

    总的来说,如果你需要在Flink中进行持久化操作,你应该使用Checkpoint。同时,你也可以考虑使用Flink的State Backend机制,它可以帮助你更好地管理和持久化任务的状态。

    2023-10-21 17:53:17
    赞同 展开评论 打赏
  • "你可以创建一个TEMPORARY table 不持久化
    重启后都是没了,一般也不会用持久化来操作,使用TEMPORARY table可以更好的防止在集群中表被删除,然后任务重启导致任务失败,此回答整理自钉群“【③群】Apache Flink China社区”"

    2023-10-18 19:58:40
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    对于问题1,阿里云Flink版在重启后,会保留已创建的表结构,但不会保留表中的数据。因此,如果您需要持久化数据,可以考虑使用其他存储系统,如阿里云OSS、RDS等。

    对于问题2,如果您的服务重启了,之前的任务不会被重新创建。但是,您需要重新提交任务并指定相应的输入输出路径和参数等信息。同时,建议您在任务提交前先检查您的数据源和目标是否存在,以及是否具有读写权限。

    2023-10-18 18:31:19
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载