开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问一下, flink cdc 集成oss 用来保存checkpoint 的时候,配置都加进去了.

请问一下, flink cdc 集成oss 用来保存checkpoint 的时候,配置都加进去了. 但是报错Aliyun OSS endpoint should not be null or empty. Please set proper endpoint with 'fs.oss.endpoint'. 看代码没有使用传进去的configuration , 而是自己创建的一个. 这个应该怎么把自己的configuration替换进去?image.png image.png

展开
收起
真的很搞笑 2023-05-09 13:31:44 1322 0
2 条回答
写回答
取消 提交回答
  • 在flink run 命令中添加
    -Dfs.oss.endpoint=
    -Dfs.oss.accessKeyId=
    -Dfs.oss.accessKeySecret=
    是生效的,在代码中确实没有加载进去,有解决方法嘛

    2024-08-13 17:17:32
    赞同 展开评论 打赏
  • 存在即是合理

    在 Flink CDC 集成 OSS 来保存 checkpoint 时,需要将 fs.oss.endpoint 配置项设置为正确的 OSS 端点。这个配置项应该在 Flink CDC 的 Configuration 中添加。

    如果您已经创建了自己的 Configuration,您可以将以下代码片段添加到 Configuration 中以指定正确的 OSS 端点:

    
    Properties confProps = new Properties();
    confProps.setProperty("fs.oss.endpoint", "your-oss-endpoint");
    Configuration config = new Configuration(confProps);
    
    
    

    在这里,您需要将 your-oss-endpoint 替换为您实际使用的 OSS 端点。

    一旦您将正确的 fs.oss.endpoint 配置项添加到 Configuration 中,Flink CDC 将使用它来保存 checkpoint。

    2023-05-11 19:45:17
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载