开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink的historyserver可以使用本地文件系统吗?我们没有搭hadoop集群

flink的historyserver可以使用本地文件系统吗?我们没有搭hadoop集群

展开
收起
十一0204 2023-04-12 13:39:26 804 0
2 条回答
写回答
取消 提交回答
  • 值得去的地方都没有捷径

    是的,Flink的HistoryServer可以使用本地文件系统。默认情况下,Flink的HistoryServer会将历史作业的日志和状态信息存储在本地文件系统中。

    如果您没有搭建Hadoop集群,可以在Flink配置文件中设置historyserver.archive.fs参数,将其指定为本地文件系统路径。例如,可以在flink-conf.yaml文件中添加以下配置:

    historyserver.archive.fs: file:///path/to/local/directory

    其中,/path/to/local/directory是本地文件系统中的目录路径。

    需要注意的是,使用本地文件系统存储历史作业的日志和状态信息可能会存在一些限制,例如存储空间有限、数据备份不方便等。如果您需要更好的可靠性和可扩展性,建议您搭建Hadoop集群,并将历史作

    2023-04-15 11:43:50
    赞同 展开评论 打赏
  • 意中人就是我呀!

    写file就行,job要写东西到dfs。 此答案整理自钉群“【③群】Apache Flink China社区”

    2023-04-12 13:54:20
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    《构建Hadoop生态批流一体的实时数仓》 立即下载
    零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
    CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载