开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

FLINK ON YARN默认会把LOG4J以及JAR文件,传到目录,这个可以修改吗?

大佬们,请教个Flink问题,FLINK ON YARN默认会把LOG4J以及JAR文件,传到HDFS的/user/HADOOP_USER_NAME目录,这个可以修改吗?

展开
收起
真的很搞笑 2023-08-08 18:55:36 98 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    是的,Flink on YARN默认会将日志文件和JAR文件上传到HDFS上的/user/HADOOP_USER_NAME目录。这是由Flink的YARN启动脚本中的默认配置确定的。

    2023-08-13 21:38:06
    赞同 展开评论 打赏
  • client端的conf文件增加yarn.provided.lib.dirs,此回答整理自钉群“【②群】Apache Flink China社区”

    2023-08-09 07:53:51
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Python第四讲——使用IPython/Jupyter Notebook与日志服务玩转超大规模数据分析与可视化 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载