flink on yarn的部署模式可以配置和开启flink自己的history server吗?
需要在 flink-conf.yaml 配置文件中添加以下配置:```js
flink.yarn.history-server.enabled: true
flink.yarn.history-server.address: :
flink.yarn.history-server.web.address: :
是的,Apache Flink on YARN 可以配置和启用 Flink 的历史服务器(history server)。
历史服务器是一个 Web UI 应用程序,用于显示 Flink 作业的运行历史和统计信息。它可以帮助您分析 Flink 作业的性能和故障,并进行故障排除。
1、要在 Flink on YARN 中配置和启用历史服务器,您需要执行以下步骤:
# 设置历史服务器启用的端口
historyserver.web.port: 8082
# 设置历史服务器存储历史数据的目录
historyserver.archive.fs.dir: hdfs:///flink/history
2、将 Flink 的历史服务器(flink-historyserver)添加到 YARN 的启动脚本中。
#启动历史服务器
./bin/yarn-session.sh -n 2 -jm 1024m -tm 1024m -s 2 -d \
-D yarn.application.name=Flink \
-D yarn.provided.lib.dirs=$HADOOP_HOME/share/hadoop/common/lib,$HADOOP_HOME/share/hadoop/common,$HADOOP_HOME/share/hadoop/hdfs,$HADOOP_HOME/share/hadoop/mapreduce,$HADOOP_HOME/share/hadoop/yarn \
-D yarn.application.classpath=$($HADOOP_HOME/bin/hadoop classpath --glob) \
-D yarn.application.master=yarn \
-D yarn.app.container.log.dir=<LOG_DIR> \
-D flink.yarn.history-server.address=<HISTORY_SERVER_HOST>:<HISTORY_SERVER_PORT> \
-D yarn.appMasterEnv.FLINK_CONF_DIR=<FLINK_CONF_DIR> \
-D yarn.appMasterEnv.FLINK_LOG_DIR=<FLINK_LOG_DIR> \
-D yarn.appMasterEnv.JAVA_HOME=$JAVA_HOME \
-D yarn.appMasterEnv.HADOOP_HOME=$HADOOP_HOME \
-D yarn.appMasterEnv.HADOOP_HDFS_HOME=$HADOOP_HOME \
-D yarn.appMasterEnv.HADOOP_COMMON_HOME=$HADOOP_HOME \
-D yarn.appMasterEnv.HADOOP_MAPRED_HOME=$HADOOP_HOME \
-D yarn.appMasterEnv.HADOOP_YARN_HOME=$HADOOP_HOME \
-D yarn.appMasterEnv.HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop \
-D yarn.appMasterEnv.YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop \
-D yarn.appMasterEnv.HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec \
-D yarn.appMasterEnv.HADOOP_PREFIX=$HADOOP_HOME \
-D yarn.appMasterEnv.PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin \
-D yarn.appMasterEnv.CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath --glob) \
start-history-server
注意,在上面的命令中,您需要将 <HISTORY_SERVER_HOST> 替换为历史服务器的主机名或 IP 地址,将 <HISTORY_SERVER_PORT> 替换为历史服务器启用的端口号,将 <FLINK_CONF_DIR> 替换为 Flink 配置文件的目录,将 <FLINK_LOG_DIR>
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。