Flink这个日志所有的job都写在一个日志文件里了,怎么按job文件名分开? 同所有task也是写在一个日志文件里, 怎么按task文件名分开?# 将所有 info 级别的日志输出到指定的 rolling file
appender.rolling.name = RollingFileAppender
appender.rolling.type = RollingFile
appender.rolling.append = false
appender.rolling.fileName = ${sys:log.file}
appender.rolling.filePattern = ${sys:log.file}.%i
appender.rolling.layout.type = PatternLayout
appender.rolling.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
appender.rolling.policies.type = Policies
appender.rolling.policies.size.type = SizeBasedTriggeringPolicy
appender.rolling.policies.size.size=100MB
appender.rolling.strategy.type = DefaultRolloverStrategy
appender.rolling.strategy.max = 10
要按照 Flink 的 Job 文件名和 Task 文件名来将日志分开记录,你可以进行以下配置更改:
针对 Job 文件名的分隔:
在 Flink 的配置文件中添加以下参数来配置 Job 文件名的分隔:
log4j.logger.org.apache.flink.runtime.jobmanager.JobManager: <level>, job_file_appender
appender.job_file_appender.name = jobFileAppender
appender.job_file_appender.type = RollingFile
appender.job_file_appender.fileName = ${sys:log.file}.job
appender.job_file_appender.filePattern = ${sys:log.file}.job.%i
appender.job_file_appender.layout.type = PatternLayout
appender.job_file_appender.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
appender.job_file_appender.policies.type = Policies
appender.job_file_appender.policies.size.type = SizeBasedTriggeringPolicy
appender.job_file_appender.policies.size.size=100MB
appender.job_file_appender.strategy.type = DefaultRolloverStrategy
appender.job_file_appender.strategy.max = 10
上述配置将会创建一个名为 jobFileAppender
的 Appender 将 Job 相关的日志写入到 ${sys:log.file}.job
这个文件中。
针对 Task 文件名的分隔:
在 Flink 的配置文件中添加以下参数来配置 Task 文件名的分隔:
log4j.logger.org.apache.flink.runtime.taskexecutor.TaskExecutor: <level>, task_file_appender
appender.task_file_appender.name = taskFileAppender
appender.task_file_appender.type = RollingFile
appender.task_file_appender.fileName = ${sys:log.file}.task
appender.task_file_appender.filePattern = ${sys:log.file}.task.%i
appender.task_file_appender.layout.type = PatternLayout
appender.task_file_appender.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
appender.task_file_appender.policies.type = Policies
appender.task_file_appender.policies.size.type = SizeBasedTriggeringPolicy
appender.task_file_appender.policies.size.size=100MB
appender.task_file_appender.strategy.type = DefaultRolloverStrategy
appender.task_file_appender.strategy.max = 10
上述配置将会创建一个名为 taskFileAppender
的 Appender 将 Task 相关的日志写入到 ${sys:log.file}.task
这个文件中。
请确保替换 <level>
和 ${sys:log.file}
为适当的日志级别和实际日志文件路径。
通过以上配置更改,Flink 的日志将按照 Job 文件名和 Task 文件名进行分隔写入不同的日志文件中。这样可以更好地区分和追踪不同的 Job 和 Task 的日志信息。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。