开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC的这个日志所有的job都写在一个日志文件里了, 怎么按job文件名分开?

Flink这个日志所有的job都写在一个日志文件里了,怎么按job文件名分开? 同所有task也是写在一个日志文件里, 怎么按task文件名分开?# 将所有 info 级别的日志输出到指定的 rolling file
appender.rolling.name = RollingFileAppender
appender.rolling.type = RollingFile
appender.rolling.append = false
appender.rolling.fileName = ${sys:log.file}
appender.rolling.filePattern = ${sys:log.file}.%i
appender.rolling.layout.type = PatternLayout
appender.rolling.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
appender.rolling.policies.type = Policies
appender.rolling.policies.size.type = SizeBasedTriggeringPolicy
appender.rolling.policies.size.size=100MB
appender.rolling.strategy.type = DefaultRolloverStrategy
appender.rolling.strategy.max = 10

展开
收起
三分钟热度的鱼 2023-10-07 14:15:51 197 0
1 条回答
写回答
取消 提交回答
  • 要按照 Flink 的 Job 文件名和 Task 文件名来将日志分开记录,你可以进行以下配置更改:

    1. 针对 Job 文件名的分隔:

      在 Flink 的配置文件中添加以下参数来配置 Job 文件名的分隔:

      log4j.logger.org.apache.flink.runtime.jobmanager.JobManager: <level>, job_file_appender
      appender.job_file_appender.name = jobFileAppender
      appender.job_file_appender.type = RollingFile
      appender.job_file_appender.fileName = ${sys:log.file}.job
      appender.job_file_appender.filePattern = ${sys:log.file}.job.%i
      appender.job_file_appender.layout.type = PatternLayout
      appender.job_file_appender.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
      appender.job_file_appender.policies.type = Policies
      appender.job_file_appender.policies.size.type = SizeBasedTriggeringPolicy
      appender.job_file_appender.policies.size.size=100MB
      appender.job_file_appender.strategy.type = DefaultRolloverStrategy
      appender.job_file_appender.strategy.max = 10
      

      上述配置将会创建一个名为 jobFileAppender 的 Appender 将 Job 相关的日志写入到 ${sys:log.file}.job 这个文件中。

    2. 针对 Task 文件名的分隔:

      在 Flink 的配置文件中添加以下参数来配置 Task 文件名的分隔:

      log4j.logger.org.apache.flink.runtime.taskexecutor.TaskExecutor: <level>, task_file_appender
      appender.task_file_appender.name = taskFileAppender
      appender.task_file_appender.type = RollingFile
      appender.task_file_appender.fileName = ${sys:log.file}.task
      appender.task_file_appender.filePattern = ${sys:log.file}.task.%i
      appender.task_file_appender.layout.type = PatternLayout
      appender.task_file_appender.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
      appender.task_file_appender.policies.type = Policies
      appender.task_file_appender.policies.size.type = SizeBasedTriggeringPolicy
      appender.task_file_appender.policies.size.size=100MB
      appender.task_file_appender.strategy.type = DefaultRolloverStrategy
      appender.task_file_appender.strategy.max = 10
      

      上述配置将会创建一个名为 taskFileAppender 的 Appender 将 Task 相关的日志写入到 ${sys:log.file}.task 这个文件中。

    请确保替换 <level>${sys:log.file} 为适当的日志级别和实际日志文件路径。

    通过以上配置更改,Flink 的日志将按照 Job 文件名和 Task 文件名进行分隔写入不同的日志文件中。这样可以更好地区分和追踪不同的 Job 和 Task 的日志信息。

    2023-10-08 13:57:49
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载