开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks,怎麽查看程序日志?正在運行的任務?

dataworks,怎麽查看程序日志?正在運行的任務?

展开
收起
真的很搞笑 2023-10-29 17:45:25 108 0
4 条回答
写回答
取消 提交回答
  • 在DataWorks中,要查看程序日志和正在运行的任务,您可以遵循以下步骤:

    1. 首先,打开DataWorks的界面并导航至"数据开发"。
    2. 进入"数据开发"后,您会看到"运行历史"面板。这个面板会展示最近三天您在这个界面所有运行过的任务记录。只需单击相应的任务,即可查看运行日志。
    3. 对于实时计算任务,您可以转到"实时计算任务"页面。这里展示了任务实例的基本信息及运行详情,使您能够方便地查看目标任务的运行情况。同时,该页面还提供了监控报警功能,当任务运行出错时,您可以及时发现并处理异常。
    4. 若遇到任务未运行的情况,建议您使用"DAG面板"中的上游分析功能来快速定位阻塞当前任务运行的关键上游任务。进一步地,通过运行诊断功能,您可以诊断关键实例未运行的原因或存在的问题。特别是当任务依赖复杂时,该功能能够帮助您快速、高效地定位问题,从而提升运维效率。
    2023-10-30 21:46:45
    赞同 展开评论 打赏
  • 在DataWorks中,你可以通过以下步骤查看正在运行的作业的日志:

    1. 登录到DataWorks的控制台。

    2. 在左侧导航栏中,选择数据开发。

    3. 在数据开发页面中,找到你想要查看日志的作业。

    4. 点击日志按钮,进入日志查看页面。

    5. 在日志查看页面中,你可以看到作业的详细日志。你可以通过滚动页面或者使用搜索功能来查找你想要的日志信息。

    2023-10-30 15:34:18
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks提供了一些工具和方法来帮助用户查看程序日志和正在运行的任务。

    1. 查看程序日志:

      DataWorks提供了一个名为Logtail的日志采集工具,可以收集并上传日志到DataWorks Log Service中供分析和查询。具体步骤如下:

      • 在工作空间中创建或配置一个 Logstore。
      • 在服务器端安装并配置 Logtail 客户端。
      • 将日志发送至 Logtail,由 Logtail 进行收集和上传。

      上述过程中,您还可以通过控制台实时查看日志的收集情况和错误信息等。

    2. 查看正在运行的任务:

      DataWorks提供了一个作业运维功能,可以帮助用户管理和查看正在运行的任务。

      • 登录 DataWorks 控制台。
      • 选择目标工作空间。
      • 在左侧导航栏中,依次展开“计算开发”-> “作业运维”菜单。
      • 在右侧的“作业列表”区域,您可以查看所有正在运行的任务及其状态信息。

      同时,DataWorks还提供了一个定时任务功能,您可以设置定时任务来定期运行某些任务,并且可以在作业运维中查看定时任务的状态和结果。

    2023-10-30 14:46:24
    赞同 展开评论 打赏
    1. 如果是在数据开发界面执行的,可以在运行历史或冒烟测试记录中查看历史的运行日志。
      运行历史保留近3天的记录。
      image.png

    如果是在运维中心中执行的,可以对实例右键查看运行日志或使用运行诊断。

    实例保存30天;
    独享调度资源组的实例日志runlog保存30天;
    公共调度资源组的实例日志runlog保存7天,运行完成的实例大于3m的每天定时清理。
    image.png
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-29 22:32:05
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载