开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中台执行周期任务重跑节点查看运行日志,查看sql的直接结果,只能看1万条,后边的?

DataWorks中台执行周期任务重跑节点查看运行日志,查看sql的直接结果,只能看1万条,后边的数据要怎么看呢?

展开
收起
真的很搞笑 2023-07-22 16:12:22 118 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在DataWorks中,对于周期任务重跑节点查看运行日志和SQL直接结果,可能会有一些限制。其中,查看SQL直接结果只能显示1万条数据,后续的数据可能会显示为"?"。

    这个限制是由DataWorks平台的设计所决定的,旨在避免在Web界面上加载大量数据而导致性能问题。为了查看更多的数据,你可以考虑以下方法:

    导出数据:如果你需要查看完整的SQL直接结果,可以选择将数据导出到本地或其他存储介质,以便在本地进行查看和分析。DataWorks提供了导出数据的功能,你可以将数据导出为CSV、Excel等格式,并下载到本地进行查看。

    限制数据量:如果你只关注部分数据,可以在SQL中使用LIMIT或筛选条件来限制结果集的大小。通过限制数据量,你可以在DataWorks中直接查看较小的结果集。

    使用DataWorks的数据开发工具:DataWorks提供了数据开发工具,如MaxCompute控制台或DataWorks Studio,这些工具可以更方便地执行SQL并查看结果。这些工具通常提供更多的功能和选项,以处理和展示大量数据。

    2023-07-30 17:00:31
    赞同 展开评论 打赏
  • 在DataWorks中台中执行周期任务并查看运行日志时,默认情况下只能显示1万条日志记录。如果您需要查看更多的数据,可以尝试以下方法:

    1. 调整查询结果的显示数量:在日志查询页面的右上角,有一个"显示条数"的选项,点击该选项可以选择显示更多的日志记录,最多可显示10万条。

    2. 导出运行日志:如果需要查看超过10万条的日志记录,您可以尝试将运行日志导出为文件进行查看。在日志查询页面中,找到"导出"按钮,选择导出格式(例如txt或csv),然后下载导出的文件进行查看。

    3. 使用分页查看:如果您希望以分页方式查看运行日志,可以使用分页功能。在日志查询页面的底部,有一个分页工具栏,您可以选择不同的页码查看不同的日志记录。

    4. 使用关键词搜索:如果您知道关键词或特定信息,您可以使用关键词搜索功能来筛选和查找相关的日志记录。在日志查询页面的上方,有一个搜索框,输入关键词后,系统会自动筛选显示与关键词相关的日志记录。

    请注意,在数据量较大的情况下,导出所有日志可能会占用较长时间和资源。建议根据需求选择合适的方法来获取和查看所需的日志信息。

    2023-07-23 13:00:07
    赞同 展开评论 打赏
  • 全量需要下载查看 ,下载数据。

    【下载方式一】DataStudio查询结果下载
    限制:上限1万条。
    step1:项目管理员角色设置项目开启允许下载。

    step2:DataStudio查询结果下载

    【下载方式二】数据分析查询结果下载
    限制:,DataWorks标准版及以上上限20万条,基础版上限1万条。仅阿里云主账号和租户管理员可以访问编辑。
    step1:安全中心>安全策略>数据查询与分析管控,开启下载
    新版本:

    老版本:数据分析-系统管理-设置允许下载。

    step2:SQL查询结果下载。

    【下载方式三】SQLTask配合Tunnel实现量数据导出
    限制:支持全量下载。
    查看文档 SQLTask配合Tunnel实现大量数据导出。
    image.png
    image.png
    image.png
    image.png
    image.png
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-22 16:32:51
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载