DataWorks中台执行周期任务重跑节点查看运行日志,查看sql的直接结果,只能看1万条,后边的数据要怎么看呢?
在DataWorks中,对于周期任务重跑节点查看运行日志和SQL直接结果,可能会有一些限制。其中,查看SQL直接结果只能显示1万条数据,后续的数据可能会显示为"?"。
这个限制是由DataWorks平台的设计所决定的,旨在避免在Web界面上加载大量数据而导致性能问题。为了查看更多的数据,你可以考虑以下方法:
导出数据:如果你需要查看完整的SQL直接结果,可以选择将数据导出到本地或其他存储介质,以便在本地进行查看和分析。DataWorks提供了导出数据的功能,你可以将数据导出为CSV、Excel等格式,并下载到本地进行查看。
限制数据量:如果你只关注部分数据,可以在SQL中使用LIMIT或筛选条件来限制结果集的大小。通过限制数据量,你可以在DataWorks中直接查看较小的结果集。
使用DataWorks的数据开发工具:DataWorks提供了数据开发工具,如MaxCompute控制台或DataWorks Studio,这些工具可以更方便地执行SQL并查看结果。这些工具通常提供更多的功能和选项,以处理和展示大量数据。
在DataWorks中台中执行周期任务并查看运行日志时,默认情况下只能显示1万条日志记录。如果您需要查看更多的数据,可以尝试以下方法:
调整查询结果的显示数量:在日志查询页面的右上角,有一个"显示条数"的选项,点击该选项可以选择显示更多的日志记录,最多可显示10万条。
导出运行日志:如果需要查看超过10万条的日志记录,您可以尝试将运行日志导出为文件进行查看。在日志查询页面中,找到"导出"按钮,选择导出格式(例如txt或csv),然后下载导出的文件进行查看。
使用分页查看:如果您希望以分页方式查看运行日志,可以使用分页功能。在日志查询页面的底部,有一个分页工具栏,您可以选择不同的页码查看不同的日志记录。
使用关键词搜索:如果您知道关键词或特定信息,您可以使用关键词搜索功能来筛选和查找相关的日志记录。在日志查询页面的上方,有一个搜索框,输入关键词后,系统会自动筛选显示与关键词相关的日志记录。
请注意,在数据量较大的情况下,导出所有日志可能会占用较长时间和资源。建议根据需求选择合适的方法来获取和查看所需的日志信息。
全量需要下载查看 ,下载数据。
【下载方式一】DataStudio查询结果下载
限制:上限1万条。
step1:项目管理员角色设置项目开启允许下载。
step2:DataStudio查询结果下载
【下载方式二】数据分析查询结果下载
限制:,DataWorks标准版及以上上限20万条,基础版上限1万条。仅阿里云主账号和租户管理员可以访问编辑。
step1:安全中心>安全策略>数据查询与分析管控,开启下载
新版本:
老版本:数据分析-系统管理-设置允许下载。
step2:SQL查询结果下载。
【下载方式三】SQLTask配合Tunnel实现量数据导出
限制:支持全量下载。
查看文档 SQLTask配合Tunnel实现大量数据导出。
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。