大数据开发套件—调度运维常见问题

简介: 我们在使用进行大数据开发过程中,会遇到各种问题,本文将定期收集整理一些在使用阿里云数加大数据开发套件进行任务调度运维过程中遇到的常见问题,供大家参考~

我们在进行大数据开发过程中,会遇到各种问题,本文将定期收集整理一些在使用阿里云数加 大数据开发套件 时遇到的常见问题,供大家参考~

Q. 如果之前提交的任务修改后再次提交,是否会影响当天的任务调度?
A. 根据修改的内容来确定是否会影响:如果修改的只是 sql 语句,则不会影
响;如果修改自定义参数和调度配置以后重新提交的,都会影响当天的任
务调度 。

Q. 创建一个新的工作流任务,如果保存后没有提交任务,是否可以进行测试?
A. 仅保存后没有提交,sql 任务可以在本地运行,但不可以提交测试 。

Q. 项目管理下项目配置中的启动调度周期是什么意思?如图所示:

1
A. 若不启用调度周期,则 周期调度不可用, 也就不会生成新的调度实例 。

Q. 图片中的任务状态实际是暂停的,为什么统计的是失败?

2
A. 大数据开发套件中的暂停状态,就是失败,所以会放在失败里统计。此处建议如果用于紧急处理任务,减少对下游数据的影响,可以将其置为暂停状态;如果是不再使用的任务,建议删除 。

Q. 在大数据开发套件—运维中心中查看任务,显示全部失败?

3
A. 因为任务中配置了上游依赖,上游任务跑失败了,导致下游任务无法继续。

Q. 在大数据开发套件中进行补数据任务时,是否需要设置并发?
A. 补数据时不需要设置并发。

Q. 工作流任务设置为周期性调度,并且是自依赖的,有时上个周期的任务失败会导致下游任务都不能执行了。请问怎样手动启动下游任务?
A. 进入 运维中心-任务运维 页面,找到失败的任务,右击任务名称,需要重跑的任务就重跑,不需要重跑就直接选择置成功,并恢复调度,如下图所示:

32

Q. 若未成功的上游任务有很多,一个一个进行手动置成功比较麻烦,请问是否有办法先切断依赖,然后从某个时间点再运行吗?
A. 可以重新对某个时间短的数据进行补数据。

Q. 补某个时间段的数据没有问题,但是原来的任务由于上游出错,所有下游任务都不能运行了,应该怎么处理 ?
A. 需要先将这个任务暂停,提交,然后明天取消已暂停的任务,重新提交,后天就可以正常了。此处需要过一天后才能正常运行,未正常运行的,暂时通过补数据来完成。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
人工智能 DataWorks 大数据
大数据AI一体化开发再加速:DataWorks 支持GPU类型资源
大数据开发治理平台 DataWorks 的Serverless资源组支持GPU资源类型,以免运维、按需付费、弹性伸缩的Serverless架构,将大数据处理与AI开发能力无缝融合。面向大数据&AI协同开发场景,DataWorks提供了交互式开发和分析工具Notebook。开发者在创建个人开发环境时,可以选择GPU类型的资源作为Notebook运行环境,以支持进行高性能的计算工作。本教程将基于开源多模态大模型Qwen2-VL-2B-Instruct,介绍如何使用 DataWorks Notebook及LLaMA Factory训练框架完成文旅领域大模型的构建。
1055 24
|
运维 自然语言处理 算法
云栖实录 | 大模型在大数据智能运维的应用实践
云栖实录 | 大模型在大数据智能运维的应用实践
1817 3
|
机器学习/深度学习 人工智能 运维
智能化运维:AI与大数据在IT运维中的应用探索####
本文旨在探讨人工智能(AI)与大数据分析技术如何革新传统IT运维模式,提升运维效率与服务质量。通过具体案例分析,揭示AI算法在故障预测、异常检测及自动化修复等方面的实际应用成效,同时阐述大数据如何助力实现精准运维管理,降低运营成本,提升用户体验。文章还将简要讨论实施智能化运维面临的挑战与未来发展趋势,为IT管理者提供决策参考。 ####
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
687 1
|
机器学习/深度学习 人工智能 运维
智能运维:大数据与AI的融合之道###
【10月更文挑战第20天】 运维领域正经历一场静悄悄的变革,大数据与人工智能的深度融合正重塑着传统的运维模式。本文探讨了智能运维如何借助大数据分析和机器学习算法,实现从被动响应到主动预防的转变,提升系统稳定性和效率的同时,降低了运维成本。通过实例解析,揭示智能运维在现代IT架构中的核心价值,为读者提供一份关于未来运维趋势的深刻洞察。 ###
667 11
|
SQL 分布式计算 大数据
代码编码原则和规范大数据开发
此文档详细规定了SQL代码的编写规范,包括代码的清晰度,执行效率,以及注释的必要性。它强调所有SQL关键字需统一使用大写或小写,并禁止使用select *操作。此外,还规定了代码头部的信息模板,字段排列方式,INSERT, SELECT子句的格式,运算符的使用,CASE语句编写规则,查询嵌套规范,表别名定义,以及SQL注释的添加方法。这些规则有助于提升代码的可读性和可维护性。
400 0
|
SQL 分布式计算 大数据
大数据开发SQL代码编码原则和规范
这段SQL编码原则强调代码的功能完整性、清晰度、执行效率及可读性,通过统一关键词大小写、缩进量以及禁止使用模糊操作如select *等手段提升代码质量。此外,SQL编码规范还详细规定了代码头部信息、字段与子句排列、运算符前后间隔、CASE语句编写、查询嵌套、表别名定义以及SQL注释的具体要求,确保代码的一致性和维护性。
712 0
|
数据可视化
Echarts数据可视化开发| 智慧数据平台
Echarts数据可视化开发| 智慧数据平台
|
数据可视化
Echarts数据可视化大屏开发| 大数据分析平台
Echarts数据可视化大屏开发| 大数据分析平台

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute