DataWorks中如何创建PyODPS 3节点创建PyODPS 3节点?
在DataWorks中创建PyODPS 3节点的步骤如下:
进入DataWorks工作区,在左侧“项目空间”里选择需要创建PyODPS 3节点的项目。
点击“数据开发”模块,在“数据开发”页面左上方的“新建”按钮下拉菜单中选择“PyODPS 3节点”。
在弹出的“创建PyODPS 3节点”对话框中,填写节点名称、节点描述、节点运行引擎和资源组等信息。
在“节点内容”区域中编写PyODPS 3节点的代码。您可以使用Python编写代码,然后调用PyODPS库连接ODPS服务进行数据处理。
点击“确定”按钮,完成PyODPS 3节点的创建。
在“数据开发”页面中,找到创建的PyODPS 3节点,可以进行运行、调试、编辑等操作。
在阿里云DataWorks中,您可以通过以下步骤来创建一个包含3个节点的PyODPS任务:
请注意,在每个节点中,您可以编写不同的PyODPS代码,实现更复杂的数据处理逻辑。同时,您也可以在节点之间设置数据依赖关系,以确保任务的执行顺序和数据流动。
以上是一个简单的示例来创建一个包含3个节点的PyODPS任务。您可以根据具体需求和数据处理逻辑进行自定义配置。
进入数据开发页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。鼠标悬停至
图标,单击MaxCompute > PyODPS 3。您也可以展开业务流程目录下的目标业务流程,右键单击MaxCompute,选择新建 > PyODPS 3。如果您需要创建业务流程,请参见创建业务流程。在新建节点对话框中,输入节点名称,并选择目标文件夹。说明 节点名称必须是大小写字母、中文、数字、下划线(_)和小数点(.),且不能超过128个字符。单击提交。编辑并执行PyODPS 3节点。例如,您在使用execute_sql接口时,需要手动设置SQL运行参数。详情请参见执行SQL。hints={'odps.sql.python.version': 'cp37', 'odps.isolation.session.enable': True}当您使用DataFrame自定义函数(df.map、df.map_reduce、df.apply和df.agg)时,请进行如下设置。hints={'odps.isolation.session.enable': True}PyODPS会根据客户端使用的Python版本决定UDF的运行环境,提交SQL查询语句。例如,通过公共Python UDF执行DataFrame,在客户端使用Python 3时,会根据Python 3进行解释。如果相应的UDF使用print语句等Python 2特有的语法或库,执行语句会报ScriptError的错误。如果您需要在PyODPS 2节点中调用第三方包,请参见在PyODPS节点中调用第三方包。单击节点编辑区域右侧的调度配置,配置节点的调度属性,详情请参见基础属性。保存并提交节点。注意 您需要设置节点的重跑属性和依赖的上游节点,才可以提交节点。单击工具栏中的
图标,保存节点。单击工具栏中的//help-static-aliyun-doc.aliyuncs.com
https://help.aliyun.com/document_detail/167964.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。