DataWorks如何创建ODPS Spark节点创建Python资源?
**在数据开发页面,鼠标悬停至 图标,单击MaxCompute > 资源 > Python。您也可以找到相应的业务流程,右键单击MaxCompute,选择新建 > 资源 > Python。在新建资源对话框中,输入资源名称,并选择目标文件夹。说明如果绑定多个实例,则需要选择MaxCompute引擎实例。资源名称只能包含中文、字母、数字、点、下划线(_)、减号(-),且必须加后缀名.py。创建的Python资源仅支持Python 2.x和Python 3.x版本的Python代码。单击新建。在节点的编辑页面,输入Python代码。代码示例如下,仅进行校检数值判断,非数据业务处理逻辑。# -- coding: utf-8 --import sysfrom pyspark.sql import SparkSessiontry:# for python 2reload(sys)sys.setdefaultencoding('utf8')except:# python 3 not neededpassif name == 'main':spark = SparkSession.builder.appName("spark sql").config("spark.sql.broadcastTimeout", 20 * 60).config("spark.sql.crossJoin.enabled", True).config("odps.exec.dynamic.partition.mode", "nonstrict").config("spark.sql.catalogImplementation", "odps").getOrCreate()def is_number(s):try:float(s)return Trueexcept ValueError:passtry:import unicodedataunicodedata.numeric(s)return Trueexcept (TypeError, ValueError):passreturn Falseprint(is_numb https://help.aliyun.com/document_detail/137513.html ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。