在Elasticsearch上创建源表。详情请参见通过DataWorks将MaxCompute数据同步至Elasticsearch。在MaxCompute上创建目标表。登录DataWorks控制台。右键单击已创建的业务流程,选择新建 > MaxCompute > 表。在新建表页面,选择引擎类型并输入表名。在表的编辑页面,单击DDL模式。在DDL模式对话框,输入如下建表语句,单击生成表结构。create table elastic2mc_bankdata(age string,job string,marital string,education string,default string,housing string,loan string,contact string,month string,day of week string);单击提交到生产环境。同步数据进入数据开发页面,右键单击指定业务流程,选择新建 > 数据集成 > 离线同步。在新建节点对话框中,输入节点名称,并单击提交。在顶部菜单栏上,单击
图标。在脚本模式下,单击顶部菜单栏上的
图标。在导入模板对话框中选择来源类型、数据源、目标类型及数据源,并单击确定。配置脚本。示例代码如下。代码释义请参见Elasticsearch Reader。{"type": "job","steps": [{"stepType": "elasticsearch","parameter": {"retryCount": 3,"column": ["age","job","marital","education","default","housing","loan","contact","month","day_of_week","duration","campaign","pdays","previous","poutcome","emp_var_rate","cons_price_idx","cons_co
https://help.aliyun.com/document_detail/121100.html
配置数据质量监控可以参考这部分 https://help.aliyun.com/zh/dataworks/getting-started/configure-rules-to-monitor-data-quality?spm=a2c4g.11186623.0.i1#683b4500277rs:~:text=%E4%B8%8B%E6%96%87%E6%93%8D%E4%BD%9C%E3%80%82-,%E9%85%8D%E7%BD%AE,-%E8%B4%A8%E9%87%8F%E7%9B%91%E6%8E%A7,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
可以通过以下步骤创建MaxCompute表: 登录DataWorks控制台,并进入目标项目的数据开发空间。 在数据开发空间的左侧导航栏中,选择数据开发模块,然后选择MaxCompute开发。 在MaxCompute开发页面,点击左上角的新建按钮(加号图标),选择“创建表”。 在创建表页面,填写表的基本信息,包括表名、表所属的数据库、表的描述等。
创建并使用MaxCompute表https://help.aliyun.com/zh/dataworks/user-guide/create-and-manage-maxcompute-tables?spm=a2c4g.11186623.0.i82
进入数据开发(DataStudio)
登录DataWorks控制台,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发。
新建MaxCompute表
您可在DataWorks表管理目录中新建,也可在具体业务流程下,针对该业务流程新建相关表。DataWorks支持通过DDL与可视化编辑两种方式分别创建开发表与生产表。
新建表入口
基于表管理新建
在数据开发(DataStudio)左侧导航栏选择表管理,单击新建图标新建。若左侧导航栏无表管理模块,可参考界面定制添加。
基于具体业务流程新建
DataWorks通过业务流程组织与管理代码,您可基于业务流程创建该业务的相关表。若还未创建业务流程,请先参考业务流程创建。在已有业务流程的情况下,可右键单击相应业务流程,选择MaxCompute > 表。
配置表基本信息
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。