配置ods_log_info_d节点。双击ods_log_info_d节点,进入节点配置页面。在节点编辑页面,编写如下语句。说明 如果您的工作空间绑定多个EMR引擎,需要选择EMR引擎。如果仅绑定一个EMR引擎,则无需选择。--创建ODS层表CREATE TABLE IF NOT EXISTS ods_log_info_d (ip STRING COMMENT 'ip地址',uid STRING COMMENT '用户ID',time STRING COMMENT '时间yyyymmddhh:mi:ss',status STRING COMMENT '服务器返回状态码',bytes STRING COMMENT '返回给客户端的字节数',region STRING COMMENT '地域,根据ip得到',method STRING COMMENT 'http请求类型',url STRING COMMENT 'url',protocol STRING COMMENT 'http协议版本号',referer STRING COMMENT '来源url',device STRING COMMENT '终端类型 ',identity STRING COMMENT '访问类型 crawler feed user unknown')PARTITIONED BY (dt STRING);create function getregion as 'org.alidata.emr.udf.Ip2Region'using jar 'oss://dw-emr-demo/ip2region/ip2region-emr.jar';ALTER TABLE ods_log_info_d ADD IF NOT EXISTS PARTITION (dt=unknown);set hive.vectorized.execution.enabled = false;INSERT OVERWRITE TABLE ods_log_info_d PARTITION (dt=unknown)SELECT ip, uid, tm, status, bytes, getregion(ip) AS region --使用自定义UDF通过ip得到地域。, regexp_extract(request,
https://help.aliyun.com/document_detail/146698.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。