电商项目之 DWD 用户启动日志表 SQL 实现(下)|学习笔记

简介: 快速学习电商项目之 DWD 用户启动日志表 SQL 实现(下)

开发者学堂课程【新电商大数据平台2020最新课程电商项目之 DWD 用户启动日志表 SQL 实现(下)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/640/detail/10524


电商项目之 DWD 用户启动日志表 SQL 实现(下)

 

时间段可以分为四个字段,早上,上午,下午 ,晚上,通过这四个字段来判断时间,用户行为日志表里面有一个时间是ct,取时间戳,时间戳保留到毫秒,转换下在经过计算操作,先把时间转换下。

image.png

先取 ct,放两个值,这职业是要做的时间戳,小时是 HH,这么解析一定报错,需要转换一下。

用 cast 单独去计算找到时间,转换成一个 int 类型,默认是 string 类型。

Jet hive. exec. dynamic. partition-true;

set hive. exec. dynamic. partition, mode=nonstrict;

insert. overwrite table _nshop. dwd_nshop_actlog_launch partition( bdp_day="20200321")

select

customer id,

device_num,

device_type,

os,

os_version,

manufacturer,

carrier,

network_type,

area code,

from_unixtime(cast(ct/1000 as int), 'yyyMMdd’),

ct,

bdp_day

from ods_nshop. ods_nshop_01_useractlog

where

bdp_day=20200321

and

action='02'

试一下是06,当然取的时候也可以取时分秒,去 yyyMMdd,20190908,这是一个时间。

时间段没必要过于纠结,时间段加一个判断,当他是某个值的时候,可以重新处理。这个时间段后面再加,用SQL进行操作表的时候,或处理的时候,比较有意义。

现在的数据需要跑任务,把数据插入到 dwd 用户行为日志表当中,加入需要写 insert 或者 into,动态传入一下,这里面还需要一个字段,还需要一个生产时间,直接获取 ct。

如果用动态穿插的方式,字段就不匹配了,里面多了一个字段,需要把最后一个字段充当分析字段。上面有 bdp 的字段,配置相应的参数,开启动态穿插。

现在是没有开启的,先开启动态穿插,复制一下,可以设置分区字段的数量。

运营一下,把两个机制开启,创建一个 user,需要配置一个文件夹,然后看是否有,再跑一下。有3个 job,本地模式比较好,比较慢。

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
2月前
|
SQL 存储 监控
SQL日志优化策略:提升数据库日志记录效率
通过以上方法结合起来运行调整方案, 可以显著地提升SQL环境下面向各种搜索引擎服务平台所需要满足标准条件下之数据库登记作业流程综合表现; 同时还能确保系统稳健运行并满越用户体验预期目标.
215 6
|
3月前
|
算法 数据挖掘 数据库
通过 SQL 快速使用 OceanBase 向量检索学习笔记
通过 SQL 快速使用 OceanBase 向量检索学习笔记
|
3月前
|
SQL 数据库
SQL 学习笔记 - 多表关系与多表查询
数据库多表关系包括一对多、多对多和一对一,常用外键关联。多表查询方式有隐式/显式内连接、外连接、子查询等,支持别名和条件筛选。子查询分为标量、列、行、表子查询,常用于复杂查询场景。
|
SQL 存储 缓存
MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
本文详细介绍了MySQL中update SQL执行过程涉及的undoLog、redoLog和binLog三种日志的作用及其工作原理,包括它们如何确保数据的一致性和完整性,以及在事务提交过程中各自的角色。同时,文章还探讨了这些日志在故障恢复中的重要性,强调了合理配置相关参数对于提高系统稳定性的必要性。
|
PyTorch 算法框架/工具
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
本文介绍了PyTorch中的F.softmax()和F.log_softmax()函数的语法、参数和使用示例,解释了它们在进行归一化处理时的作用和区别。
1353 1
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
|
SQL 数据库
为什么 SQL 日志文件很大,我应该如何处理?
为什么 SQL 日志文件很大,我应该如何处理?
|
关系型数据库 MySQL 网络安全
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
|
SQL 存储 监控
SQL Server的并行实施如何优化?
【7月更文挑战第23天】SQL Server的并行实施如何优化?
563 13