电商项目之总体运营指标统计表执行 Log 讲解|学习笔记

简介: 快速学习电商项目之总体运营指标统计表执行 Log 讲解

开发者学堂课程【新电商大数据平台2020最新课程电商项目之总体运营指标统计表执行 Log 讲解】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/640/detail/10564


电商项目之总体运营指标统计表执行 Log 讲解

 

电商项目已经快到了收尾阶段,在上节中试验了总体运营指标统计表,在上节课中已经运营完成,本节课查看任务,然后补全这个表。

在 select 前加上以下内容,这样才算完整的代码。在总体运营指标统计表4x【ADS】中拷贝以下内容:

insert overwrite table ads_nshop.ads_ nshop_oper_ stat partition(bdp_day= ' 20200321')

进行保存,就是完整的 sercue.

再复习一遍日志,因为任务比较多,里面总共产生了14个任务。

Launching job 1 out of 14是开始执行的第一个任务,第一个任务比较长,并且任务执行的速度比较慢,因为资源比较有限。

然后接着开始运行其他的任务,期间略过了第五个任务,因为第五个任务没有什么可以操作的。stage-Stage-14: Map: 1Cumulative CPU: 1.86secHDFS Read: 35270 HLTotal MapReduce CPu Time Spent: 1 minutes 13 Keconds 810 msec 显示了整体运行的时间。,虽然速度比较慢,但是运行结果都是 success。

这个表应该就是最长的一个 sercue,所以在统计运营指标时,里面的一些计算可能比较复杂。customer_natives stringCON4ENT‘所在地区',--consignee_zipcode stringCOPMENT 收货人地区",如果大家将收货人地区再添加进去,就会更加麻烦。其实这两个意思是相近的。

order_counts int comment "订单数",

order_rate int comment"下单率',

order_amounts int comment '销售总金额",

order_discounts int comment"优惠总金额',

shipping_amounts int comment "运费总金额",per_customer_transaction int comment '客单价")

partitioned by (bdp_day string)

stored as parquet

location"/data/nshop/ads/operation/ ads_nshop_oper_stat/'

以上的内容都是应用下面的 sercue 实现的,大家可以自己尝试运行,时间也不算长2-3分钟就可以实现。

select

od.customer_gender,

od.customer_age_range,

od.custoemr_ natives ,

od.category_ code,

od. order counts/pdview.pdview_count order_rate,

od. order_ amounts,

od.order_ discounts,

od. shipping_amounts,

od.per_ customer_transaction

from

od

join

pdview

on

od.customer_gender = pdvi ew. cuS tomer_gender  

and

od.customer_age_range = pdview.customer_age_ range

and

od.customer_ natives =pdview. custoear_natives

od.category_code =pdview. category_code

最后运行结果如下:

(整体结果可以,就是慢一点)

image.png

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
9月前
|
Java 微服务 Spring
微服务——SpringBoot使用归纳——Spring Boot使用slf4j进行日志记录——使用Logger在项目中打印日志
本文介绍了如何在项目中使用Logger打印日志。通过SLF4J和Logback,可设置不同日志级别(如DEBUG、INFO、WARN、ERROR)并支持占位符输出动态信息。示例代码展示了日志在控制器中的应用,说明了日志配置对问题排查的重要性。附课程源码下载链接供实践参考。
1070 0
|
7月前
|
Java 应用服务中间件 Linux
Tomcat运行日志字符错乱/项目启动时控制台日志乱码问题
总结: 通过以上几种方法,概括如下:指定编码格式、设置JVM的文件编码、修改控制台输出编码、修正JSP页面编码和设置过滤器。遵循这些步骤,你可以依次排查和解决Tomcat运行日志字符错乱及项目启动时控制台日志乱码问题。希望这些建议能对你的问题提供有效的解决方案。
1437 16
|
12月前
|
人工智能 监控 算法
3D-Speaker:阿里通义开源的多模态说话人识别项目,支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
3D-Speaker是阿里巴巴通义实验室推出的多模态说话人识别开源项目,结合声学、语义和视觉信息,提供高精度的说话人识别和语种识别功能。项目包含工业级模型、训练和推理代码,以及大规模多设备、多距离、多方言的数据集,适用于多种应用场景。
3034 18
3D-Speaker:阿里通义开源的多模态说话人识别项目,支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
|
12月前
|
Java Maven
java项目中jar启动执行日志报错:no main manifest attribute, in /www/wwwroot/snow-server/z-server.jar-jar打包的大小明显小于正常大小如何解决
在Java项目中,启动jar包时遇到“no main manifest attribute”错误,且打包大小明显偏小。常见原因包括:1) Maven配置中跳过主程序打包;2) 缺少Manifest文件或Main-Class属性。解决方案如下:
2751 8
java项目中jar启动执行日志报错:no main manifest attribute, in /www/wwwroot/snow-server/z-server.jar-jar打包的大小明显小于正常大小如何解决
|
PyTorch 算法框架/工具
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
本文介绍了PyTorch中的F.softmax()和F.log_softmax()函数的语法、参数和使用示例,解释了它们在进行归一化处理时的作用和区别。
1353 1
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
|
JSON Java 数据库
SpringBoot项目使用AOP及自定义注解保存操作日志
SpringBoot项目使用AOP及自定义注解保存操作日志
306 1
|
jenkins 持续交付
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
|
JSON 中间件 Go
go语言后端开发学习(四) —— 在go项目中使用Zap日志库
本文详细介绍了如何在Go项目中集成并配置Zap日志库。首先通过`go get -u go.uber.org/zap`命令安装Zap,接着展示了`Logger`与`Sugared Logger`两种日志记录器的基本用法。随后深入探讨了Zap的高级配置,包括如何将日志输出至文件、调整时间格式、记录调用者信息以及日志分割等。最后,文章演示了如何在gin框架中集成Zap,通过自定义中间件实现了日志记录和异常恢复功能。通过这些步骤,读者可以掌握Zap在实际项目中的应用与定制方法
684 1
go语言后端开发学习(四) —— 在go项目中使用Zap日志库
|
开发框架 .NET Docker
【Azure 应用服务】App Service .NET Core项目在Program.cs中自定义添加的logger.LogInformation,部署到App Service上后日志不显示Log Stream中的问题
【Azure 应用服务】App Service .NET Core项目在Program.cs中自定义添加的logger.LogInformation,部署到App Service上后日志不显示Log Stream中的问题
207 1

热门文章

最新文章