MaxCompute SQL使用小技巧之多列转多行-阿里云开发者社区

MaxCompute SQL使用小技巧之多列转多行

2021-08-17 859

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月

云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月

简介： 上一篇分析了常用的行列转换，在这里补充一点使用posexplode函数进行多列转多行

我们知道SQL中有个explode函数，经常使用的也是该函数，但还有个函数posexplode用法和其类似，使用好这个函数，可以简化不少工作。话不多说，直接上示例。

案例：有一张表，其数据如下

seat_no	bd_time
A,B,C,D	8:00,8:10,8:20,8:30
H,I,J,K	9:10,9:20,9:30,9:40
...	...

展示如下：

sn	bt
A	8:00
B	8:10
C	8:20
D	8:30
...	...

分析：看到字段数据，可以想到使用lateral view explode展开，我们先使用explode展开看下

with tb1 as(select        seat_no,        bd_time
fromvalues('A,B,C,D','8:00,8:10,8:20,8:30'),('H,I,J,K','9:10,9:20,9:30,9:40')               t(seat_no,bd_time))select    seat_no,    bd_time,    exp_sn
from tb1 
    lateral view explode(split(seat_no,',')) t as exp_sn;--只展开seat_no 结果如下seat_no bd_time             exp_sn
A,B,C,D 8:00,8:10,8:20,8:30 A
A,B,C,D 8:00,8:10,8:20,8:30 B
A,B,C,D 8:00,8:10,8:20,8:30 C
A,B,C,D 8:00,8:10,8:20,8:30 D
H,I,J,K 9:10,9:20,9:30,9:40 H
H,I,J,K 9:10,9:20,9:30,9:40 I
H,I,J,K 9:10,9:20,9:30,9:40 J
H,I,J,K 9:10,9:20,9:30,9:40 K
select    seat_no,    bd_time,    exp_sn,    exp_bt
from tb1 
    lateral view explode(split(seat_no,',')) t as exp_sn
    lateral view explode(split(bd_time,',')) t as exp_bt;--两个字段均展开seat_no bd_time             exp_sn  exp_bt
A,B,C,D 8:00,8:10,8:20,8:30 A       8:00A,B,C,D 8:00,8:10,8:20,8:30 A       8:10A,B,C,D 8:00,8:10,8:20,8:30 A       8:20A,B,C,D 8:00,8:10,8:20,8:30 A       8:30A,B,C,D 8:00,8:10,8:20,8:30 B       8:00A,B,C,D 8:00,8:10,8:20,8:30 B       8:10A,B,C,D 8:00,8:10,8:20,8:30 B       8:20A,B,C,D 8:00,8:10,8:20,8:30 B       8:30A,B,C,D 8:00,8:10,8:20,8:30 C       8:00A,B,C,D 8:00,8:10,8:20,8:30 C       8:10A,B,C,D 8:00,8:10,8:20,8:30 C       8:20A,B,C,D 8:00,8:10,8:20,8:30 C       8:30A,B,C,D 8:00,8:10,8:20,8:30 D       8:00A,B,C,D 8:00,8:10,8:20,8:30 D       8:10A,B,C,D 8:00,8:10,8:20,8:30 D       8:20A,B,C,D 8:00,8:10,8:20,8:30 D       8:30H,I,J,K 9:10,9:20,9:30,9:40 H       9:10H,I,J,K 9:10,9:20,9:30,9:40 H       9:20H,I,J,K 9:10,9:20,9:30,9:40 H       9:30H,I,J,K 9:10,9:20,9:30,9:40 H       9:40H,I,J,K 9:10,9:20,9:30,9:40 I       9:10H,I,J,K 9:10,9:20,9:30,9:40 I       9:20H,I,J,K 9:10,9:20,9:30,9:40 I       9:30H,I,J,K 9:10,9:20,9:30,9:40 I       9:40H,I,J,K 9:10,9:20,9:30,9:40 J       9:10H,I,J,K 9:10,9:20,9:30,9:40 J       9:20H,I,J,K 9:10,9:20,9:30,9:40 J       9:30H,I,J,K 9:10,9:20,9:30,9:40 J       9:40H,I,J,K 9:10,9:20,9:30,9:40 K       9:10H,I,J,K 9:10,9:20,9:30,9:40 K       9:20H,I,J,K 9:10,9:20,9:30,9:40 K       9:30H,I,J,K 9:10,9:20,9:30,9:40 K       9:40

从上述结果可以看到，按两个字段展开相当于直接笛卡尔积了，在之前的文章中我们也分析过生成索引的posexplode函数，接下来我们加上索引试试看

select    seat_no,    bd_time,    inx_sn,    exp_sn
from tb1 
    lateral view posexplode(split(seat_no,',')) t as inx_sn,exp_sn;--只展开seat_no 结果如下seat_no bd_time inx_sn  exp_sn
A,B,C,D 8:00,8:10,8:20,8:300 A
A,B,C,D 8:00,8:10,8:20,8:301 B
A,B,C,D 8:00,8:10,8:20,8:302 C
A,B,C,D 8:00,8:10,8:20,8:303 D
H,I,J,K 9:10,9:20,9:30,9:400 H
H,I,J,K 9:10,9:20,9:30,9:401 I
H,I,J,K 9:10,9:20,9:30,9:402 J
H,I,J,K 9:10,9:20,9:30,9:403 K
select    seat_no,    bd_time,    inx_sn,    exp_sn,    inx_bt,    exp_bt
from tb1 
    lateral view posexplode(split(seat_no,',')) t as inx_sn,exp_sn
    lateral view posexplode(split(bd_time,',')) t as inx_bt,exp_bt;--两个字段均展开seat_no bd_time inx_sn  exp_sn  inx_bt  exp_bt
A,B,C,D 8:00,8:10,8:20,8:300 A 08:00A,B,C,D 8:00,8:10,8:20,8:300 A 18:10A,B,C,D 8:00,8:10,8:20,8:300 A 28:20A,B,C,D 8:00,8:10,8:20,8:300 A 38:30A,B,C,D 8:00,8:10,8:20,8:301 B 08:00A,B,C,D 8:00,8:10,8:20,8:301 B 18:10A,B,C,D 8:00,8:10,8:20,8:301 B 28:20A,B,C,D 8:00,8:10,8:20,8:301 B 38:30A,B,C,D 8:00,8:10,8:20,8:302 C 08:00A,B,C,D 8:00,8:10,8:20,8:302 C 18:10A,B,C,D 8:00,8:10,8:20,8:302 C 28:20A,B,C,D 8:00,8:10,8:20,8:302 C 38:30A,B,C,D 8:00,8:10,8:20,8:303 D 08:00A,B,C,D 8:00,8:10,8:20,8:303 D 18:10A,B,C,D 8:00,8:10,8:20,8:303 D 28:20A,B,C,D 8:00,8:10,8:20,8:303 D 38:30H,I,J,K 9:10,9:20,9:30,9:400 H 09:10H,I,J,K 9:10,9:20,9:30,9:400 H 19:20H,I,J,K 9:10,9:20,9:30,9:400 H 29:30H,I,J,K 9:10,9:20,9:30,9:400 H 39:40H,I,J,K 9:10,9:20,9:30,9:401 I 09:10H,I,J,K 9:10,9:20,9:30,9:401 I 19:20H,I,J,K 9:10,9:20,9:30,9:401 I 29:30H,I,J,K 9:10,9:20,9:30,9:401 I 39:40H,I,J,K 9:10,9:20,9:30,9:402 J 09:10H,I,J,K 9:10,9:20,9:30,9:402 J 19:20H,I,J,K 9:10,9:20,9:30,9:402 J 29:30H,I,J,K 9:10,9:20,9:30,9:402 J 39:40H,I,J,K 9:10,9:20,9:30,9:403 K 09:10H,I,J,K 9:10,9:20,9:30,9:403 K 19:20H,I,J,K 9:10,9:20,9:30,9:403 K 29:30H,I,J,K 9:10,9:20,9:30,9:403 K 39:40

从上述结果看，posexplode的索引的确省下了不少事，可以利用两个索引值相同进行过滤，可得到想要的结果

select    seat_no,    bd_time,    exp_sn,    exp_bt
from tb1 
    lateral view posexplode(split(seat_no,',')) t as inx_sn,exp_sn
    lateral view posexplode(split(bd_time,',')) t as inx_bt,exp_bt
where inx_sn = inx_bt;--结果如下seat_no bd_time exp_sn  exp_bt
A,B,C,D 8:00,8:10,8:20,8:30 A 8:00A,B,C,D 8:00,8:10,8:20,8:30 B 8:10A,B,C,D 8:00,8:10,8:20,8:30 C 8:20A,B,C,D 8:00,8:10,8:20,8:30 D 8:30H,I,J,K 9:10,9:20,9:30,9:40 H 9:10H,I,J,K 9:10,9:20,9:30,9:40 I 9:20H,I,J,K 9:10,9:20,9:30,9:40 J 9:30H,I,J,K 9:10,9:20,9:30,9:40 K 9:40

关于posexplode具体细节用法，可参考阿里云文档

https://help.aliyun.com/document_detail/293597.html#section-2yc-ymd-p11

拜了个拜

相关实践学习

基于MaxCompute的热门话题分析

本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。

SaaS 模式云数据仓库必修课

本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师大量数据需要处理、存储和管理，需要搭建数据仓库？学它！没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！出品人：阿里云大数据产品及研发团队专家产品 MaxCompute 官网 https://www.aliyun.com/product/odps 

MaxCompute SQL使用小技巧之多列转多行

热门文章

最新文章

相关课程

相关电子书

相关实验场景