hive与postgresql 之爆炸函数

本文涉及的产品
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: hive与postgresql 之爆炸函数

1:postgresql炸裂详解

炸裂函数regexp_split_to_table
select regexp_split_to_table('飞机,火车,地铁,汽车',  ',' )                    以逗号切分,转为数据集
select regexp_split_to_array('飞机,火车,地铁,汽车', ',' )                     转为数组
select (regexp_split_to_array('飞机,火车,地铁,汽车',  ',' ))[1]               取数组的第二个元素
select regexp_split_to_table('F:\QH本部文件\一套表部署相关\test.sh','\\')         正则匹配
array_agg(expression)       把表达式变成一个数组 一般配合 array_to_string() 函数使用
select nameid, array_agg(traffic ) from dbscheme.test0001 group by nameid order by nameid ;   变为数组
string_agg(expression, delimiter)    直接把一个表达式变成字符串
select nameid, string_agg(traffic,',') , update_time from dbscheme.test0001   
group by nameid,update_time order by  nameid,update_time;                     //相同id 的连接到一起,逗号分隔
select nameid, array_to_string(array_agg(traffic),',') from dbscheme.test0001 group by nameid order by nameid ; .数组转字符串

2:hive炸裂详解

+----------+----------------------+--+
|   a.id   |        a.tim         |
+----------+----------------------+--+
| a,b,c,d  | 2:00,3:00,4:00,5:00  |
| f,b,c,d  | 1:10,2:20,3:30,4:40  |
+----------+----------------------+--+

explode 炸裂函数,一列变多行。

select id,tim,single_tim 
from atlasdemo.a 
lateral view explode(split(tim,',')) t as single_tim
+----------+----------------------+-------------+--+
|    id    |         tim          | single_tim  |
+----------+----------------------+-------------+--+
| a,b,c,d  | 2:00,3:00,4:00,5:00  | 2:00        |
| a,b,c,d  | 2:00,3:00,4:00,5:00  | 3:00        |
| a,b,c,d  | 2:00,3:00,4:00,5:00  | 4:00        |
| a,b,c,d  | 2:00,3:00,4:00,5:00  | 5:00        |
| f,b,c,d  | 1:10,2:20,3:30,4:40  | 1:10        |
| f,b,c,d  | 1:10,2:20,3:30,4:40  | 2:20        |
| f,b,c,d  | 1:10,2:20,3:30,4:40  | 3:30        |
| f,b,c,d  | 1:10,2:20,3:30,4:40  | 4:40        |
+----------+----------------------+-------------+--+

posexplode炸裂除了会炸开数组/map,还会对应生成索引下标。

select id,tim,single_id_index,single_id 
from atlasdemo.a 
lateral view posexplode(split(id,',')) t as single_id_index, single_id;
+----------+----------------------+------------------+------------+--+
|    id    |         tim          | single_id_index  | single_id  |
+----------+----------------------+------------------+------------+--+
| a,b,c,d  | 2:00,3:00,4:00,5:00  | 0                | a          |
| a,b,c,d  | 2:00,3:00,4:00,5:00  | 1                | b          |
| a,b,c,d  | 2:00,3:00,4:00,5:00  | 2                | c          |
| a,b,c,d  | 2:00,3:00,4:00,5:00  | 3                | d          |
| f,b,c,d  | 1:10,2:20,3:30,4:40  | 0                | f          |
| f,b,c,d  | 1:10,2:20,3:30,4:40  | 1                | b          |
| f,b,c,d  | 1:10,2:20,3:30,4:40  | 2                | c          |
| f,b,c,d  | 1:10,2:20,3:30,4:40  | 3                | d          |
+----------+----------------------+------------------+------------+--+

如果想实现对两列听同事进行多行转换,那么用explode()函数就不能实现了,

但可以用posexplode()函数,因为该函数可以将index和数据都取出来,

使用两次posexplode并令两次取到的index相等就行了。

select id,tim,single_id,single_tim from atlasdemo.a 
lateral view posexplode(split(id,',')) t as single_id_index, single_id
lateral view posexplode(split(tim,',')) t as single_yim_index, single_tim
where single_id_index = single_yim_index;
+----------+----------------------+------------+-------------+--+
|    id    |         tim          | single_id  | single_tim  |
+----------+----------------------+------------+-------------+--+
| a,b,c,d  | 2:00,3:00,4:00,5:00  | a          | 2:00        |
| a,b,c,d  | 2:00,3:00,4:00,5:00  | b          | 3:00        |
| a,b,c,d  | 2:00,3:00,4:00,5:00  | c          | 4:00        |
| a,b,c,d  | 2:00,3:00,4:00,5:00  | d          | 5:00        |
| f,b,c,d  | 1:10,2:20,3:30,4:40  | f          | 1:10        |
| f,b,c,d  | 1:10,2:20,3:30,4:40  | b          | 2:20        |
| f,b,c,d  | 1:10,2:20,3:30,4:40  | c          | 3:30        |
| f,b,c,d  | 1:10,2:20,3:30,4:40  | d          | 4:40        |
+----------+----------------------+------------+-------------+--+




相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
24天前
|
关系型数据库 Serverless 定位技术
PostgreSQL GIS函数判断两条线有交点的函数是什么?
PostgreSQL GIS函数判断两条线有交点的函数是什么?
138 60
|
5天前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
19 4
|
5天前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
16 2
|
1月前
|
SQL JavaScript 前端开发
Hive根据用户自定义函数、reflect函数和窗口分析函数
Hive根据用户自定义函数、reflect函数和窗口分析函数
26 6
|
5月前
|
SQL HIVE
hive高频函数(一)
hive高频函数(一)
44 0
|
2月前
|
SQL 自然语言处理 关系型数据库
在 PostgreSQL 中使用 `REPLACE` 函数
【8月更文挑战第8天】
610 9
在 PostgreSQL 中使用 `REPLACE` 函数
|
1月前
|
SQL 关系型数据库 C语言
PostgreSQL SQL扩展 ---- C语言函数(三)
可以用C(或者与C兼容,比如C++)语言编写用户自定义函数(User-defined functions)。这些函数被编译到动态可加载目标文件(也称为共享库)中并被守护进程加载到服务中。“C语言函数”与“内部函数”的区别就在于动态加载这个特性,二者的实际编码约定本质上是相同的(因此,标准的内部函数库为用户自定义C语言函数提供了丰富的示例代码)
|
2月前
|
关系型数据库 PostgreSQL
PostgreSQL的null值函数
【8月更文挑战第20天】PostgreSQL的null值函数
55 3
|
2月前
|
SQL 关系型数据库 MySQL
SQL Server、MySQL、PostgreSQL:主流数据库SQL语法异同比较——深入探讨数据类型、分页查询、表创建与数据插入、函数和索引等关键语法差异,为跨数据库开发提供实用指导
【8月更文挑战第31天】SQL Server、MySQL和PostgreSQL是当今最流行的关系型数据库管理系统,均使用SQL作为查询语言,但在语法和功能实现上存在差异。本文将比较它们在数据类型、分页查询、创建和插入数据以及函数和索引等方面的异同,帮助开发者更好地理解和使用这些数据库。尽管它们共用SQL语言,但每个系统都有独特的语法规则,了解这些差异有助于提升开发效率和项目成功率。
187 0
|
3月前
|
关系型数据库 BI 数据处理