SparkSQL 初体验_SQL 案例 | 学习笔记

简介: 快速学习 SparkSQL 初体验_SQL 案例

开发者学堂课程【大数据 Spark 2020版(知识精讲与实战演练)第三阶段SparkSQL 初体验_SQL 案例】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/690/detail/12038


SparkSQL 初体验_SQL 案例

 

有这样的一个案例,编写这样的一条 SQL 语句。

打开 idea,去创建一个新的方法,这个方法,我们叫做 test,一个测试方法。去创建 data frame intro,前面的内容我们直接给他复制过来,复制过来以后拿到这个 SOURCE RDD,我们不仅可以 to DS ,我们还可以 to DF,理应拿到的是就是一个 DF,拿到这个 DF 以后,我们就可以来进行相应的操作。

比如说,我们要先给他注册成一个临时表,为什么要注册一个临时表呢?想一想, SQL 语句怎么写,是不是 select 什么什么,From 什么什么,这个 from 该怎么想?

要在这个 DF 上进行查询,是不是要让这个 SQL 语句要有一个 from ?所以我们要创建一个表,怎么创建呢?

Create or replace。这个表名字叫做 person。

使用 spark 这样的一个入口来去进行查询,那么我们就可以直接在这边写。

"select name from person where age > 10 and age < 20")

我们通过这样的一条 SQL 语句,就实现了和刚才一样的功能,所以刚才我们写了这么多行代码,做到的功能和写一行代码是一样的,所以,很多时候这个 RQL 也是比较好用的,那么 spark RQL 这个方法

返回一个 data frame,拿到这个 data frame 以后就叫做 ResultDF,我们可以直接来进行相应的打印,Show 一下。

运行这个案例

image.png

打印出来的结果跟刚才的结果是一样的,说明代码也没有任何问题,这时,我们已经对整个的初体验部分做了简单的说明。

相关文章
|
8月前
|
SQL 数据库 数据安全/隐私保护
数据库数据恢复——sql server数据库被加密的数据恢复案例
SQL server数据库数据故障: SQL server数据库被加密,无法使用。 数据库MDF、LDF、log日志文件名字被篡改。 数据库备份被加密,文件名字被篡改。
|
3月前
|
算法 数据挖掘 数据库
通过 SQL 快速使用 OceanBase 向量检索学习笔记
通过 SQL 快速使用 OceanBase 向量检索学习笔记
|
3月前
|
SQL 数据库
SQL 学习笔记 - 多表关系与多表查询
数据库多表关系包括一对多、多对多和一对一,常用外键关联。多表查询方式有隐式/显式内连接、外连接、子查询等,支持别名和条件筛选。子查询分为标量、列、行、表子查询,常用于复杂查询场景。
|
4月前
|
SQL 分布式计算 大数据
SparkSQL 入门指南:小白也能懂的大数据 SQL 处理神器
在大数据处理的领域,SparkSQL 是一种非常强大的工具,它可以让开发人员以 SQL 的方式处理和查询大规模数据集。SparkSQL 集成了 SQL 查询引擎和 Spark 的分布式计算引擎,使得我们可以在分布式环境下执行 SQL 查询,并能利用 Spark 的强大计算能力进行数据分析。
|
8月前
|
关系型数据库 MySQL 大数据
大数据新视界--大数据大厂之MySQL 数据库课程设计:MySQL 数据库 SQL 语句调优的进阶策略与实际案例(2-2)
本文延续前篇,深入探讨 MySQL 数据库 SQL 语句调优进阶策略。包括优化索引使用,介绍多种索引类型及避免索引失效等;调整数据库参数,如缓冲池、连接数和日志参数;还有分区表、垂直拆分等其他优化方法。通过实际案例分析展示调优效果。回顾与数据库课程设计相关文章,强调全面认识 MySQL 数据库重要性。为读者提供综合调优指导,确保数据库高效运行。
|
10月前
|
SQL 数据库
数据库数据恢复—SQL Server报错“错误 823”的数据恢复案例
SQL Server数据库附加数据库过程中比较常见的报错是“错误 823”,附加数据库失败。 如果数据库有备份则只需还原备份即可。但是如果没有备份,备份时间太久,或者其他原因导致备份不可用,那么就需要通过专业手段对数据库进行数据恢复。
|
SQL 数据库
gbase 8a 数据库 SQL优化案例-关联顺序优化
gbase 8a 数据库 SQL优化案例-关联顺序优化
|
SQL 数据库 UED
SQL性能提升秘籍:5步优化法与10个实战案例
在数据库管理和应用开发中,SQL查询的性能优化至关重要。高效的SQL查询不仅可以提高应用的响应速度,还能降低服务器负载,提升用户体验。本文将分享SQL优化的五大步骤和十个实战案例,帮助构建高效、稳定的数据库应用。
1101 3
|
SQL 缓存 监控
SQL性能提升指南:五大优化策略与十个实战案例
在数据库性能优化的世界里,SQL优化是提升查询效率的关键。一个高效的SQL查询可以显著减少数据库的负载,提高应用响应速度,甚至影响整个系统的稳定性和扩展性。本文将介绍SQL优化的五大步骤,并结合十个实战案例,为你提供一份详尽的性能提升指南。
1288 0
|
SQL 大数据 API
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
284 0