《阿里云认证的解析与实战-数据仓库ACP认证》——功能演示一:实现AnalyticDB MySQL版弹性能力——七、导入数据并查询

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
对象存储 OSS,20GB 3个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——功能演示一:实现AnalyticDB MySQL版弹性能力——七、导入数据并查询

AnalyticDB MySQL版提供多种数据同步方案,可满足不同场景下的数据同步需求。以数据文件存储在OSS中为例,介绍如何将OSS中的数据文件导入AnalyticDB MySQL版的adb_demo数据库中并进行查询。

 

1. 前提条件

 

通过以下步骤在对象存储(Object Storage Service,简称OSS)中创建存储AnalyticDB MySQL版数据的目录。

 

开通OSS服务

创建存储空间

创建目录

上传测试数据文件

 

本示例将oss_import_test_data.txt文件上传至OSS中的bucket-name.oss-cn-hangzhou.aliyuncs.com/adb/目录,数据行分隔符为换行符,列分隔符为;,文件示例数据如下所示:

 

number;note
0001;hello_world_1
0002;hello_world_2
0003;hello_world_3
0004;hello_world_4
0005;hello_world_5
0006;hello_world_6
...

  

根据AnalyticDB MySQL版入门指南,完成创建集群、设置白名单、创建账号和数据库等准备工作。

 

2. 操作步骤

 

1) 通过CREATE TABLE,在adb_demo数据库中创建外表。

 

创建CSV、Parquet或TEXT格式OSS外表的建表语法请参见创建OSS外表语法,https://help.aliyun.com/document_detail/188324.html#section-9i5-mh8-imc

 

2) 查询OSS数据。查询外表映射表和查询AnalyticDB MySQL版内表语法没有区别,可以方便地直接进行查询,如本步骤的示例代码所示:

select uid, other from oss_import_test_external_table where uid < 100 limit 
10

 

对于数据量较大的CSV或TEXT数据文件,强烈建议您按照后续步骤导入AnalyticDB MySQL版后再做查询,否则查询性能可能会较差。

对于Parquet格式数据文件,直接查询的性能一般也比较高,可以根据需要决定是否进一步导入到AnalyticDB MySQL版后再做查询。

 

3) 通过CREATE TABLE,在adb_demo数据库中创建目标表adb_oss_import_test,存储从OSS中导入的数据。

 

CREATE TABLE IF NOT EXISTS adb_oss_import_test
(
 uid string,
 other string
)
DISTRIBUTED BY HASH(uid)


4) 执行INSERT语句将OSS数据导入AnalyticDB MySQL版。

 

方式一:执行INSERT INTO导入数据:

 

insert into adb_oss_import_test
select * from oss_import_test_external_table


方式二:执行INSERT OVERWRITE INTO导入数据:

 

insert overwrite into adb_oss_import_test
select * from oss_import_test_external_table


方式三:异步执行INSERT OVERWRITE INTO导入数据。

 

submit job insert overwrite into adb_oss_import_test
select * from oss_import_test_external_table ;


 

说明

关于异步提交任务详情请参见:

https://help.aliyun.com/document_detail/160291.htm

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
3月前
|
缓存 关系型数据库 MySQL
MySQL索引策略与查询性能调优实战
在实际应用中,需要根据具体的业务需求和查询模式,综合运用索引策略和查询性能调优方法,不断地测试和优化,以提高MySQL数据库的查询性能。
267 66
|
9天前
|
存储 分布式计算 大数据
大数据揭秘:从数据湖到数据仓库的全面解析
大数据揭秘:从数据湖到数据仓库的全面解析
48 19
|
6月前
|
自然语言处理 关系型数据库 MySQL
mysql 全文搜索功能优缺点
mysql 全文搜索功能优缺点
|
2月前
|
安全 关系型数据库 MySQL
MySQL的插件式认证到底是干什么的?
MySQL 的插件式认证允许使用不同的方法验证用户身份,如指纹、面部识别等,而不仅仅是用户名和密码。它增强了安全性,支持与现有系统(如 LDAP)集成,并简化了用户管理。通过认证插件,MySQL 能更灵活地验证用户,提高数据库的安全性和管理效率。
101 8
|
3月前
|
SQL DataWorks 关系型数据库
阿里云 DataWorks 正式支持 SelectDB & Apache Doris 数据源,实现 MySQL 整库实时同步
阿里云数据库 SelectDB 版是阿里云与飞轮科技联合基于 Apache Doris 内核打造的现代化数据仓库,支持大规模实时数据上的极速查询分析。通过实时、统一、弹性、开放的核心能力,能够为企业提供高性价比、简单易用、安全稳定、低成本的实时大数据分析支持。SelectDB 具备世界领先的实时分析能力,能够实现秒级的数据实时导入与同步,在宽表、复杂多表关联、高并发点查等不同场景下,提供超越一众国际知名的同类产品的优秀性能,多次登顶 ClickBench 全球数据库分析性能排行榜。
|
3月前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第27天】本文深入探讨了MySQL的索引策略和查询性能调优技巧。通过介绍B-Tree索引、哈希索引和全文索引等不同类型,以及如何创建和维护索引,结合实战案例分析查询执行计划,帮助读者掌握提升查询性能的方法。定期优化索引和调整查询语句是提高数据库性能的关键。
512 1
|
3月前
|
监控 数据挖掘 OLAP
深入解析:AnalyticDB中的高级查询优化与性能调优
【10月更文挑战第22天】 AnalyticDB(ADB)是阿里云推出的一款实时OLAP数据库服务,它能够处理大规模的数据分析任务,提供亚秒级的查询响应时间。对于已经熟悉AnalyticDB基本操作的用户来说,如何通过查询优化和性能调优来提高数据处理效率,是进一步提升系统性能的关键。本文将从个人的角度出发,结合实际经验,深入探讨AnalyticDB中的高级查询优化与性能调优技巧。
176 4
|
4月前
|
NoSQL 关系型数据库 MySQL
MySQL与Redis协同作战:优化百万数据查询的实战经验
【10月更文挑战第13天】 在处理大规模数据集时,传统的关系型数据库如MySQL可能会遇到性能瓶颈。为了提升数据处理的效率,我们可以结合使用MySQL和Redis,利用两者的优势来优化数据查询。本文将分享一次实战经验,探讨如何通过MySQL与Redis的协同工作来优化百万级数据统计。
165 5
|
4月前
|
存储 关系型数据库 MySQL
基于案例分析 MySQL 权限认证中的具体优先原则
【10月更文挑战第26天】本文通过具体案例分析了MySQL权限认证中的优先原则,包括全局权限、数据库级别权限和表级别权限的设置与优先级。全局权限优先于数据库级别权限,后者又优先于表级别权限。在权限冲突时,更严格的权限将被优先执行,确保数据库的安全性与资源合理分配。
|
4月前
|
架构师 关系型数据库 MySQL
MySQL最左前缀优化原则:深入解析与实战应用
【10月更文挑战第12天】在数据库架构设计与优化中,索引的使用是提升查询性能的关键手段之一。其中,MySQL的最左前缀优化原则(Leftmost Prefix Principle)是复合索引(Composite Index)应用中的核心策略。作为资深架构师,深入理解并掌握这一原则,对于平衡数据库性能与维护成本至关重要。本文将详细解读最左前缀优化原则的功能特点、业务场景、优缺点、底层原理,并通过Java示例展示其实现方式。
169 1

热门文章

最新文章

推荐镜像

更多