AI 助理
备案控制台
开发者社区 数据库 文章 正文

Oracle并行计算

2017-04-26 1057
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 【前言】现在CPU的发展已不仅朝着单个性能更好的方向了，而且还朝着多核数多核心的方向发展了。Oracle数据库大部分也都是利用单线程的串行方式在运行。通过并行（Parallel）操作特性，充分应用CPU的多核心特点，提高对数据的操作效率，满足在特定场景下对海量数据操作的需求。

【前言】现在CPU的发展已不仅朝着单个性能更好的方向了，而且还朝着多核数多核心的方向发展了。Oracle数据库大部分也都是利用单线程的串行方式在运行。通过并行（Parallel）操作特性，充分应用CPU的多核心特点，提高对数据的操作效率，满足在特定场景下对海量数据操作的需求。

OLTP系统最主要的核心还是数据的录入操作，而这些应用的场景并不适合于并行计算的方式。对于OLAP业务场景更适合并行的操作，并行也成为数据库仓库调优利器；

【使用类型和场景】

Oracle并行处理（Parallel Processing）特性主要是针对SQL语句处理的并行。目前Oracle提供支持并行的操作包括如下类型：

  • 并行查询操作；
  • 并行DDL，对数据对象的DDL操作；
  • 并行DML，进行并行的数据更新修改；

在具体的应用场景上，有如下场景：

  • 数据表、索引范围扫描的查询；
  • 批量增加、修改和删除操作；
  • 数据表、索引对象的创建；
  • "DBMS_STATS"收集统计量；
  • 备份恢复管理器Recovery Manager的使用；


【设置并行和并行度】

  • Alter session force parallel query parallel n;（ALTER SESSION enable parallel query;） 单个SESSION里面
  • Alter table tab1 parallel n; 单个TABLE
  • Select /*+parallel(tab n)*/ from tab; Hint设置单个SQL

优先级：Hint > session > object


【并行度设置】并行度的设置是以多核CPU为核心的，所以并行度不能超过CPU的逻辑数量，Oracle官方文档介绍如下

If the PARALLEL clause is specified but no degree of parallelism is listed, the object gets the default DOP. Default parallelism uses a formula to determine the DOP based on the system configuration, as in the following:

  • For a single instance, DOP = PARALLEL_THREADS_PER_CPU x CPU_COUNT
  • For an Oracle RAC configuration, DOP = PARALLEL_THREADS_PER_CPU x CPU_COUNT x INSTANCE_COUNT



【实验测试】

环境说明：

  • 数据库信息：

点击(此处)折叠或打开

  1. SQL> select * from v$version where rownum<2;
  2. BANNER
  3. -----------------------------------------------------------------------------------------
  4. Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production


  • CPU信息

点击(此处)折叠或打开

  1. SQL> show parameter cpu
  2. NAME TYPE VALUE
  3. ------------------------------------ ----------- -------------
  4. cpu_count integer 8
  5. parallel_threads_per_cpu integer 1
  6. resource_manager_cpu_allocation integer 8

【实验步骤】

正常情况下的执行计划


点击(此处)折叠或打开

  1. SQL> alter session set STATISTICS_LEVEL=ALL;
  2. Session altered.
  3. SQL> select count(1) from edidc;
  4. COUNT(1)
  5. ----------
  6. 47262191

  8. SQL> select * from table(dbms_xplan.DISPLAY_CURSOR(null, null, 'ALLSTATS'));

  10. PLAN_TABLE_OUTPUT
  11. --------------------------------------------------------------------------------
  12. SQL_ID 8h0snkxwm7x0w, child number 0
  13. -------------------------------------
  14. select count(1) from sapsr3.edidc

  16. Plan hash value: 2138151876

  18. ----------------------------------------------------------------------------------------------------------------------
  19. Id | Operation | Name | Starts | E-Rows | A-Rows | A-Time | Buffers |
  20. -------------------------------------------------------------------------------------------------------------------
  21. | 0 | SELECT STATEMENT | | 1 | | 1 |00:00:15.52| 351K|
  22. | 1 | SORT AGGREGATE | | 1 | 1 | 1 |00:00:15.52| 351K|
  23. | 2 | INDEX FAST FULL SCAN | EDIDC~1 | 1 | 46M | 47M |00:00:09.95| 351K|
  24. --------------------------------------------------------------------------------------------------------------------


修改session的方式


点击(此处)折叠或打开

  1. SQL> alter session set STATISTICS_LEVEL=ALL;
  2. SQL> Alter session force parallel query;
  3. SQL> select count(1) from edidc;
  4. COUNT(1)
  5. ----------
  6. 47262191
  7. SQL> select * from table(dbms_xplan.DISPLAY_CURSOR(null, null, 'ALLSTATS'));
  8. -------------------------------------------------------------------------
  9. | Id | Operation | Name | E-Rows |
  10. -------------------------------------------------------------------------
  11. | 0 | SELECT STATEMENT | | |
  12. | 1 | SORT AGGREGATE | | 1 |
  13. | 2 | PX COORDINATOR | | |
  14. | 3 | PX SEND QC (RANDOM) | :TQ10000 | 1 |
  15. | 4 | SORT AGGREGATE | | 1 |
  16. | 5 | PX BLOCK ITERATOR | | 46M |
  17. |* 6 | INDEX FAST FULL SCAN| EDIDC~1 | 46M |
  18. ----------------------------------------------------------------------------
  19. Predicate Information (identified by operation id):
  20. ----------------------------------------------------------------------------
  21. 6 - access(:Z>=:Z AND :Z<=:Z)
  22. ------------------------------------------------------


用hint的方式进行


点击(此处)折叠或打开

  1. SQL> select /*+ PARALLEL(4) */ count(1) from edidc;
  2. COUNT(1)
  3. ----------
  4. 47262191

  6. SQL> select * from table(dbms_xplan.DISPLAY_CURSOR(null, null, 'ALLSTATS'));
  7. PLAN_TABLE_OUTPUT
  8. --------------------------------------------------------------------------------
  9. SQL_ID gr4rp3q9c4qu3, child number 0
  10. -------------------------------------
  11. select /*+ PARALLEL(4) */ count(1) from sapsr3.edidc

  13. Plan hash value: 152749150

  15. -------------------------------------------------------------------------------------------------------------------------------------
  16. | Id | Operation | Name | Starts | E-Rows | A-Rows | A-Time | Buffers | Reads |
  17. -------------------------------------------------------------------------------------------------------------------------------------------
  18. | 0 | SELECT STATEMENT | | 1 | | 1 |00:00:13.86 | 25 | 0 |
  19. | 1 | SORT AGGREGATE | | 1 | 1 | 1 |00:00:13.86 | 25 | 0 |
  20. | 2 | PX COORDINATOR | | 1 | | 4 |00:00:13.86 | 25 | 0 |
  21. | 3 | PX SEND QC (RANDOM) | :TQ10000 | 0 | 1 | 0 |00:00:00.01 | 0 | 0 |
  22. | 4 | SORT AGGREGATE | | 4 | 1 | 4 |00:00:52.76 | 357K | 351K |
  23. | 5 | PX BLOCK ITERATOR | | 4 | 46M | 47M |00:00:41.69 | 357K | 351K |
  24. |* 6 | INDEX FAST FULL SCAN | EDIDC~1 | 136 | 46M | 47M |00:00:20.42 | 357K | 351K |
  25. --------------------------------------------------------------------------------------------------------------------------------------
  26. Predicate Information (identified by operation id):
  27. ---------------------------------------------------
  28. 6 - access(:Z>=:Z AND :Z<=:Z)
  29. PLAN_TABLE_OUTPUT
  30. --------------------------------------------------------------------------------


修改table的方式


点击(此处)折叠或打开

  1. SQL> ALTER TABLE edidc PARALLEL 2; #设置完成后需要更新统计信息

  3. SQL> SELECT TABLE_NAME, degree FROM dba_tables WHERE TABLE_NAME='EDIDC';
  4. TABLE_NAME DEGREE
  5. ------------------------------ ------------------------------
  6. EDIDC 2
  7. SQL> alter session set STATISTICS_LEVEL=ALL;
  8. Session altered.
  9. SQL> select count(1) from edidc;
  10. COUNT(1)
  11. ----------
  12. 47262191

  14. SQL> select * from table(dbms_xplan.DISPLAY_CURSOR(null, null, 'ALLSTATS'));
  15. --------------------------------------------------------------------------------------------------------------------------
  16. | Id | Operation | Name | Starts | E-Rows | A-Rows | A-Time | Buffers | Reads |
  17. -------------------------------------------------------------------------------------------------------------------------
  18. | 0 | SELECT STATEMENT | | 1 | | 1 |00:00:12.93 | 25 | 0 |
  19. | 1 | SORT AGGREGATE | | 1 | 1 | 1 |00:00:12.93 | 25 | 0 |
  20. | 2 | PX COORDINATOR | | 1 | | 8 |00:00:12.93 | 25 | 0 |
  21. | 3 | PX SEND QC (RANDOM) | :TQ10000 | 0 | 1 | 0 |00:00:00.01 | 0 | 0 |
  22. | 4 | SORT AGGREGATE | | 8 | 1 | 8 |00:01:39.17 | 359K| 351K|
  23. | 5 | PX BLOCK ITERATOR | | 8 | 46M | 47M|00:01:23.50 | 359K| 351K|
  24. |* 6 | INDEX FAST FULL SCAN | EDIDC~1 | 164 | 46M| 47M|00:00:54.01 | 359K| 351K|
  25. ------------------------------------------------------------------------------------------------------------------------
  26. Predicate Information (identified by operation id):
  27. ---------------------------------------------------
  28. 6 - access(:Z>=:Z AND :Z<=:Z)
  29. PLAN_TABLE_OUTPUT
  30. ---------------------------------------------------

  32. SQL>ALTER TABLE TABLE_NAME NOPARALLEL; 取消并行


以上是针对查询的操作，同样也是适用于DML操作的；

并行的使用并是简单的以上的几个语句的套用，在OLTP系统中使用需谨慎，用好了是一把调优的利器，用不好可能反而会被利器所伤。本文档也是是针对并行的一篇基础文章，后续会针对更深入的应用继续说明。

文章标签：
关系型数据库
SQL
索引
Oracle
并行计算
测试技术
OLTP
OLAP
数据库
关键词：
Oracle数据库一键上云并行
Oracle数据库一键上云计算
猎人笔记
目录
相关文章
ZPY0821
|
6月前
|
SQL Oracle 关系型数据库
Oracle查询优化-计算字符在字符串中出现的次数
【2月更文挑战第3天】【2月更文挑战第7篇】只接上SQL
ZPY0821
138 0
Zh12138
|
6月前
|
SQL Oracle 关系型数据库
Oracle之日期计算相关函数
Oracle之日期计算相关函数
Zh12138
83 0
以山向海
|
4月前
|
SQL 监控 Oracle
关系型数据库Oracle并行执行
【7月更文挑战第12天】
以山向海
87 14
annehan
|
Oracle 关系型数据库
Oracle 计算两个日期间隔的天数、月数和年数
在Oracle中计算两个日期间隔的天数、月数和年数： 一、天数： 在Oracle中，两个日期直接相减，便可以得到天数； 1 select to_date('08/06/2015','mm/dd/yyyy')-to_date('07/01/2015','mm/dd/yyyy') from dual;返回结果：36 二、月数： 计算月数，需要用到months_between函数； 1 --months_between(date1,date2) 2 --如果两个日期中“日”相同，或分别是所在月的最后一天，那么返回的结果是整数。
annehan
4064 0
以山向海
|
4月前
|
SQL Oracle 关系型数据库
关系型数据库Oracle并行查询
【7月更文挑战第12天】
以山向海
103 15
以山向海
|
4月前
|
Oracle 关系型数据库 数据处理
关系型数据库Oracle并行查询的应用场景
【7月更文挑战第13天】
以山向海
70 12
以山向海
|
4月前
|
SQL 监控 Oracle
关系型数据库Oracle并行查询的基本概念
【7月更文挑战第13天】
以山向海
96 11
以山向海
|
4月前
|
SQL 监控 Oracle
关系型数据库Oracle并行查询的实现方式
【7月更文挑战第13天】
以山向海
289 8
真的很搞笑
|
6月前
|
SQL 消息中间件 关系型数据库
实时计算 Flink版产品使用合集之flink-cdc-oracle 可以并行读取吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
真的很搞笑
57 0
小Lee
|
12月前
|
SQL 存储 Oracle
flink-cdc-oracle 可以并行读取吗
flink-cdc-oracle 可以并行读取吗， 同步1000万数据，我这边半天没同步完， 这个有什么优化策略吗？这个怎么设置先全量并行读，然后增量 是flink sql跑的？
小Lee
105 1