物化视图加DBLINK实现数据的同步_20170216

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 【业务场景】需要把生产的ERP系统上面的一个表的数据抽取到另外一个报表的数据库里面,公司内部是没有ESB的平台,考虑到整个需求的紧急程度和对效率的要求,建议采用物化视图+DBLINK的方式来实现数据的同步;【环境说明】数据库的版本:11.
【业务场景】需要把生产的ERP系统上面的一个表的数据抽取到另外一个报表的数据库里面,公司内部是没有ESB的平台,考虑到整个需求的紧急程度和对效率的要求,建议采用物化视图+DBLINK的方式来实现数据的同步;

【环境说明】
数据库的版本:11.2.0.3
数据的流向:DB1为源数据库,DB2为目标数据库
源表:EMP,该表包含主键EMPNO
目标物化视图:MV_EMP

【方案思路】
1、在DB2上面创建一个连接DB1的DBLINK;
2、在EMP表上面增加物化视图日志,并在目标表创建物化视图MV_EMP;
3、创建JOB进行定时刷新;


【实践操作】

1、在db2上面添加tns文件

  1. DB1 =
  2. (DESCRIPTION =
  3. (ADDRESS_LIST =
  4. (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.1.10)(PORT = 1521))
  5. )
  6. (CONNECT_DATA =
  7. (SERVICE_NAME = DB1)
  8. )
  9. )


2、在db2上面创建dblink
create  public database link  DB1 connect to "scott"  identified by  "tigger"  using  'DB1' ;

3、在db1上面创建物化视图日志

create materialized view log on EMP  with primary key;  
注:

对于已定义主键的表,分别执行以下 sql: create materialized view log on 表名  with primary key; 
对于未定义主键的表,分别执行以下 sql: create materialized view log on 表名  with rowid;


4、在db2上面创建物化视图,并设置刷新时间

CREATE MATERIALIZED VIEW SCOTT.MV_EMP
(EMPNO,ENAME,JOB,MGR,HIREDATE,SAL,COMM,DEPTNO)
REFRESH FAST ON DEMAND          
NEXT SYSDATE + 1/(24*60)   #每分钟刷新
WITH PRIMARY KEY                #基于PRIMARY KEY
AS
SELECT EMPNO,ENAME,JOB,MGR,HIREDATE,SAL,COMM,DEPTNO FROM scott.EMP@DB1;
【其他】

  • 创建物化视图日志的时候,会在相应的物化视图日志表,本质就是一张物理表,表名的结构如下:MLOG$_TABLENAME,本例中创建的物化视图日志表名为:MLOG$_EMP;
  • 当有数据变更的时候,MLOG$_EMP表就会记录源表的变更记录,等目标的物化视图表刷新以后,该表的数据会被清空;
  • 当高水位太高的情况下,也是需要进行维护的;
整个方案其实用到的东西也是很简单的,物化视图和DBLINK,当这两个功能进行结合的时候,就实现了数据仓储的数据抽取的工作。创新有时候只是功能的叠加使用;




阅读(207) | 评论(0) | 转发(1) |
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
8月前
|
SQL
在云数据仓库ADB中,可以使用UPDATE语句进行单表更新和多表关联更新。
在云数据仓库ADB中,可以使用UPDATE语句进行单表更新和多表关联更新。
168 2
|
存储 安全 关系型数据库
PostgreSQL物化视图增量更新扩展 -- pg_ivm
PostgreSQL不支持物化视图增量更新,需要定期执行REFRESH MATERIALIZED VIEW命令刷新物化视图。Incremental View Maintenance (IVM)是一种使物化视图保持最新的方法,其中只计算增量更改并将其应用于视图,而不是REFRESH MATERIALIZED VIEW那样从头开始重新计算内容。当只更改视图的一小部分时,IVM可以比重新计算更高效地更新物化视图。
|
7月前
|
存储 SQL 分布式计算
MaxCompute产品使用问题之upsert into语句如何在2.0事务表使用
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
67 10
|
7月前
|
SQL 关系型数据库 PostgreSQL
【sql】PostgreSQL物化视图表使用案例
【sql】PostgreSQL物化视图表使用案例
70 0
|
8月前
|
SQL
在云数据仓库ADB中,可以使用UPDATE语句进行单表更新和多表关联更新
【1月更文挑战第11天】【1月更文挑战第54篇】在云数据仓库ADB中,可以使用UPDATE语句进行单表更新和多表关联更新
98 1
|
SQL 数据库
数据库DDL-表操作
数据库数据定义语言DDL的表操作(包含创建表,修改表,展示表,删除表)
141 1
数据库DDL-表操作
|
存储 SQL Oracle
10 PostgreSQL 表级复制-物化视图篇, 支持异地,异构如 Oracle 到 pg 的物化视图|学习笔记
快速学习10 PostgreSQL 表级复制-物化视图篇,支持异地,异构如 Oracle 到 pg 的物化视图
10 PostgreSQL 表级复制-物化视图篇, 支持异地,异构如 Oracle 到 pg 的物化视图|学习笔记
|
Oracle 关系型数据库 数据库
OGG重新同步表
OGG在线重新同步表的步骤
269 0
|
存储 分布式计算 大数据
MaxCompute非事务表如何更新数据
本文主要讲解如何通过insert overwrite更新数据
1995 0
MaxCompute非事务表如何更新数据