近期有一个需求,将云下 SQL Server 的数据同步至云上 RDS for SQL Server。不考虑增量的话,可以直接使用 SSMS 数据库导出功能直接迁移数据到 RDS,但如果要进行增量同步的话则无法直接使用,尤
其是还要做数据过滤的场景。
那该如何解呢?可以使用 kettle 工作来做增量的插入、更新及删除,以达到增量同步的效果。具体操作步骤参考如下:
1. 前期准备
安装 Java 及配置 JAVA_HOME
安装 Kettle
2. 配置源数据库
新建转换。新建一个转换任务,“文件”-->“新建”-->“转换”
新建表输入。在“核心对象”-->“输入”-->“表输入”,将“表输入”图标直接拖拽到右侧区域
配置表输入。双击“表输入”图标,进入配置界面,步骤名称默认即可,数据连接就是选择你的源数据库,这里没有进行过配置,所以点击“新建”进行 SQL Server 源数据库连接配置
配置数据库连接。按照向导进行数据连接配置。
选择源表。点击“获取SQL查询语句”,在弹出的窗口中选择要进行数据传输的table,点击“确定”即可完成“表输入”配置。
3. 配置字段选择
新建“字段选择”。在模块化区选择“转换”-->“字段选择”,双击字段选择即可建立连接。
配置字段。双击“字段选择”图标打开配置界面。
4. 配置目标数据库
新建“插入/更新”。双击“输出”--“插入/更新”建立连接。
配置“插入/更新”。
双击“插入/更新“图标,新建目标数据库连接,并按照向导完成配置。
5. 测试运行
当然,每次同步数据量大的话会花费很长时间,可以使用时间戳来进行过滤,选取最近变更的记录,减少 kettle 读取的记录数,降低同步时间。
至于 delete 操作的同步,可以使用记录标记来解决。kettle 也提供的删除步骤,有兴趣的可以自己研究一下。