OMS 3.4.0 发布,打造更安全易用的数据迁移体验

本文涉及的产品
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,数据同步 1个月
简介: OMS 3.4.0 发布,打造更安全易用的数据迁移体验

OceanBase 数据迁移工具(OceanBase Migration Service,OMS)是 OceanBase 数据库一站式数据传输和同步的产品。它支持多种关系型数据库(如 Oracle、DB2 LUW、MySQL 等)、消息队列与 OceanBase 数据库之间的数据复制,是集数据迁移、实时数据同步和增量数据订阅于一体的数据传输服务,OMS 可以帮助用户低风险、低成本、高效率地实现 OceanBase 的数据流通,助力构建安全、稳定、高效的数据复制架构。

OMS 可以为用户提供数据传输的全生命周期管理,支持语法转换、数据转换、任务管理等功能,并提供迁移评估、数据迁移、数据订阅、数据校验等产品形态,辅以可视化,所见即所得的 Web 管控平台,轻松完成数据传输项目的创建、任务配置、传输组件的监控运维、链路维护和故障诊断等便捷的操作,并提供多种保护级别支持定制化配置和实时的项目监控报警。

我们希望将 OMS 打造成为安全、稳定、易用的数据传输平台,并基于用户实际业务场景的需求进行持续迭代。经过在多行业上百家企业用户实际业务场景的锤炼和验证, OMS 已经逐渐成长为功能强大、稳定高效、安全的数据传输服务平台。用户可以灵活选择合适的迁移、同步类型和功能,支持组合成不同的解决方案。同时提供多样性的部署模式及灵活的横向和纵向扩展、收缩能力,保障满足延迟敏感用户的业务需求。

OMS 3.4.0 带来易用性和安全性的双重提升,在易用性方面提供对各类迁移信息的持续监控能力,帮助用户快速定位数据迁移中出现的各类问题,同时为用户迁移过程中加入新表的场景,上线了动态增减表功能。此外,OMS 3.4.0 现已支持预检查跳过功能,带来更流畅的迁移体验。在安全性上,该版本正式推出验证码机制、操作审计等能力。本篇内容将给大家带来详细介绍。

image.png在实际业务场景中,数据迁移工具连接着两个动态变化的数据终端,数据源端和目标端任何一端的变更、异常,或者资源瓶颈,都有可能对同步链路的状态和性能造成不小的影响,用户需要花费很高的成本,才能准确地分析判断出触发迁移性能问题的根因。


OMS 过往版本在处理性能相关问题时,用户需要通过登入 Docker 内部查看日志文件或者寻求技术支持才能解决。而从 3.4.0 版本开始,OMS 在全量迁移、增量同步、全量校验及反向增量阶段,可提供对 RPS、流量、SQL 执行时间及SQL提交时间等性能信息的持续分析。用户可对照经验值(表 1),快速定位性能问题。并依据源端和目标端的实际运行情况,灵活调整 OMS 并发数,JVM 内存(查看组件监控->更新)等或调整源端、目标端的数据库参数或者操作系统参数,快速高效地完成数据库迁移、同步任务。


image.png

image.png

image.png在一些耗时较长的同步过程中,面对业务变化或处理异常表的情况,用户通常需要更新同步对象列表。OMS 过往版本对于减表操作,需要用户更新 OMS 内对应数据链路组件配置,并重启对应组件,对于加表操作,需要用户新建一个迁移或者同步项目,上述做法不仅浪费了硬件资源,也会给用户进行多项目管理维护时带来不便。


OMS 3.4.0 推出全新能力:在链路运行中支持动态加减表。从用户实际业务场景出发, OMS 实现了一体化的加减表流程,即使原迁移、同步项目已经运行到增量同步阶段,在项目中新增加的表也支持从表结构同步开始,做对象结构、全量数据以及增量数据的同步,同时在全流程提供移除对象的能力。通过最大程度地简化用户操作,OMS 将为用户提供更简单易用的体验。



一键跳过执行失败的 DDL 语句


在 DDL 同步的场景中,用户可能会遇到因各种问题造成 DDL 语句无法正常同步至目标端的情况,如源端和目标端 DDL 语句不兼容、DDL 语句无法在目标端无法执行等。OMS 为了保障源端、目标端的一致性会将链路置于失败状态。在过往版本中,用户需要通过设置相关参数才能恢复链路。


从 3.4.0 版本开始,OMS 正式提供跳过功能,避免用户繁琐操作,助力用户轻松解决各类链路故障,保障链路持续稳定运行。



image.png

▋ 全方位增量同步数据统计


在链路运行过程中,用户需要掌握有多少条 DML/DDL 语句被同步至目标端,及相应表对象数据变化情况,从而对目标端进行适度调整。


OMS 3.4.0 提供投递到目标端 DDL/DML 语句的数据统计能力,可以帮助用户实时监控链路实际运行状态。同时 OMS 提供链路内表变更记录 Top 50 的功能,用户可以轻松识别链路内的热点表,从而提前规划目标端对象容量或通过加减表能力调整链路规划,保障全链路的稳定性。



▋ 更灵活的对象选择和设置


对于许多可视化产品来说,如何处理百级、千级对象的选择以及设置都是一个大难题。而在数据库领域中,不少用户的实际业务场景会出现万级、甚至十万级的数据库对象,因此为数众多的用户仍然坚持以黑屏脚本化的方式进行数据处理工作。同时在部分用户业务场景中,用户需要对库、表名称进行重命名,或者对于无效记录或者历史记录进行数据过滤操作等。


OMS 3.4.0 除了提供除穿梭框和类黑屏,还新增支持 CSV 格式导入对象和下载对象设置功能。它将帮助用户轻松应对万级数据库对象的选择与设置,并通过导入导出的能力,快捷实现测试环境到生产环境等跨环境迁移的能力,省去用户繁琐的配置工作。

image.png

预检查现已提供跳过功能


OMS 在预检查环节会查看数据库用户的读写权限、数据库的网络连接等是否符合要求。如果部分预检查项目不通过,则可能造成后续项目运行异常的问题。但在部分 POC 场景中,某些检查项如外键检查本质是可以忽略的,不会影响最终结果。OMS 过往版本对于如何处理跳过预检查,需要用户进行查询产品文档、变更JSON格式系统参数等较为繁琐的操作。


OMS 3.4.0 正式推出跳过功能,在用户确保跳过相关预检查项目不影响链路运行的前提下,给予用户充分的自主性。同时,OMS 3.4.0 将提供标准的错误码,对预检查失败的场景提供修复引导或建议,协助用户快速修正问题,保障链路的快速创建和后续的流畅平稳运行。


正向切换提供更多跳过能力


正向切换是 OMS 配合应用切流期间执行的任务流,是传统意义上的系统割接流程的抽象化、标准化。在执行正向切换期间,在 OMS 过往版本中,部分检查步骤为阻塞项,例如:确认同步追平停写位点, 在源端长时间无业务变更的情况下,延迟时间会超过 OMS 内部设置的阈值(1 分钟)。


OMS 3.4.0 对可能阻塞流程的检查项目提供跳过功能,从而确保用户可以灵活处理某些特殊情况。同时 OMS 也从顶层设计上整体优化各任务的执行时间,保障正向切换流程的流畅度。

image.png

OMS 始终坚持信息安全是产品的底线、红线,主动发现问题并制定相应的对策予以解决。在 OMS 3.4.0 中,我们也对安全性进行了升级,推出验证码机制、操作审计、白屏化密码参数三大功能,让用户的数据迁移更放心。


▋ 拦截恶意行为的验证码机制


验证码作为一种人机识别手段,其主要作用是区分正常人和机器的操作,拦截恶意行为。OMS 3.4.0 现已提供 gif 动画验证码,可以有效防止机器冒充人类做暴力破解及恶意登录等,保护系统安全。

image.png

保障信息安全的操作审计机制


操作审计可帮助用户监控并记录 OMS 的全部账号活动,包含对于 OMS 控制台的访问和使用行为。用户可以将这些行为事件进行行为分析、安全分析、项目变更行为追踪和行为合规性审计等操作,更好地保障数据安全。


image.png

image.pngimage.png



相关文章
|
11月前
|
关系型数据库 分布式数据库 数据库
沉浸式学习PostgreSQL|PolarDB 19: 体验最流行的开源企业ERP软件 odoo
本文主要教大家怎么用好数据库, 而不是怎么运维管理数据库、怎么开发数据库内核.
1090 2
|
SQL 数据采集 数据可视化
需求:公司需要做数据迁移同步,以下是几种常见的ETL工具选型对比
需求:公司需要做数据迁移同步,以下是几种常见的ETL工具选型对比
|
SQL 存储 监控
功能解读|快速上手 OceanBase 数据迁移服务
在上一期的 OceanBase 功能解读系列文章中,我们为大家带来了 ODC 功能解读(戳这里回顾:《OceanBase 开发者中心 ODC 功能解读》),本文将为大家分享数据迁移服务的相关内容。
693 0
功能解读|快速上手 OceanBase 数据迁移服务
|
1天前
|
安全 数据挖掘 关系型数据库
体验《基于hologres搭建轻量OLAP分析平台》解决方案并进行部署
《基于HoloGres搭建轻量OLAP分析平台》解决方案详尽介绍了HoloGres基础、OLAP原理及平台架构设计等内容。涵盖数据模型设计、加载流程、查询优化及安全性能考虑等多方面,适合有一定背景知识的读者深入理解和实践。然而,对于初学者而言,可能需要更多概念解释。方案在数据迁移、高级查询优化及安全配置等方面提供了指导,但仍需注意潜在的环境兼容性、配置错误及性能瓶颈等问题。通过参考官方文档和社区资源,用户可以解决常见问题并根据实际需求进行调整优化,以实现高效的数据分析。
|
4月前
|
关系型数据库 分布式数据库 PolarDB
开源PolarDB-X 部署安装全过程
本文介绍了开源PolarDB-X的部署安装步骤:首先,下载并解压PXD工具,配置至系统路径;然后,使用PXD工具进行部署,选择模式,输入参数,并等待部署完成;最后,验证集群状态。在遇到问题时,参考官方文档、社区支持或进行排查。建议包括优化文档、增强错误处理和建立用户反馈机制。
|
2月前
|
关系型数据库 测试技术 数据库
开源PolarDB-X部署体验:探索与反馈
在 cloud DB 技术发展中, PolarDB-X 凭借高性能和可扩展性备受瞩目。本文分享了其部署体验!
287 6
开源PolarDB-X部署体验:探索与反馈
|
2月前
|
监控 数据挖掘 大数据
阿里云开源利器:DataX3.0——高效稳定的离线数据同步解决方案
对于需要集成多个数据源进行大数据分析的场景,DataX3.0同样提供了有力的支持。企业可以使用DataX将多个数据源的数据集成到一个统一的数据存储系统中,以便进行后续的数据分析和挖掘工作。这种集成能力有助于提升数据分析的效率和准确性,为企业决策提供有力支持。
|
4月前
|
存储 容灾 Cloud Native
阿里云ClickHouse企业版正式商业化,为开发者提供容灾性更好、性价比更高的实时数仓
2024年4月23日,阿里云联合 ClickHouse Inc. 成功举办了企业版商业化发布会。阿里云 ClickHouse 企业版是阿里云和 ClickHouse 原厂 ClickHouse. Inc 独家合作的存算分离的云原生版本,支持资源按需弹性 Serverless,帮助企业降低成本的同时,为企业带来更多商业价值。
488 1
|
4月前
|
数据采集 测试技术 API
ERP系统的数据迁移与集成指南
ERP系统的数据迁移与集成指南
136 0
|
SQL Cloud Native 数据管理
稳定高效!NineData x SelectDB 完成产品兼容互认证
NineData与实时数据仓库厂商SelectDB完成产品兼容互认证,实现了软件相互兼容、功能完善、运行稳定且性能优异。双方将持续助力数据管理与大数据分析业务的融合,帮助企业实现数字化转型,提高效率、降低成本,并满足客户业务需求。SelectDB成立于2022年初,团队来自知名互联网和云计算公司,核心产品是基于Apache Doris内核的实时数据仓库。NineData是新一代的云原生智能数据管理平台,提供数据复制、SQL开发、数据备份和数据对比等功能,帮助用户统一管理混合云和多云数据源。合作将提供高效、安全的数据开发和实时数据同步解决方案,推动数据产业的创新升级。
113 0
稳定高效!NineData x SelectDB 完成产品兼容互认证