带你读《企业级云原生白皮书项目实战》——5.1.7 数据同步(2)

本文涉及的产品
对象存储 OSS,20GB 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
对象存储 OSS,内容安全 1000次 1年
简介: 带你读《企业级云原生白皮书项目实战》——5.1.7 数据同步(2)

《企业级云原生白皮书项目实战》——第五章 大数据——5.1 检索分析服务 Elasticsearch版——5.1.7 数据同步(1) https://developer.aliyun.com/article/1228658?groupCode=supportservice


5.1.7.2 集群间数据迁移

目前阿里云Elasticsearch支持通过Logstash、reindex和OSS等多种方式进行ES集群间数据迁移。OSS快照适合迁移速度快,源端数据量较大(GB、TB、PB级别)的场景,OSS方式是目标端ES和源端ES都需要去访问OSS的,所以在使用时需要保证目标端ES和源端ES可以访问OSS。Logstash适合数据体量不大,需要在线数据同步的场景,该方式是需要logstash可以访问目标端ES和源端ES。ReIndex适合源端数据量较小,且对迁移速度要求不高的场景,该方式是需要在目标ES集群上执行,然后从源 ES 集群导入数据到目标端ES 集群,所以需要目标端ES 集群节点可以访问源端ES集群。根据ES集群类型可以主要分为以下三种同步场景。并且每种场景的不同同步方式,都是有些限制的,相关限制可从ES集群网络架构和OSS同步方式思考原因。

5.1.7.2.1 阿里云Elasticsearch实例间数据迁移

OSS快照:OSS快照方式不支持迁移增量数据,建议在迁移前关闭源端待迁移索引的写入或更新。另外,跨集群OSS仓库设置功能,对源端和目标端实例有以下3个限制。1是源端和目标端实例必须在相同地域,2是源端和目标端实例需归属于相同账号,3是源端实例的版本低于或等于目标端实例的版本。

Logstash:需要源ES、Logstash和目标ES在同一专有网络。如果不在同一专有网络,需要通过配置NAT网关实现与公网的连通,同时源ES、Logstash和目标ES实例版本需满足兼容性要求,详细信息请参见产品兼容性。

ReIndex:要求两个Elasticsearch集群在同一网络架构下,或者目标端ES是旧网络架构,源端ES是新网络架构。

5.1.7.2.2 自建Elasticsearch迁移至阿里云

OSS快照:OSS快照方式不支持迁移增量数据,建议在迁移前关闭源端待迁移索引的写入或更新。另外,跨集群OSS仓库设置功能,对源端和目标端实例有以下3个限制。1是源端和目标端实例必须在相同地域,2是源端和目标端实例需归属于相同账号,3是源端实例的版本低于或等于目标端实例的版本。

Logstash:需要源ES、Logstash和目标ES在同一专有网络。如果不在同一专有网络,需要通过配置NAT网关实现与公网的连通,同时源ES、Logstash和目标ES实例版本需满足兼容性要求,详细信息请参见产品兼容性。

ReIndex:要求两个Elasticsearch集群在同一网络架构下,或者目标端ES是旧网络架构,源端ES是新网络架构。

5.1.7.2.2 自建Elasticsearch迁移至阿里云

OSS快照:需要获取与源Elasticsearch版本一致的elasticsearch-repository-oss插件。另外,OSS快照方式不支持迁移增量数据,建议在迁移前关闭源端待迁移索引的写入或更新。

Logstash:源ES、Logstash和目标ES在同一专有网络。如果不在同一专有网络,需要通过配置NAT网关实现与公网的连通。同时源ES、Logstash和目标ES版本需满足兼容性要求,详细信息请参见产品兼容性

ReIndex:旧网络架构ES需要和源端集群在同一VPC网络中,新网络架构ES需借助PrivateLink,打通ECS上自建Elasticsearch集群所处的网络与阿里云服务账号的网络,再使用终端节点域名进行reindex。

5.1.7.2.3 第三方Elasticsearch迁移至阿里云

OSS快照:需要将第三方的ES快照数据同步到OSS中,然后在阿里云ES上进行快照恢复。

Logstash:需要阿里云Logstash配置NAT网关实现与公网连通,源Elastic

search、Logstash和目标Elasticsearch实例版本需满足兼容性要求,详细信息请参见产品兼容性。

ReIndex:不支持。

5.1.7.3 非ES集群间数据同步

可以使用Logstash(开源Logstash/阿里云Logstash)、阿里云DataWorks、阿里云DTS、Canal等数据同步工具进行数据同步。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
3月前
|
自然语言处理 大数据 应用服务中间件
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
86 5
|
3月前
|
存储 分布式计算 大数据
大数据-169 Elasticsearch 索引使用 与 架构概念 增删改查
大数据-169 Elasticsearch 索引使用 与 架构概念 增删改查
78 3
|
5月前
|
存储 API 数据库
检索服务elasticsearch索引(Index)
【8月更文挑战第23天】
78 6
|
5月前
|
存储 负载均衡 监控
检索服务elasticsearch节点(Node)
【8月更文挑战第23天】
73 5
|
5月前
|
Cloud Native 安全 大数据
云原生与大数据
【8月更文挑战第27天】云原生与大数据
74 5
|
5月前
|
存储 监控 负载均衡
检索服务elasticsearch集群(Cluster)
【8月更文挑战第23天】
73 3
|
5天前
|
编解码 弹性计算 大数据
软硬结合助力倚天云原生算力再进化,加速大数据、视频转码上云步伐
本文介绍了云原生算力的进化,重点讨论了倚天710 CPU在大数据和视频转码场景中的应用与优势。倚天710采用ARM架构,通过物理核设计和CIPU加速卡优化,显著提升了高负载下的性能稳定性,并在实际应用中帮助客户实现了20%-40%的性能提升和成本降低。此外,文章还探讨了操作系统、编译器等底层软件的优化,以及如何通过龙蜥社区和阿里云平台支持更多应用场景,助力企业实现高效迁移和性能优化。
|
19天前
|
存储 负载均衡 监控
揭秘 Elasticsearch 集群架构,解锁大数据处理神器
Elasticsearch 是一个强大的分布式搜索和分析引擎,广泛应用于大数据处理、实时搜索和分析。本文深入探讨了 Elasticsearch 集群的架构和特性,包括高可用性和负载均衡,以及主节点、数据节点、协调节点和 Ingest 节点的角色和功能。
40 0
|
2月前
|
存储 Cloud Native 块存储
EBS深度解析:云原生时代企业级块存储
企业上云的策略,从 Cloud-Hosting 转向 Serverless 架构。块存储作为企业应用上云的核心存储产品,将通过 Serverless 化来加速新的计算范式全面落地。在本话题中,我们将会介绍阿里云块存储企业级能力的创新,深入解析背后的技术细节,分享对未来趋势的判断。
151 2
|
3月前
|
JSON Java 网络架构
elasticsearch学习四:使用springboot整合 rest 进行搭建elasticsearch服务
这篇文章介绍了如何使用Spring Boot整合REST方式来搭建和操作Elasticsearch服务。
157 4
elasticsearch学习四:使用springboot整合 rest 进行搭建elasticsearch服务