Logstash JDBC数据mysql同步es的延迟时间大概有多少
问题描述
Logstash JDBC数据同步的延迟时间到底有多少
- 同步全量数据，接受秒级延迟的场景。
- 批量查询数据然后进行同步的场景。
...
Logstash JDBC数据同步 | 通过logstash-input-jdbc插件实现通过Logstash批量查询RDS中的数据，并将数据迁移到Elasticsearch。实现的本质是该插件会定期对RDS中的数据进行循环轮询，从而在当前循环中找到上次插入或更改的记录，然后批量查询这些记录并迁移至Elasticsearch。与DTS同步方案相比，该方案的实时性较差，存在秒级延迟。 |
|
|
期望结果
...
已尝试的方法
...
展开
收起
2
条回答
写回答
写回答
-
具体延迟时间需要你实际数据场景测试，目前只能说logstash方案适用的场景是能接受延迟秒级别的；若对实时性要求高推荐参考 同步方案选取指南：https://help.aliyun.com/document_detail/170426.html 中 DTS的方式实现数据同步
2022-10-12 17:50:10赞同 展开评论 打赏 -
这个跟用户的数据量、集群的状态和规格等很多因素有关的，没办法给出具体延迟时间。如果对数据同步的实时性要求较高，可以选择DTS的方案。
如果出现同步任务失败（例如管道一直在生效中、前后数据不一致、数据库连接不成功），可以参考通过Logstash将RDS MySQL数据同步至Elasticsearch中的常见问题，排查一下。
2022-10-12 17:34:41赞同 展开评论 打赏
问答标签：
问答地址：
开发者社区
>
大数据与机器学习
>
检索分析服务 Elasticsearch版
>
问答
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
热门讨论
热门文章
实验中 Elasticsearch、es kibana login 的默认用户和口令是什么？
2784
场景是这样的，十几个Elasticsearch节点，每个节点标准的64g内存耗时还是在30到是40s
592
Elasticsearch中docs.deleted 这个里面的数据怎么彻底删掉呢？
13184
es聚合查询不准确和精度丢失问题要怎么解决啊？
2646
【藏经阁一起读（31）】读《Elastic（中国）产品应用实战》，你有哪些心得？
26026
Elasticsearch用es遇到过 Request cannot be executed吗？
332
【藏经阁一起读（24）】读《Elastic Stack 实战手册》，你有哪些心得？
21871
大佬们，我想问一下es单节点的查询并发大概能到一个什么量级啊？
3001
【藏经阁一起读（30）】读《Elastic（中国）基础开发宝典》，你有哪些心得？
20798
Elasticsearch更新数据时报错: Rejecting mapping update to
1425
展开全部
【最佳实践】esrally：Elasticsearch 官方压测工具及运用详解
16162
Elasticsearch 既是搜索引擎又是数据库？真的有那么全能吗？
11129
【最佳实践】Elasticsearch Java Rest Client快速上手（附完整示例代码包）
10190
PB级数据量背后阿里云 Elasticsearch 的内核优化实践
5537
动手实践：高效构建企业级AI搜索
10896
带你读《Elastic Stack 实战手册》之9：—— 3.4.1.2.Kibana（本地及docker）(5)
454
大神都这么做，让 Kibana 搜索语法 query string 也能轻松上手
16194
【最佳实践】阿里云 Elasticsearch 向量检索4步搭建“以图搜图”搜索引擎
11424
【最佳实践】简单配置，实现Filebeat多行日志传送
8435
阿里云 Elasticsearch 向量检索，轻松玩转人脸识别、搜索推荐等29个业务场景
10617
展开全部
