Logstash JDBC数据mysql同步es的延迟时间大概有多少
问题描述
Logstash JDBC数据同步的延迟时间到底有多少
- 同步全量数据，接受秒级延迟的场景。
- 批量查询数据然后进行同步的场景。
...
Logstash JDBC数据同步 | 通过logstash-input-jdbc插件实现通过Logstash批量查询RDS中的数据，并将数据迁移到Elasticsearch。实现的本质是该插件会定期对RDS中的数据进行循环轮询，从而在当前循环中找到上次插入或更改的记录，然后批量查询这些记录并迁移至Elasticsearch。与DTS同步方案相比，该方案的实时性较差，存在秒级延迟。 |
|
|
期望结果
...
已尝试的方法
...
展开
收起
2
条回答
写回答
写回答
-
具体延迟时间需要你实际数据场景测试，目前只能说logstash方案适用的场景是能接受延迟秒级别的；若对实时性要求高推荐参考 同步方案选取指南：https://help.aliyun.com/document_detail/170426.html 中 DTS的方式实现数据同步
2022-10-12 17:50:10赞同 展开评论 打赏 -
这个跟用户的数据量、集群的状态和规格等很多因素有关的，没办法给出具体延迟时间。如果对数据同步的实时性要求较高，可以选择DTS的方案。
如果出现同步任务失败（例如管道一直在生效中、前后数据不一致、数据库连接不成功），可以参考通过Logstash将RDS MySQL数据同步至Elasticsearch中的常见问题，排查一下。
2022-10-12 17:34:41赞同 展开评论 打赏
问答标签：
问答地址：
开发者社区
>
大数据与机器学习
>
检索分析服务 Elasticsearch版
>
问答
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
热门讨论
热门文章
Elasticsearch中docs.deleted 这个里面的数据怎么彻底删掉呢？
13632
写入Elasticsearch异常HTTP/1.1 413 Request Entity Too L
782
Elasticsearch大量报GC日志：GC (Allocation Failure），请问是什么
701
实验中 Elasticsearch、es kibana login 的默认用户和口令是什么？
3269
大佬们，我想问一下es单节点的查询并发大概能到一个什么量级啊？
3351
es聚合查询不准确和精度丢失问题要怎么解决啊？
2956
在检索分析服务 Elasticsearch版中es里有数据，但是在kibana那里无法匹配如何解决？
420
麻烦问下Elasticsearch，es版本是8.11.3，jdk安装的11.0.20，怎么解决?
417
大家好，es搜索结果中完全匹配的结果评分反而在后面，这个问题该如何解决呐？
1382
Elasticsearch用es遇到过 Request cannot be executed吗？
743
展开全部
【云上ELK系列】阿里云Elasticsearch的Apache日志分析实践
4446
使用Elasticsearch快速搭建食谱搜索系统
4653
Elasticsearch 既是搜索引擎又是数据库？真的有那么全能吗？
11699
PB级数据量背后阿里云 Elasticsearch 的内核优化实践
5927
【最佳实践】esrally：Elasticsearch 官方压测工具及运用详解
16830
【最佳实践】Elasticsearch Java Rest Client快速上手（附完整示例代码包）
10540
剖析 Elasticsearch 源码，解读 ES 在 index、create 时的原理
7082
ES证书过期替换方案
2051
【最佳实践】使用 Elasticsearch SQL 实现数据查询
5565
【最佳实践】简单配置，实现Filebeat多行日志传送
8725
展开全部
