断点续传采集分为全量和 Binlog 两种方式,它们都是基于 Flink 的状态(state)管理能力。在同步过程中,Flink 会将当前的同步进度存储到状态中。如果同步过程中发生失败,Flink 能够从状态中恢复上一次同步的进度,从而实现断点续传。
你说的是客户端SDK 的断点续传吧
断点续传采集是一种确保日志或数据传输可靠性的技术,即使在网络不稳定或应用程序重启的情况下,也能保证数据不丢失并能继续传输
这个以安卓举例子:
开启断点续传:在初始化LogProducerConfig时,通过setPersistent(1)来开启断点续传功能,其中1表示开启,0表示关闭,默认为关闭状态。
设置持久化文件路径:使用setPersistentFilePath方法指定一个本地文件路径来保存未成功发送的日志数据,确保该路径所在目录已创建。
配置持久化参数:可以通过setPersistentMaxFileCount设置持久化文件的最大滚动数量,推荐为10;setPersistentMaxFileSize设置每个持久化文件的大小,格式为N10241024,建议N的取值在1到10之间;setPersistentMaxLogCount设置本地缓存日志的最大数量,默认为65536。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。