开发者社区> 问答> 正文

断点续传采集是如何处理的?

断点续传采集是如何处理的?

展开
收起
花开富贵111 2024-08-19 14:44:59 29 0
2 条回答
写回答
取消 提交回答
  • 断点续传采集分为全量和 Binlog 两种方式,它们都是基于 Flink 的状态(state)管理能力。在同步过程中,Flink 会将当前的同步进度存储到状态中。如果同步过程中发生失败,Flink 能够从状态中恢复上一次同步的进度,从而实现断点续传。

    2024-08-19 16:15:49
    赞同 3 展开评论 打赏
  • 阿里云大降价~

    你说的是客户端SDK 的断点续传吧
    断点续传采集是一种确保日志或数据传输可靠性的技术,即使在网络不稳定或应用程序重启的情况下,也能保证数据不丢失并能继续传输
    这个以安卓举例子:
    开启断点续传:在初始化LogProducerConfig时,通过setPersistent(1)来开启断点续传功能,其中1表示开启,0表示关闭,默认为关闭状态。

    设置持久化文件路径:使用setPersistentFilePath方法指定一个本地文件路径来保存未成功发送的日志数据,确保该路径所在目录已创建。

    配置持久化参数:可以通过setPersistentMaxFileCount设置持久化文件的最大滚动数量,推荐为10;setPersistentMaxFileSize设置每个持久化文件的大小,格式为N10241024,建议N的取值在1到10之间;setPersistentMaxLogCount设置本地缓存日志的最大数量,默认为65536。

    参考文档

    image.png

    2024-08-19 15:51:16
    赞同 2 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载