开发者社区> 问答> 正文

DataX 3.0健壮的容错机制是什么?

DataX 3.0健壮的容错机制是什么?

展开
收起
芯在这 2021-12-13 22:30:26 1055 0
1 条回答
写回答
取消 提交回答
  • 健壮的容错机制

    DataX作业是极易受外部因素的干扰,网络闪断、数据源不稳定等因素很容易让同步到一半的作业报错停止。因此稳定性是DataX的基本要求,在DataX 3.0的设计中,重点完善了框架和插件的稳定性。目前DataX3.0可以做到线程级别、进程级别(暂时未开放)、作业级别多层次局部/全局的重试,保证用户的作业稳定运行。

    线程内部重试

    DataX的核心插件都经过团队的全盘review,不同的网络交互方式都有不同的重试策略。

    线程级别重试

    目前DataX已经可以实现TaskFailover,针对于中间失败的Task,DataX框架可以做到整个Task级别的重新调度。

    2021-12-13 22:30:46
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
分布式流处理框架——功能对比和性能评估 立即下载
分布式流处理框架 立即下载
在多租户环境中提高HBase可用性 立即下载

相关实验场景

更多