开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

用sql-client.sh生成的job在cancle过后 如何实现断点续传?

用sql-client.sh生成的job在cancle过后 如何实现断点续传?

展开
收起
游客3oewgrzrf6o5c 2022-07-22 13:46:17 243 0
1 条回答
写回答
取消 提交回答
  • 全栈JAVA领域创作者

    您好!如果您使用sql-client.sh生成的job在cancle过后,可以尝试以下方法实现断点续传:

    1. 在cancle job之前,将当前进度保存到一个文件中。例如,您可以使用以下命令将当前进度保存到名为“progress.txt”的文件中:
    sqoop export 
    --connect jdbc:mysql://localhost/dbname 
    --username user 
    --password pass 
    --table tablename 
    --export-dir /tmp 
    --input-fields-terminated-by '\t' 
    --input-lines-terminated-by '
    ' 
    --input-optionally-enclosed-by '\"' 
    --columns "col1,col2,col3" 
    --update-key col1 
    --update-mode allowinsert 
    --where "col1='value1'" > progress.txt
    
    1. 在重新启动作业时,使用以下命令从先前保存的进度文件中恢复作业:
    sqoop import 
    --connect jdbc:mysql://localhost/dbname 
    --username user 
    --password pass 
    --table tablename 
    --target-dir /tmp 
    --delete-target-dir 
    --fields-terminated-by '\t' 
    --lines-terminated-by '
    ' 
    --columns "col1,col2,col3" 
    --where "col1='value1'" < progress.txt
    
    2023-07-24 08:04:23
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
The state of SQL-on-Hadoop in 立即下载
gohbase :HBase go客户端 立即下载
The state of SQL-on-Hadoop in the Cloud 立即下载