开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks同步任务同步到OSS,总是报下面的错误,如何解决?

DataWorks同步任务同步到OSS,总是报下面的错误,如何解决?
Caused by: com.aliyun.oss.ClientException: The target server failed to respond

    at com.aliyun.oss.common.utils.ExceptionFactory.createNetworkException(ExceptionFactory.java:71)
    at com.aliyun.oss.common.comm.DefaultServiceClient.sendRequestCore(DefaultServiceClient.java:127)
    at com.aliyun.oss.common.comm.ServiceClient.sendRequestImpl(ServiceClient.java:133)
    at com.aliyun.oss.common.comm.ServiceClient.sendRequest(ServiceClient.java:70)
    at com.aliyun.oss.internal.OSSOperation.send(OSSOperation.java:83)
    at com.aliyun.oss.internal.OSSOperation.doOperation(OSSOperation.java:145)
    at com.aliyun.oss.internal.OSSOperation.doOperation(OSSOperation.java:102)
    at com.aliyun.oss.internal.OSSMultipartOperation.initiateMultipartUpload(OSSMultipartOperation.java:226)
    at com.aliyun.oss.OSSClient.initiateMultipartUpload(OSSClient.java:727)
    at org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystemStore.getUploadId(AliyunOSSFileSystemStore.java:641)
    at org.apache.hadoop.fs.aliyun.oss.AliyunOSSBlockOutputStream.uploadCurrentPart(AliyunOSSBlockOutputStream.java:177)
    at org.apache.hadoop.fs.aliyun.oss.AliyunOSSBlockOutputStream.write(AliyunOSSBlockOutputStream.java:151)
    at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.write(FSDataOutputStream.java:58)
    at java.io.DataOutputStream.write(DataOutputStream.java:107)
    at java.io.FilterOutputStream.write(FilterOutputStream.java:97)
    at parquet.bytes.ConcatenatingByteArrayCollector.writeAllTo(ConcatenatingByteArrayCollector.java:46)
    at parquet.hadoop.ParquetFileWriter.writeDataPages(ParquetFileWriter.java:347)
    at parquet.hadoop.ColumnChunkPageWriteStore$ColumnChunkPageWriter.writeToFileWriter(ColumnChunkPageWriteStore.java:182)
    at parquet.hadoop.ColumnChunkPageWriteStore.flushToFileWriter(ColumnChunkPageWriteStore.java:238)
    at parquet.hadoop.InternalParquetRecordWriter.flushRowGroupToStore(InternalParquetRecordWriter.java:155)
    at parquet.hadoop.InternalParquetRecordWriter.checkBlockSizeReached(InternalParquetRecordWriter.java:131)
    at parquet.hadoop.InternalParquetRecordWriter.write(InternalParquetRecordWriter.java:123)
    at parquet.hadoop.ParquetWriter.write(ParquetWriter.java:258)
    at com.alibaba.datax.plugin.writer.hdfswriter.HdfsHelper.parquetFileStartWrite(HdfsHelper.java:1068)
    ... 4 more

展开
收起
真的很搞笑 2023-12-10 18:07:00 68 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个错误是由于目标服务器无法响应导致的。你可以尝试以下方法来解决这个问题:

    1. 检查网络连接是否正常,确保你的程序可以访问目标服务器。
    2. 检查目标服务器的防火墙设置,确保允许你的程序访问OSS服务。
    3. 增加重试次数和重试间隔,以便在网络不稳定的情况下有更多的机会成功连接到目标服务器。
    2023-12-11 13:10:01
    赞同 展开评论 打赏
  • 目前oss数据源 数据集成连通性测试是通过的么,看历史的实例运行情况只失败了这一次 目前怀疑是并发操作异常之类的导致 我再确认下哈,排查了下 可能是凌晨的时候网络抖动导致写入失败,所以文件处于一个不正常状态 目前看任务已经配置上了自动重跑 自动重跑可以缓解网络抖动导致的影响 另外可以尽量避免任务在凌晨高峰期执行 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-12-11 09:17:56
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    OSS运维进阶实战手册 立即下载
    《OSS运维基础实战手册》 立即下载
    OSS运维基础实战手册 立即下载