开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

数据集成中,使用FTP数据源,原FTP的文件被ZIP压缩,且压缩文件中有多个待入仓数据文件时,FT

数据集成中,使用FTP数据源,原FTP的文件被ZIP压缩,且压缩文件中有多个待入仓数据文件时,FTP Reader怎么读取的?

展开
收起
爱喝咖啡嘿 2023-01-03 13:58:27 168 0
1 条回答
写回答
取消 提交回答
  • 如果你希望FTP Reader能够读取压缩文件中的多个数据文件,你需要在FTP Reader的配置中将“解压缩”选项设置为“是”。这样,FTP Reader就会自动解压缩文件并读取里面的所有数据文件。

    你还可以使用“过滤条件”配置项来指定FTP Reader读取哪些文件。例如,你可以使用正则表达式来匹配文件名,以确保FTP Reader只读取符合条件的文件。

    注意:如果你的压缩文件包含的是嵌套的文件夹,那么FTP Reader可能无法读取里面的文件。在这种情况下,你可以考虑使用其他工具(如7-Zip)先解压缩文件,然后再使用FTP Reader读取解压后的文件

    2023-01-07 23:28:08
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
Flink CDC:新一代数据集成框架 立即下载
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
《DataWorks 数据集成实时同步》 立即下载