[Hadoop]输入路径过滤,通配符与PathFilter
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/53786397
1. 丢失文件路径过滤
应用场景:我们想查询一个月以来度假的订单数据,但是HDFS中可能因为业务故障,导致某一天的订单数据不存在:
FileInputFormat.setInputPaths(job, inputPath);
上述代码在遇到路径不存在的时候会报错。
Hadoop学习路径
一、平台基础
1.1、大数据
了解什么是大数据,大数据入门,以及大数据介绍。
以及大数据中存在的问题,包括存储,计算的问题,有哪些解决策略。