Hadoop

首页 标签 Hadoop
# Hadoop #
关注
11263内容
[Hadoop]输入路径过滤,通配符与PathFilter
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/53786397 1. 丢失文件路径过滤 应用场景:我们想查询一个月以来度假的订单数据,但是HDFS中可能因为业务故障,导致某一天的订单数据不存在: FileInputFormat.setInputPaths(job, inputPath); 上述代码在遇到路径不存在的时候会报错。
[雪峰磁针石博客]大数据Hadoop工具python教程4-mrjob
mrjob是由Yelp创建的Python MapReduce库,它封装了Hadoop流,允许MapReduce应用程序以更加Pythonic的方式编写。 mrjob用纯Python编写多步MapReduce作业。
Hadoop学习路径
一、平台基础 1.1、大数据 了解什么是大数据,大数据入门,以及大数据介绍。 以及大数据中存在的问题,包括存储,计算的问题,有哪些解决策略。
免费试用