MapReduce执行环境的本地测试环境(windows)是什么?
1、在windows下配置hadoop的环境变量
2、拷贝debug工具(winutils.exe)到hadoop目录中的bin目录,注意winutils.exe的版本要与hadoop版本对应,否则可能会报错。
3、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
4、MapReduce调用的代码需要改变: a、src不能有服务器的hadoop配置文件 b、在调用是使用: Configuration config = new Configuration(); config.set(""fs.defaultFS"", ""hdfs://node7:8020"");//指定namenode的主机名和端口号,因为文件是放在hdfs上的需要从hdfs上读取。 config.set(""yarn.resourcemanager.hostname"", ""node7"");//resourcemanager的主机名。
5、可以进行Debug调试。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。