开发者社区> 问答> 正文

MapReduce执行环境的本地测试环境(windows)是什么?

MapReduce执行环境的本地测试环境(windows)是什么?

展开
收起
真的很搞笑 2021-12-05 15:57:42 519 0
1 条回答
写回答
取消 提交回答
  • 1、在windows下配置hadoop的环境变量

    2、拷贝debug工具(winutils.exe)到hadoop目录中的bin目录,注意winutils.exe的版本要与hadoop版本对应,否则可能会报错。

    3、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib

    4、MapReduce调用的代码需要改变:   a、src不能有服务器的hadoop配置文件   b、在调用是使用:   Configuration config = new Configuration();   config.set(""fs.defaultFS"", ""hdfs://node7:8020"");//指定namenode的主机名和端口号,因为文件是放在hdfs上的需要从hdfs上读取。   config.set(""yarn.resourcemanager.hostname"", ""node7"");//resourcemanager的主机名。

    5、可以进行Debug调试。

    2021-12-05 16:01:27
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《云服务器运维之Windows篇》 立即下载
TAKING WINDOWS 10 KERNEL 立即下载
ECS运维指南之Windows系统诊断 立即下载