《深入理解Hadoop(原书第2版)》——3.2使用Cloudera虚拟机搭建开发环境

简介:

本节书摘来自华章计算机《深入理解Hadoop(原书第2版)》一书中的第3章,第3.2节,作者 [美]萨米尔·瓦德卡(Sameer Wadkar),马杜·西德林埃(Madhu Siddalingaiah),杰森·文纳(Jason Venner),译 于博,冯傲风,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.2使用Cloudera虚拟机搭建开发环境

本书着重讲解基于Hadoop系统的开发。Hadoop系统的安装是一个比较复杂的操作过程,服务提供商会提供安装工具使得该安装操作易如反掌。比如,Cloudera公司开发的Cloudera Manager就大大简化了Hadoop系统的安装。作为一个开发人员,我们希望有一个可快速安装且易于搭建的可靠的开发环境。Cloudera公司发布了基于VMware 和 VirtualBox的CDH5.0。如果你没有安装这些虚拟机的播放器,请先下载安装其最新版本。然后,从下面这个链接下载Cloudera 5 QuickStart VM:

screenshot

需要注意的是,Cloudera 5虚拟机需要8GB的内存。请确保你的机器有足够的内存来运行这个虚拟机。然后,一步步地执行剩下的操作步骤,自己的开发环境最终会安装成功。

当你启动虚拟机之后,你会看到如图3-1的界面。箭头指向的是虚拟机中桌面上的Eclipse图标。因为在Eclipse环境中已经将Hadoop程序配置为以本地模式的方式执行,所以,打开Eclipse即可开发Hadoop程序代码。

你要使用Hadoop 2.0系统作为开发环境的工作就完成了。该开发环境也允许用户以伪分布式模式的方式来运行作业,以此来模拟测试该作业代码在真实集群环境下的运行情况。这是一套集程序开发、单元测试和集成测试于一体的完整全面的开发环境。在该开发环境中,只要稍加配置就可以使用Cloudera Manager,这是一个监控和管理作业的用户友好的GUI(图形用户界面)。你最好能够熟练使用这个工具,它会极大地帮你简化作业的管理和跟踪工作。

screenshot

我们强烈推荐你使用上述方法来快速地搭建Hadoop2.0开发环境。

如果要使用本节讲到的Cloudera虚拟机来搭建Hadoop开发环境,你就无须了解Hadoop系统安装步骤了。但是我们仍然在附录A中介绍了Hadoop系统在Windows 和 Linux平台上的安装过程。你可以按照附录A中介绍的步骤,安装一个在伪分布式模式下运行的Hadoop系统。

相关文章
|
12月前
|
分布式计算 Ubuntu Hadoop
Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
呈上,这些步骤如诗如画,但有效且动人。仿佛一个画家在画布上描绘出一幅完美的画面,这就是你的开发环境。接下来,尽情去创造吧,祝编程愉快!
972 19
|
分布式计算 Oracle Hadoop
【大数据实训】—Hadoop开发环境搭建(一)
【大数据实训】—Hadoop开发环境搭建(一)
|
分布式计算 Java Hadoop
虚拟机安装配置JDK和Hadoop
虚拟机安装配置JDK和Hadoop
816 0
|
分布式计算 Hadoop Linux
hadoop3自学入门笔记(1)——虚拟机安装和网络配置
hadoop3自学入门笔记(1)——虚拟机安装和网络配置
885 0
hadoop3自学入门笔记(1)——虚拟机安装和网络配置
|
分布式计算 资源调度 Hadoop
VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群 下
VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群 下
996 0
VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群   下
|
分布式计算 Hadoop Linux
VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群 中
VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群 中
556 0
VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群   中
|
分布式计算 Hadoop Java
VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群 上
VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群 上
807 0
VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群  上
|
弹性计算 JSON 分布式计算
通过资源编排批量部署 Hadoop 开发环境|学习笔记
快速学习通过资源编排批量部署 Hadoop 开发环境
通过资源编排批量部署 Hadoop 开发环境|学习笔记
uiu
|
存储 分布式计算 安全
【亲测】Hadoop 高可用集群搭建 与 开发环境部署(二)
【亲测】Hadoop 高可用集群搭建 与 开发环境部署(二)
uiu
251 0
【亲测】Hadoop 高可用集群搭建 与 开发环境部署(二)
|
消息中间件 SQL 分布式计算
Cloudera Enterprise 6.0发布【集成Hadoop3.0】
Cloudera Enterprise 6.0发布【集成Hadoop3.0】
340 0

相关实验场景

更多