吐血整理的Hadoop最全开发指南【环境准备篇】(上)

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 吐血整理的Hadoop最全开发指南【环境准备篇】

想要进入大数据领域,Hadoop是避不开的关键的关键


将海量的数据发挥出商业价值,这就是大数据技术所存在的意义!在此之前,你应该听过很多大数据领域的高端技术,比如说Flink、Hive、Spark、HBase等。层出不穷的大数据组件,其中Hadoop就是构建这一系列的大数据王国的基石!

4652409a6c7ebf36af28aa443ccb6b5b.png


一、🍕环境及工具准备

1.1 🚗VMware虚拟机软件安装

一台电脑本身是可以装多个操作系统的,但是做不到多个操作系统切换自如,所以我们需要一款软件帮助我们达到这个目的,不然数仓项目搭建不起来。

推荐的软件为VMware,VMware可以使用户在一台计算机上同时运行多个操作系统,还可以像Windows应用程序一样来回切换。用户可以如同操作真实安装的系统一样操作虚拟机系统,甚至可以在一台计算机上将几个虚拟机系统连接为一个局域网或者连接到互联网。

以下是VMware Workstation Pro 15.5的安装步骤


1.1.1 开始安装

bd22fda6d7c4a5937bb56b499f5f49de.png


1.2.2 欢迎界面

cac6fb7ab0cf53891a0c4d4d444024db.png


1.2.3 同意许可证

image.png


1.2.4 选择安装路径

image.png


1.2.5 用户体检计划

每次开启虚拟机时,会提醒让你更新版本,建议两个都不勾

7ca715349fb2fcfaac0f13026c86e1aa.png


1.2.6 快捷方式

建议勾选,安装后使用起来会比较方便

image.png


1.2.7 开始安装

image.png


1.2.8 等待安装完成

image.png


###1.2.9 VMware安装完毕

桌面上的快捷方式,双击它就可以使用啦。

8e4c7ff1fe0701eb04045ed72f2d7184.png


1.2 🚓CentOS系统的安装

安装好虚拟机之后我们需要在其中安装好相应的Linux系统,使用虚拟机安装linux系统的好处在于:可以实现以最低的成本来搭建服务器集群,只需要在后续的操作进行复制粘贴即可完成集群的部署。


2.1.1 进入VMware

双击VMware图标,看到如下界面

image.png


2.1.2 自定义新的虚拟机

image.png


2.1.3 解决虚拟机的兼容性

image.png


2.1.4 选择当前虚拟机的操作系统

我们先配置电脑,再安装系统。

image.png


2.1.5 选择虚拟机将来需要安装的系统

因为不同的操作系统需要解决不同的兼容性问题,所以需要选择将来用什么系统,提前做适配。

image.png


2.1.6 配置电脑

给自己配置电脑取个名字,并存放在物理机的位置在哪。

image.png


2.1.7 选择CPU的个数

有个原则就是选满(跟物理机的CPU个数相同,但是不能超过)

1) 查看物理机CPU个数(Windows10为例)

image.png


2) 设置虚拟机处理器的数量

image.png


2.1.8 设置虚拟机的内存

内存大小有一定要求,建议4G,不能给太多,后期会有多台虚拟机同时启动

image.png


2.1.9 选择虚拟机上网方式

1) 选择NAT的方式

image.png


2) 没有VMware之前物理机的网络适配器信息(每个人不同,我只有3个)

image.png


3)安装VMware之后物理机的网络适配器信息(会多两个vmnet1和vmnet8)

image.png

注:vmnet8是虚拟机使用NAT模式上网的网卡


2.1.10 选择对应的文件系统的IO方式

image.png


2.1.11 选择磁盘的类型

image.png


2.1.12 选择磁盘的种类

image.png


2.1.13 选择虚拟机的磁盘大小

image.png


2.1.14 虚拟机文件的存放位置

image.png


2.1.15 电脑配置完毕

image.png


2.1.16 在虚拟机中安装系统(CentOS7)

在上面的步骤基础下,我们需要为已经创建好的虚拟机文件绑定相应的系统。

image.png


注意:在安装系统之前需要检查自己虚拟机的bios的虚拟化是否打开(大部分的电脑都是打开的,大家可以先尝试直接安装,如果出现错误再去调试,没有出错就不用管了)

以下是查看虚拟机bios是否开启的方式

(1)window10

image.png


(2)window7里面看不到(得去bios里面看)

(3)如果发现bios虚拟化没有开启怎么办,重启电脑,在加载界面时按f1-f10,>或者电脑旁边一个小洞,具体怎么进入得去查一下(按照自己电脑的型号去查)

(4)修改虚拟化为开启(thinkpad为例)找到security 里面的VT并改成enabled

image.png


注:如果虚拟化没有开启报的是以下错误

image.png


2.1.17 选择cd/dvd的方式安装系统

image.png

image.png

image.png


2.1.18 系统安装引导界面

你得需要将鼠标点击进入界面中,但是鼠标会消失,你此刻得用键盘的上下键来控制选项,图标变白了表示当前选中的是哪个选项,然后敲回车,表示执行所选选项。

注意:如果这个时候你需要鼠标可以使用ctrl+alt一起按呼出鼠标

image.png


(1)耐心等待它的安装

image.png


(2)会自动跳转下面的界面

6937f8eef1ed96ebb901b8563860e80a.png

相关文章
|
7月前
|
分布式计算 资源调度 Hadoop
Hadoop节点资源扩展环境部署
【4月更文挑战第16天】扩展Hadoop集群涉及多个步骤:准备新节点,配置静态IP,安装并配置Hadoop,将新节点添加到集群,验证测试,及优化调整。确保符合硬件需求,更新集群节点列表,执行`hdfs dfsadmin -refreshNodes`命令,检查新节点状态,并依据测试结果优化性能。注意不同环境可能需要调整具体步骤,建议参照官方文档并在测试环境中预演。
61 4
|
7月前
|
分布式计算 Hadoop Java
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
124 0
|
2月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
66 1
|
2月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
51 0
|
4月前
|
存储 分布式计算 监控
Hadoop在云计算环境下的部署策略
【8月更文第28天】Hadoop是一个开源软件框架,用于分布式存储和处理大规模数据集。随着云计算技术的发展,越来越多的企业开始利用云平台的优势来部署Hadoop集群,以实现更高的可扩展性、可用性和成本效益。本文将探讨如何在公有云、私有云及混合云环境下部署和管理Hadoop集群,并提供具体的部署策略和代码示例。
145 0
|
7月前
|
存储 分布式计算 Hadoop
[绝对要收藏]配置hadoop完全分布式环境
[绝对要收藏]配置hadoop完全分布式环境
51 0
|
7月前
|
分布式计算 Hadoop Java
Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】
Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】
120 0
|
7月前
|
分布式计算 安全 Hadoop
百度搜索:蓝易云【centos7系统搭建Hadoop环境教程】
这些是在CentOS 7上搭建Hadoop环境的基本步骤。根据您的需求和具体环境,可能还需要进行其他配置和调整。确保在进行任何与网络连接和安全相关的操作之前,详细了解您的网络环境和安全需求,并采取适当的安全措施。
106 0
|
7月前
|
分布式计算 Hadoop Java
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
152 0
|
7月前
|
分布式计算 Hadoop Windows
解决Windows环境下hadoop集群的运行
解决Windows环境下hadoop集群的运行
112 0