想要进入大数据领域,Hadoop是避不开的关键的关键!
将海量的数据发挥出商业价值,这就是大数据技术所存在的意义!在此之前,你应该听过很多大数据领域的高端技术,比如说Flink、Hive、Spark、HBase等。层出不穷的大数据组件,其中Hadoop就是构建这一系列的大数据王国的基石!
一、🍕环境及工具准备
1.1 🚗VMware虚拟机软件安装
一台电脑本身是可以装多个操作系统的,但是做不到多个操作系统切换自如,所以我们需要一款软件帮助我们达到这个目的,不然数仓项目搭建不起来。
推荐的软件为VMware,VMware可以使用户在一台计算机上同时运行多个操作系统,还可以像Windows应用程序一样来回切换。用户可以如同操作真实安装的系统一样操作虚拟机系统,甚至可以在一台计算机上将几个虚拟机系统连接为一个局域网或者连接到互联网。
以下是VMware Workstation Pro 15.5的安装步骤
1.1.1 开始安装
1.2.2 欢迎界面
1.2.3 同意许可证
1.2.4 选择安装路径
1.2.5 用户体检计划
每次开启虚拟机时,会提醒让你更新版本,建议两个都不勾
1.2.6 快捷方式
建议勾选,安装后使用起来会比较方便
1.2.7 开始安装
1.2.8 等待安装完成
###1.2.9 VMware安装完毕
桌面上的快捷方式,双击它就可以使用啦。
1.2 🚓CentOS系统的安装
安装好虚拟机之后我们需要在其中安装好相应的Linux系统,使用虚拟机安装linux系统的好处在于:可以实现以最低的成本来搭建服务器集群,只需要在后续的操作进行复制粘贴即可完成集群的部署。
2.1.1 进入VMware
双击VMware图标,看到如下界面
2.1.2 自定义新的虚拟机
2.1.3 解决虚拟机的兼容性
2.1.4 选择当前虚拟机的操作系统
我们先配置电脑,再安装系统。
2.1.5 选择虚拟机将来需要安装的系统
因为不同的操作系统需要解决不同的兼容性问题,所以需要选择将来用什么系统,提前做适配。
2.1.6 配置电脑
给自己配置电脑取个名字,并存放在物理机的位置在哪。
2.1.7 选择CPU的个数
有个原则就是选满(跟物理机的CPU个数相同,但是不能超过)
1) 查看物理机CPU个数(Windows10为例)
2) 设置虚拟机处理器的数量
2.1.8 设置虚拟机的内存
内存大小有一定要求,建议4G,不能给太多,后期会有多台虚拟机同时启动
2.1.9 选择虚拟机上网方式
1) 选择NAT的方式
2) 没有VMware之前物理机的网络适配器信息(每个人不同,我只有3个)
3)安装VMware之后物理机的网络适配器信息(会多两个vmnet1和vmnet8)
注:vmnet8是虚拟机使用NAT模式上网的网卡
2.1.10 选择对应的文件系统的IO方式
2.1.11 选择磁盘的类型
2.1.12 选择磁盘的种类
2.1.13 选择虚拟机的磁盘大小
2.1.14 虚拟机文件的存放位置
2.1.15 电脑配置完毕
2.1.16 在虚拟机中安装系统(CentOS7)
在上面的步骤基础下,我们需要为已经创建好的虚拟机文件绑定相应的系统。
注意:在安装系统之前需要检查自己虚拟机的bios的虚拟化是否打开(大部分的电脑都是打开的,大家可以先尝试直接安装,如果出现错误再去调试,没有出错就不用管了)
以下是查看虚拟机bios是否开启的方式
(1)window10
(2)window7里面看不到(得去bios里面看)
(3)如果发现bios虚拟化没有开启怎么办,重启电脑,在加载界面时按f1-f10,>或者电脑旁边一个小洞,具体怎么进入得去查一下(按照自己电脑的型号去查)
(4)修改虚拟化为开启(thinkpad为例)找到security 里面的VT并改成enabled
注:如果虚拟化没有开启报的是以下错误
2.1.17 选择cd/dvd的方式安装系统
2.1.18 系统安装引导界面
你得需要将鼠标点击进入界面中,但是鼠标会消失,你此刻得用键盘的上下键来控制选项,图标变白了表示当前选中的是哪个选项,然后敲回车,表示执行所选选项。
注意:如果这个时候你需要鼠标可以使用ctrl+alt
一起按呼出鼠标
(1)耐心等待它的安装
(2)会自动跳转下面的界面