DKhadoop环境安装配置步骤详解

简介: 在上一篇的分享文章中我是给大家分享了运行部署hadoop的一些安装准备工作,这篇接上一篇继续为大家分享一些个人的学习经验总结。我学习用的是大快发行版DKHadoop,所以所有的经验分享都是以DKHadoop为基础,这里要先说明一下。

在上一篇的分享文章中我是给大家分享了运行部署hadoop的一些安装准备工作,这篇接上一篇继续为大家分享一些个人的学习经验总结。我学习用的是大快发行版DKHadoop,所以所有的经验分享都是以DKHadoop为基础,这里要先说明一下。个人觉得DKHadoop对新手还是算是很友好的了,新手朋友们可以大快搜索网站下载一个三节点的dkhadoop玩一下看看。

闲话到此结束,本篇重点整理的是服务器操作系统的配置问题,写的可能会有点长,需要一点点耐心看的哦!

1.修改权限

步骤:在准备工作中拷贝安装DKHPlantform.zip主节点/root/目录后,解压并修改文件权限(文件所有者可读可写可执行,与文件所有者属于一个用户组的其他用户可读可执行,其他用户组可读可执行)。

命令:  

cd /root/

unzip DKHPlantform.zip

chmod -R 755 DKHPlantform

2. 搭建hadoop集群设置SSH免密登录

步骤:

修改主机名  vi /etc/sysconfig/network  reboot

1)修改本机hosts文件,写入对应关系

命令:

vi /etc/hosts

通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键然后按一下Shift+:键,输入wq 后回车就可以保存输入q回车则是放弃保存退出.

进入编辑模式后,按照规则写入主机与ip的对应关系(主机名称dk41是自己命名的,如下图)例:

    192.168.1.41    dk41

192.168.1.42    dk42

192.168.1.43    dk43

 a3cd9c1f568f1ba7231a137b51b35470aeebfd89

编辑完后,保存退出。把对应关系拷到其他两台机器上。

命令:

scp  -r  /etc/hosts  192.168.1.42:/etc

scp  -r  /etc/hosts  192.168.1.43:/etc

2)执行集群之间免密前的准备工作   

a)执行sshpass.sh的脚本的时候会去读sshhostssshslaves这两个文件,替换sshpass.sh中的master和slave文件。                                                            

修改文件sshhosts,输入全部机器的主机名,每行一个主机名(如下图)

命令:

vi /root/DKHPlantform/autossh/sshhosts

通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键然后按一下Shift+:键,输入wq,后回车就可以保存输入q回车则是放弃保存退出.

 

43b8e61a747199083a57b1a8f0e189655211b3f8

修改文件sshslaves,写入除主机名之外的所有机器名(如下图)

命令:

vi /root/DKHPlantform/autossh/sshslaves

通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键然后按一下Shift+:键,输入wq,后回车就可以保存输入q回车则是放弃保存退出.

0e58953a845d6cca597843e337144dd7a35a76f6

b)执行insExpect.sh,系统会装两个rpm包,在执行sshpass.sh的过程中无需再输密码和yes,脚本自动继续执行

命令:

cd /root/DKHPlantform/autossh

./insExpect.sh

按照提示多次输入yes密码(如下图)

8799287367c3adee6f186e730c9a1a1196f3e149

c)执行changeMaster.sh脚本为了清空/root/.ssh目录下的所有文件(在/root/DKHPlantform/autossh目录下),避免在执行sshpass.sh脚本时产生的新密钥时与旧的密钥发生冲突

命令

./changeMaster.sh                                                   

按照提示输入(如下图)

0f314f6068f5a956e2e04c988f13686249760213

3)执行集群免SSH

a)执行SSH:

命令:

cd /root/

./sshpass.sh 密码

123456集群密码,根据自己实际情况输入

 57a565b6e09a8329c647e99b11ab8a1c9f687b50

b)防止访问服务器时某些服务被拦截,需关闭防火墙。

命令

cd /root/DKHPlantform/autossh

./offIptables.sh

 3d299fe8795b93fd76411a35317f55a33ebb05eb

3.安装双机热备份MySQL

目的:存放Hive的元数据

步骤:

1)从主节点分发mysql安装目录第二节点

命令:

scp -r /root/DKHPlantform/mysqlInst/ 192.168.1.42:/root/

2)主节点执行: 

命令:                                                                                                                                                                                                                                                                                                                                           

cd /root/DKHPlantform/mysqlInst/

./mysql.sh 1

ssh前往第二台机器(从节点)并执行:

命令:

cd /root/mysqlInst/

./mysql.sh 2

3)执行成功之后执行热备份(两台机器上都要执行,两个ip互换,41上写42,42上写41,密码是Mysql的密码为:123456。平台内已经设定好,请勿修改

命令:

source /etc/profile

./sync.sh 192.168.1.xxx(另一台mysql地址) root 123456

 

4.创建数据库

 步骤:

1)导入MySQL数据表,只在主节点执行:

命令

mysql -uroot -p123456 < { 此处为sql文件,主目录下文件: dkh.sql}

如:mysql -uroot -p123456 </root/DKHPlantform/dkh.sql

2)执行完后查看一下两台mysql的数据表是否存在,从节点查看执行:

命令:

mysql  -uroot  -p123456
show databases;

 440c7c1b1fd258bec4a05338fe0ae0fe79bfee3f

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
1月前
|
架构师 Java 程序员
程序员的出路:30岁,我们聊聊那些真实的选择
30岁程序员的迷茫与出路:技术焦虑、薪资倒挂、能力单一困扰着许多人。本文基于真实观察,梳理五条可行路径——深耕技术、理性转管理、务实搞副业、跨界融合、提前布局B计划,并总结三条铁律与自测问题,帮助你在变局中找到方向。出路不在远方,而在你写下的每一行“值钱”的代码里。(238字)
358 117
|
网络协议
【开源视频联动物联网平台】J2mod库对指令码的定义
【开源视频联动物联网平台】J2mod库对指令码的定义
416 1
|
机器学习/深度学习 人工智能 自然语言处理
人工智能大模型可以产生自我意识吗?
在科技领域,人工智能(AI)已经成为一种日益强大的力量。特别是,随着计算能力的提高和大数据的发展,大型AI模型已经在许多任务上超越了人类的表现,包括图像识别、自然语言处理和围棋等复杂游戏。然而,这些模型是否具有自我意识,这是一个长久以来一直困扰科学家和哲学家的问题。本文将探讨这个问题,分析大型AI模型是否可能产生自我意识。
572 0
|
视频直播
【视频直播篇六】videojs的使用
本文着重介绍videojs的使用
490 0
|
安全 Linux 网络安全
Windows本地搭建Emby媒体库服务器并实现远程访问「内网穿透」
Windows本地搭建Emby媒体库服务器并实现远程访问「内网穿透」
|
6月前
|
人工智能 自然语言处理 语音技术
2025年国内主流智能客服系统:技术架构与能力深度解析
本文分析了2025年国内智能客服市场的技术格局与系统能力,从核心技术栈(NLP、知识图谱、语音技术等)到市场梯队划分,深入探讨了第一梯队的综合型平台和第二梯队的场景化服务。以合力亿捷为例,剖析其端到端AI技术栈、大模型融合、全渠道融合及运营优化能力,并对比国际顶尖通用AI在语义理解、多模态交互和自主学习方面的启示。最后为企业提供选择智能客服系统的五大考量因素,强调技术与业务场景的深度融合,助力企业实现更高效、智能的客户服务体验。
1472 2
|
数据安全/隐私保护 Android开发 iOS开发
如何设置APN
设置APN(接入点名称,Access Point Name)是连接互联网或特定网络服务(如彩信、移动数据等)时,设备需要配置的一个重要参数。不同的手机操作系统(如Android、iOS)和不同的移动网络提供商(如中国移动、中国联通、中国电信等)可能有不同的设置步骤。以下是一些基本的步骤和注意事项,用于设置APN:
|
9月前
|
机器学习/深度学习 人工智能 机器人
一周AI大事件
一周AI大事件
|
11月前
|
人工智能 供应链 搜索推荐
大模型进化论:AI产业落地将卷向何方?
大模型进化论:AI产业落地将卷向何方?
233 11
|
测试技术 数据处理 Python
测试报告导出PDF和excel的方法
测试报告导出PDF和excel的方法
413 1