通过ambari安装hadoop集群(一)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 本文简单介绍如何通过ambari安装hadoop集群。
之前一直用的开源社区的版本,最近突然想到找一个好的商业版本用着,然后一直使用,然后就定上了hdp和cdh,都装上去了,但是cdh使用难度太大了,和开源版本的差距比较大,api不会使用,需要学它的cdk。hdp和开源版差不多,也是经过了优化了的,也是开源的,有一个管理界面,比社区版要好,这个安装过程废了很大的劲儿才搞成功的,发出来跟大家分享一下。
hdp的安装折腾了好久,它的下载地址网址不像CDH那么难找,不过它的设置相对CDH简单很多,一键式安装,而且都是免费的软件。

1.首先要下载它们的安装包,别尝试着在yum来下,特别慢,最好的方式是通过建立本地资源的方式来安装。

2.建立本地资源库 在var/www/html下建立一个hdp目录,如果没有的请先安装httpd yum install httpd,把下到的三个文件解压完毕之后,复制到hdp目录下,然后重启httpd服务,用下面三个repo文件里面的baseurl地址来测试一下是否可以通过网址访问了,然后准备三个文件,hdp.repo,ambari.repo,hdp-util.repo 不要按照官方说的那个做,那个是会报错的,我把我的放出来,大家自己照着弄,修改一下地址就行,然后把这三个文件复制集群中的所有机器的/etc/yum.repos.d/目录下

下面我发一下他们的内容
hdp.repo
[HDP-1.3.0.0]
name=Hortonworks Data Platform Version - HDP-1.3.0.0
baseurl=http://192.168.1.133/hdp/HDP/centos6/1.x/GA/1.3.0.0
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.16]
name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.16
baseurl=http://192.168.1.133/hdp/HDP-UTILS-1.1.0.16/repos/centos6
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
ambari.repo
[HDP-UTILS-1.1.0.16]
name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.16
baseurl=http://192.168.1.133/hdp/HDP-UTILS-1.1.0.16/repos/centos6
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[ambari-1.2.5.17]
name=ambari-1.2.5.17
baseurl=http://192.168.1.133/hdp/ambari/centos6/1.x/updates/1.2.5.17
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
hdp-util.repo
[HDP-UTILS-1.1.0.16]
name=Hortonworks Data Platform Version - HDP-UTILS-1.1.0.16
baseurl= http://192.168.1.133/hdp/HDP-UTILS-1.1.0.16/repos/centos6
gpgcheck=1
enabled=1
priority=1

3.安装之前的准备工作

(1)设置ssh自动登陆,这个参照我写的另外一篇ssh自动登陆的那个去做就行,网址是 http://www.cnblogs.com/cenyuhai/p/3280668.html
(2)设置ntpd自动启动,所有机器
chkconfig --level 5 ntpd on      
service ntpd start 
(3)禁用selinux,所有机器  
vi /etc/sysconfig/selinux 设置selinux=disabled  
(4)设置时间同步,所有机器
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime  #设置时区为北京时间,这里为上海,因为centos里面只有上海。。。    
ntpdate us.pool.ntp.org  #时间同步
没有安装ntpdate的可以yum一下yum install -y ntpdate   
加入定时计划任务,每隔10分钟同步一下时钟   
crontab -e
把下面的内容粘贴进去保存即可
0-59/10 * * * * /usr/sbin/ntpdate us.pool.ntp.org | logger -t NTP
(5)修改/etc/hosts文件,所有机器,设置如下:
192.168.1.133 hadoop.Master
192.168.1.134 hadoop.SlaveT1
192.168.1.135 hadoop.SlaveT2

4.修改配置文件,所有机器

yum install yum-plugin-priorities 
vi /etc/yum/pluginconf.d/priorities.conf 
#设置为以下内容
[main] 
enabled=1 
gpgcheck=0

5.安装自定义的mysql服务

yum install -y mysql-server
安装完成之后用root账户登陆,执行下列命令
create database hive ; 
grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive'; 
create database oozie DEFAULT CHARACTER SET utf8; 
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';
如果mysql也装在集群中的某个机器上面,而且该服务也装在这个台机器上面。。比如我的hadoop.SlaveT1上面挂了hive服务,mysql也在它上面就会连接不上,还需要运行以下命令。
grant all on hive.* TO 'hive'@'hadoop.SlaveT1' IDENTIFIED BY 'hive';

6.安装ambari服务

yum install -y epel-release 
yum install ambari-server
//自己下载jdk-6u31-linux-x64.bin,放在/var/lib/ambari-server/resources下面 ,就免得它自己下了,速度老慢了。。
ambari-server setup
我的ambari数据库账号密码全是ambari
安装完毕之后启动ambari服务 ambari-server start
登陆ambari,账号密码都是admin http://localhost:8080 然后开始安装,安装过程当中一定要注意jdk的目录是/usr/jdk64/1.6.0_31,安装的时候它默认给出来的jdk的不对,装到最后集群也用不了。。
未完待续!
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
17天前
|
分布式计算 Hadoop Devops
Hadoop集群配置https实战案例
本文提供了一个实战案例,详细介绍了如何在Hadoop集群中配置HTTPS,包括生成私钥和证书文件、配置keystore和truststore、修改hdfs-site.xml和ssl-client.xml文件,以及重启Hadoop集群的步骤,并提供了一些常见问题的故障排除方法。
28 3
Hadoop集群配置https实战案例
|
18天前
|
机器学习/深度学习 分布式计算 安全
Hadoop集群常见报错汇总
这篇博客总结了Hadoop集群中可能遇到的各种常见错误,包括Kerberos认证问题、配置错误、权限问题等,并为每个问题提供了详细的错误复现、原因分析以及相应的解决方案。
32 1
Hadoop集群常见报错汇总
|
18天前
|
资源调度 分布式计算 运维
Hadoop集群资源管理篇-资源调度器
详细介绍了Hadoop集群资源管理中的资源调度器,包括资源分配的概念、大数据运维工程师如何管理集群工作负载、资源调度器的背景、Hadoop提供的FIFO、容量调度器和公平调度器三种资源调度器的概述以及它们之间的对比。
53 4
|
18天前
|
分布式计算 监控 Hadoop
监控Hadoop集群实战篇
介绍了监控Hadoop集群的方法,包括监控Linux服务器、Hadoop指标、使用Ganglia监控Hadoop集群、Hadoop日志记录、通过Hadoop的Web UI进行监控以及其他Hadoop组件的监控,并提供了相关监控工具和资源的推荐阅读链接。
35 2
|
21天前
|
存储 分布式计算 负载均衡
|
1月前
|
存储 分布式计算 Hadoop
|
20天前
|
图形学 数据可视化 开发者
超实用Unity Shader Graph教程:从零开始打造令人惊叹的游戏视觉特效,让你的作品瞬间高大上,附带示例代码与详细步骤解析!
【8月更文挑战第31天】Unity Shader Graph 是 Unity 引擎中的强大工具,通过可视化编程帮助开发者轻松创建复杂且炫酷的视觉效果。本文将指导你使用 Shader Graph 实现三种效果:彩虹色渐变着色器、动态光效和水波纹效果。首先确保安装最新版 Unity 并启用 Shader Graph。创建新材质和着色器图谱后,利用节点库中的预定义节点,在编辑区连接节点定义着色器行为。
71 0
|
26天前
|
分布式计算 资源调度 Hadoop
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
|
27天前
|
存储 SQL 分布式计算
Hadoop生态系统概述:构建大数据处理与分析的基石
【8月更文挑战第25天】Hadoop生态系统为大数据处理和分析提供了强大的基础设施和工具集。通过不断扩展和优化其组件和功能,Hadoop将继续在大数据时代发挥重要作用。
|
28天前
|
资源调度 分布式计算 Hadoop
揭秘Hadoop Yarn背后的秘密!它是如何化身‘资源大师’,让大数据处理秒变高效大戏的?
【8月更文挑战第24天】在大数据领域,Hadoop Yarn(另一种资源协调者)作为Hadoop生态的核心组件,扮演着关键角色。Yarn通过其ResourceManager、NodeManager、ApplicationMaster及Container等组件,实现了集群资源的有效管理和作业调度。当MapReduce任务提交时,Yarn不仅高效分配所需资源,还能确保任务按序执行。无论是处理Map阶段还是Reduce阶段的数据,Yarn都能优化资源配置,保障任务流畅运行。此外,Yarn还在Spark等框架中展现出灵活性,支持不同模式下的作业执行。未来,Yarn将持续助力大数据技术的发展与创新。
27 2

相关实验场景

更多