集群配置|学习笔记

简介: 快速学习 集群配置

开发者学堂课程【Hadoop 快速入门:集群配置】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/92/detail/1419


集群配置


虚拟机准备,编写集群分发脚本 xsync 都是各种工具的准备。

 

①集群部署规划

首先有 hadoop102,103,104分别要配置 HDFS 和 YARN,如 namenode 有128G放到 secondarynamenode 则要除以二,一人只能用 60 G,resourcemanager 是整个集群的第一,

要避开 namenode 和 secondarynamenode .搭建集群,配置 core-site,xml 需要我们配置 namenode 的地址和 hadoop 运作时产生文件的存储目录,之前 name,fs,defaultfs/name 和 value〉

hdfs://hadoop102:9000</value> 放在 101 上,另一个则改成 182 离心目录则不用改

②需要改 HDFS 配置文件

hadoop 里面有一个 _env,sh,在配置尾分布格式的时候拷贝过来的资料。在 hdfs里面副本是 3,secondary.namenode 需要放在 104 同时对应的 site 号是一个数字。

③yarn 下面则是配置文件

再往下则是 yarn_site.xml. 以前配置的是 nodemanager 和 resourcemanager.

④再往下就是 mapreduce 配置文件

有两个文件,一个是 mapred_env.sh 另一个则是,mapred_site.xml. 需要改名称,改名称里面添加一个程序在在 yarn 上,所有做的都是没有尾分布式的,如有尾分布式,操作则简单多。

集群单节点启动

容易出错地方:

切记直接,bin/hdfs 去格式化内部透,要删除东西 date/logs/102 弄完,用start_dfs,sh,

思考:

每次都是一个一个节点启动,

如果节数增加到 1000 个怎么办?

相关文章
|
存储 NoSQL Java
Graylog4.2集群部署完整教程
Graylog4.2集群部署完整教程
1581 0
Graylog4.2集群部署完整教程
|
存储 分布式计算 资源调度
搭建Flink集群、集群HA高可用以及配置历史服务器
本文介绍了如何搭建一个Flink集群、Flink集群HA高可用,并配置历史服务器以记录Job任务执行的详细信息和状态。
367 1
|
Linux 网络安全
linux安装zookeeper集群,包括集群启停脚本
#### 三台机器安装zookeeper集群 **注意事项:安装前三台机器一定要保证时钟同步** 说明: * 我这里是有3台服务器,分别hostname为node01、node02、node03。 * 三台机器已经配置好了ssh。 * zookeeper使用的是cdh5的zookeeper包,没有使用原生zookeeper项目的包。 * 三台机器已经进行了时钟同步。
265 0
linux安装zookeeper集群,包括集群启停脚本
|
存储 分布式计算 前端开发
Zookper集群搭建
🍅程序员小王的博客:程序员小王的博客 🍅 欢迎点赞 👍 收藏 ⭐留言 📝 🍅 如有编辑错误联系作者,如果有比较好的文章欢迎分享给我,我会取其精华去其糟粕
194 0
Zookper集群搭建
|
NoSQL MongoDB 开发工具
配置副本集搭建|学习笔记
快速学习配置副本集搭建
配置副本集搭建|学习笔记
|
消息中间件 RocketMQ 开发者
RocketMO集群特点|学习笔记
快速学习RocketMO集群特点
175 0
RocketMO集群特点|学习笔记
|
存储 NoSQL 5G
集群-cluster 集群搭建|学习笔记
快速学习集群-cluster 集群搭建
集群-cluster 集群搭建|学习笔记
|
存储 消息中间件 RocketMQ
集群搭建2|学习笔记
快速学习集群搭建2
集群搭建2|学习笔记
|
分布式计算 大数据 调度
Spark 集群搭建_高可用配置|学习笔记
快速学习 Spark 集群搭建_高可用配置
Spark 集群搭建_高可用配置|学习笔记
|
消息中间件 存储 安全
集群搭建小结|学习笔记
快速学习集群搭建小结
104 0
集群搭建小结|学习笔记