集群配置|学习笔记

简介: 快速学习 集群配置

开发者学堂课程【Hadoop 快速入门:集群配置】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/92/detail/1419


集群配置


虚拟机准备,编写集群分发脚本 xsync 都是各种工具的准备。

 

①集群部署规划

首先有 hadoop102,103,104分别要配置 HDFS 和 YARN,如 namenode 有128G放到 secondarynamenode 则要除以二,一人只能用 60 G,resourcemanager 是整个集群的第一,

要避开 namenode 和 secondarynamenode .搭建集群,配置 core-site,xml 需要我们配置 namenode 的地址和 hadoop 运作时产生文件的存储目录,之前 name,fs,defaultfs/name 和 value〉

hdfs://hadoop102:9000</value> 放在 101 上,另一个则改成 182 离心目录则不用改

②需要改 HDFS 配置文件

hadoop 里面有一个 _env,sh,在配置尾分布格式的时候拷贝过来的资料。在 hdfs里面副本是 3,secondary.namenode 需要放在 104 同时对应的 site 号是一个数字。

③yarn 下面则是配置文件

再往下则是 yarn_site.xml. 以前配置的是 nodemanager 和 resourcemanager.

④再往下就是 mapreduce 配置文件

有两个文件,一个是 mapred_env.sh 另一个则是,mapred_site.xml. 需要改名称,改名称里面添加一个程序在在 yarn 上,所有做的都是没有尾分布式的,如有尾分布式,操作则简单多。

集群单节点启动

容易出错地方:

切记直接,bin/hdfs 去格式化内部透,要删除东西 date/logs/102 弄完,用start_dfs,sh,

思考:

每次都是一个一个节点启动,

如果节数增加到 1000 个怎么办?

相关文章
|
缓存 Kubernetes 网络协议
搭建k8s集群!!!
搭建k8s集群!!!
182 0
|
Linux 网络安全
linux安装zookeeper集群,包括集群启停脚本
#### 三台机器安装zookeeper集群 **注意事项:安装前三台机器一定要保证时钟同步** 说明: * 我这里是有3台服务器,分别hostname为node01、node02、node03。 * 三台机器已经配置好了ssh。 * zookeeper使用的是cdh5的zookeeper包,没有使用原生zookeeper项目的包。 * 三台机器已经进行了时钟同步。
277 0
linux安装zookeeper集群,包括集群启停脚本
|
消息中间件 RocketMQ 开发者
RocketMO集群特点|学习笔记
快速学习RocketMO集群特点
183 0
RocketMO集群特点|学习笔记
|
存储 NoSQL 5G
集群-cluster 集群搭建|学习笔记
快速学习集群-cluster 集群搭建
集群-cluster 集群搭建|学习笔记
|
存储 负载均衡 NoSQL
集群-集群简介|学习笔记
快速学习集群-集群简介
集群-集群简介|学习笔记
|
Java 开发者 微服务
Eureka 集群配置|学习笔记
快速学习 Eureka 集群配置
Eureka 集群配置|学习笔记
|
分布式数据库 数据库 开发者
创建集群|学习笔记
快速学习创建集群
创建集群|学习笔记
|
缓存 负载均衡 网络协议
Hapoxy-集群服务搭建
Hapoxy-集群服务搭建
162 1
Hapoxy-集群服务搭建
|
Kubernetes 开发工具 开发者
K8S 集群部署_集群软件安装及配置 | 学习笔记
快速学习 K8S 集群部署_集群软件安装及配置
244 0
|
Kubernetes 负载均衡 Java
简单了解一下K8S,并搭建自己的集群
文章前半段会简单的介绍一下K8S,后半段会介绍如何从零开始慢慢的搭建集群。

热门文章

最新文章