开发者社区> 问答> 正文

hadoop中服役新数据节点是什么?

hadoop中服役新数据节点是什么?

展开
收起
芯在这 2021-12-11 12:52:40 349 0
1 条回答
写回答
取消 提交回答
  • 需求

    随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。

    环境准备

    (1)在 hadoop104 主机上再克隆一台 hadoop105 主机

    (2)修改 IP 地址和主机名称

    (3)删除原来 HDFS 文件系统留存的文件( /opt/module/hadoop-2.7.2/data 和 log)

    (4)source一下配置文件

    [atguigu@hadoop105 hadoop-2.7.2]$ source /etc/profile

    服役新节点具体步骤

    (1)直接启动 DataNode,即可关联到集群

    [atguigu@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode [atguigu@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

    (2)在 hadoop105 上上传文件

    [atguigu@hadoop105 hadoop-2.7.2]$ hadoop fs -put /opt/module/hadoop-2.7.2/LICENSE.txt /

    (3)如果数据不均衡,可以用命令实现集群的再平衡

    [atguigu@hadoop102 sbin]$ ./start-balancer.sh starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out Time Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being Moved

    2021-12-11 12:53:31
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多