hadoop下线一个节点，整个集群就卡，怎么处理呢，能动态下线限速吗？

hadoop下线节点一般采用退役流程decommission，一般不直接把节点上nodemanager或者datanode进程暴力停掉，为了是让数据和任务迁移，特别是数据，所以一般对于datanode一定要采用退役过程。DataNode退役过程启动的时候，虽然新的数据块写入不会再写到这个datanode，但是这台datanode上的数据块要拷贝到别的datanode上，当集群比较小的时候，而且这台datanode上的数据块又很多的时候，拷贝数据块的过程占用集群带宽，其他的datanode节点还会不断的向namenode汇报meta，所以这个过程会导致集群比较卡。 针对这个过程，下线之前，可以先删除一部分不用的hdfs文件减少数据块；dfs.max-repl-streams（默认2）配置选项会对datanode下线时每个datanode同时能够进行多少个block的并行拷贝进行控制，可以配置少点。

多开几个reduce试试，看看是不是某个node出问题了。

答案来源于网络