开发者学堂课程【2020版大数据实战项目之 DMP 广告系统（第二阶段）：CDH 搭建_kudu】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/677/detail/11777
CDH 搭建_kudu
一、CDH 搭建_kudu
之前两次课介绍了 CDH 组建的安装，虽然有些繁琐，但是是非常必要的。第一次安装要花费很久的时间。所以了解一些安装的内容以及步骤，甚至一些小细节是非常必要的。
安装 Kudu 依然使用已经配置好的 Yum 仓库来进行,整体步骤非常简单,但是安装上分为 Master 和T ablet server。主是安装 Master server，从是安装 Tablet server。安装 Master server 的安装步骤是第一步安装软件包，第二步进行配置，第三步启动。安装 Tablet server 也是一样，第一步安装软件包，然后进行配置，最后启动。
1.集群规划
节点 职责 cdh01 Master servercdh02 Tablet servercdh03 Tablet server 应该在 cdh01上安装 Master，但是 cdh01上负载已经很高了，安装了 MySQL，hive 等特有的服务。后面还有可能要装 hue，使得 cdh01上的负载特别高,所以 cdho1只安装 master，将 Tablet server 装在 cdh02 和 cdh03上。在生产环境中 master一定要装多个，即01、02、03都需要有 master。
2、安装Master server的软件包
根据集群规划,尽量让 cdh01少一些负载,所以只在 cdh01上安装 Master server ,命令如下yum install -y kudu kudu -master kudu-client0 kudu-client-devel
进入 cdh01中，拷贝命令
[root@cdh01 lib]# yum install -y kudu kudu-master kudu-cliento kudu-client-devel
然后进入一个漫长的安装过程，安装过程可能会更加漫长，因为相关的包已经装到移动硬盘上了，本来硬盘的速度就有点慢，kudu 就安装完成了，对于 kudu，没有什么东西需要修改，但是一定要去确认一个地方。
3、配置 Master server
Kudu 的 Master server 没有太多可以配置的项目,默认的话日志和数据都会写入到/var目录下,只需要修改一下
BlockManager 的方式即可,在虚拟机上使用 Log 方式可能会带来一些问题,改为 File方式
--block_manager=file
但是有一点需要注意，一定确保 ntp 服务是开启的,可以使用 ntpstat 来查看,因为 Kudu 对时间同步的要求非常高, ntp 必须
可以自动同步
#查看时间是否是同步状态
ntpstat
[root@cdh01 lib]# ntpstat
Syncheonised 必须看到是这个状态，否则就会报错。
配置 ntpstat 只需要启动 ntp 服务。
[ root@cdhe1 lib]# vi /etc/ kudu/conf/master.gflagfile
进入后在最后一行修改
--block_manger=file
启动：
[ root@cdh01 lib]# service kudu-master startStarted Kudu Master Server ( kudu-master) :[oK ]
如果启动失败了，会显示 irror，启动失败第一印象要去查找哪里出错了，就要去查找相应的日志文件。
[ root@cdh01 lib]# cd /var /log
[ root@cdh01 lib]# ls
进去后安装的相应日志都在里面
[ root@cdh01 lib]# cd kudu
[ root@cdh01 lib]# ls
进去后里面就有对应的 kudu 日志。如果有出错就会有一个 kudu-master,irror的文件，去查看就可以。
4、运行 Master server
·运行 Master server
打开浏览器确认
输入：192.168.169.101：8051
进入以后显示为上图页面，说明是没有什么问题的。
5、安装 Tablet server 的软件包
根据集群规划,在 cdh02 , cdh03 中安装 Tablet server ,负责更为繁重的工作
yum install -y kudu kudu-tserver kudu-client0 kudu-client-devel
cdh02: [ root@cdh01 lib]# yum install -y kudu kudu-tserver kudu-client0 kudu-client-devel
cdh03: [ root@cdh01 lib]# yum install -y kudu kudu-tserver kudu-client0 kudu-client-devel
安装完成，Tablet server 是一个相当消耗资源的服务，是 kudu 中最主要的服务，
6、配置 Tablet server
Master server 相对来说没什么需要配置的,也无须知道各个 Tablet server 的位置,但是对于 Tablet server 来说,必须配置 Master server 的位置,因为一般都是从向主注册自己
在 cdh02 , cdh03 修改/etc/kudu/conf/tserver.gflagfile 为如下内容,如果有多个Master server 实例,用逗号分隔地址即可
--tserver_master_addrs=cdh01 :7051
同时 Tablet server 也需要设置 BlockManager
--block_manager=file
[ root@cdh02 lib]# vi /etc/kudu/conf/tserver.gflagfile
第一个是配置 master，都不知道 master 是谁，如何加入集群，
--tserver_master_addrs=cdh01:7051
Master rpc 端口为7051，外部端口是8051，他 server rpc 端口是7050，外部端口是8050，如果有多个端口，用逗号连接；
第二个配置是—block-manager file
7、运行Tablet server
·启动
[ root@cdh02 lib]# service kudu-master startStarted Kudu Master Server ( kudu-master) :[oK ]
配置cdh03
[ root@cdh03 lib]# vi /etc/kudu/conf/tserver.gflagfile
--tserver_master_addrs=cdh01:7051
—block-manager file
[ root@cdh03 lib]# service kudu-master startStarted Kudu Master Server ( kudu-master) :[oK ]
打开浏览器：发现其中有两个 tablet server
输入：192.168，169.102：8050
查看外部 ui，可以查看 kudu 的版本，已经 build id 的时间等的相关信息。
Kudu 搭建比较简单，搭建 master 以及 Tsever，二者都有三个步骤即安装、配置、启动。
