开发者学堂课程【Hue 大数据可视化终端课程:Hue-- 编译、安装部署】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/719/detail/12848
Hue-- 编译、安装部署
内容介绍:
一、Hue 的安装
二、Hue 的编译
一、Hue 的安装
1.上传解压包
针对 Hue 的安装,官方提供了多种方式。整体概括来看,分为两大块:第一种是下载 rpm 包或者是 tar.gz 进行手动的安装。另外一种官方比较推荐的是通过 clouder manager 进行页面化的安装。clouder manager 是一个收费的软件。演示 tar.gz 包进行安装。但是要注意所提供的 tar.gz 包不是直接可以使用的,里面是源码包,需要自己下载进行编译,安装各种相关的依赖。
那么这里选用是 CDH 版本5.1 4.0,不使用 Apache 版本的原因是商业版本的稳定性兼容最好、集中化程度最高。所以使用它上手非常的方便,对应的版本是 Hue3.9.0。那么打开资料,在软件下面有着 Apache Hue,提供了 CDH 版本的安装包。接着把安装包上传到服务器进行编译。注意这个包并不是直接使用。
2.编译初始化工作
首先来到服务器的 explode server 路径下,它是安装软件的常见路径。
那接下来把安装包上传。这个安装包大概有155兆左右,接下来进行解压,配置相关初始化的工作,然后就进行编译。
既然是一个 tar.gz 包的话,输入tar zxvf , 点击回车键执行,这样就把压缩包挤压到当前路径下。同时下面需要做一些编译前的初始化工作。主要就是环境的依赖,就是 gcc相关依赖软件,还有需要进行 mysql 相关的初始化工作。
解压完成之后,接下来到文件夹查看。
看上去好像跟常见的软件不太一样,没有 bin 目录,也没有抗目录。稍后重点需要编译的就是 apps 文件夹,里面相关的软件集成了主流的各大软件。之后使用 desk top 当中的命令来进行相关启动。
接下来进行第一步的操作,联网安装一代的软件。此时使用 yum 方式保证机器联网,把 yum install-y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krbs-devel libffi-devel libxml2-devel libxslt-devel libxslt-devel make openldap-devel python-devel gmp-devel 命令复制,粘贴。
安装过源码包后不需要再次安装。点击回车键,会去联网查找相关依赖。
在 ddf 上复制的命令,出现上图所示换行导致命令没有结束。针对这种方式,一般可以先把命令复制,然后打开 node pad++,出现自动换行的问题时点击回车键回调,再复制执行。后面也做点击回车键处理。
全部选择 node pad++中的代码,直接复制。此处小心注意,否则安装依赖会出错。点击回车键执行代码。但是之前因为已经更新,会提示用户所依赖的软件都已经成功安装,并且是最新的版本。如果机器没有安装,它就会进行各种联网的依赖下载,此时保证网联通即可。
2.编译初始化工作
安装好依赖之后,进行 Hue 的初始化配置。通过之前的架构图,可以看到 Hue 当中需要一个数据库来保存一些信息,这些信息通常使用 mysql 进行相关工作。因此需要去配置数据库的数据库名。具体的操作是打开安装包,根目录下有一个 desktop 文件夹,里面的 hue.ini 文件非常重要。这个文件是进行整合的重要软件,后续跟其它任何软件的整合,几乎都是通过这个配置来完成。
接着需要做两件事,一个是通用的配置。主要是配置 hue 启动绑定的 id 端口和运行的用户名和密码相关信息。第二点是配置 hue 存储数据的数据库,比如说这里使用的是 mysql 引擎,那么配置 mysql 类型的数据库。其实也意味着它可以支持其它数据库,比如说 oracle 等等,还有主机端口,用户名、密码以它使用的数据库。
(1)通用配置
此时这个文件也可以采用vr编辑器。比如说 cad 的 desktop 来到它的 conf 路径下。发现也可以直接去 vr 编辑个文件。
那么这个文件比较大,如果对 vr 编辑器感觉不太习惯,可以把这个文件下载,使用本地编辑上传,使用 node pad++可以进行远程连线编辑。打开 node pad++之后,左边有一个 ftp 的窗口,连接在 note-1etc 上,发现在 export路径下的 server 上寻找到 hue 文件夹。刚才编译的路径在 desktop 路径下选择 hue.ini,双击打开。
上图是 hue 的整个核心重要的配置文件。首先查看通用配置,寻找 desktop。
security key 没有太多意义,可以把它设置一个随机的字符串,越长越好。它主要是一些进行绘画的时哈希的加密,所以说这里随便写字符串,比如说只要是字符串就可以,越长越好。
接下来是很重要的绑定机器和端口,现在是在 node 杠1计算进行安装。所以说绑定的机器肯定是本机,node-1。端口不修改,默认就是8888。如果跟其它软件有冲突的,可以进行修改。
根据上图相关问题进行操作。第一把 hue 4功能接口打开,把前面的注释去掉,即 hue 4=true。
标明红色是时区的问题。默认的时区是美国的洛杉矶时区,现在属于东八区,用 Asia/ Shanghai 来表示。时区很重要,也关乎到后面进行整合时的时区选择。
接着去设定一些密码,第一个叫做 server group。Webserver runs as this user 即谁来运行 hue 业务的服务。在企业当中根据具体的权限管理进行控制,比如说是root用户注册出来经营管理,就输入 root。
接下来还有 default user,默认是用 Hue admin 或代理的用户来访问。下面都保持一致,使用 root 来进行访问。 结果如下图所示。
default _hdfs_ super user,每个用户访问的具有管理员权限的 hadoop 集群,当然也使用 root 搭建。所以前面的注释也要删除。
通用配置完成,主要就是指定访问 hue 的主机端口,时区特别重要,注意大小写、空格等。敲错符号会产生不同的影响,一定要注意细节。
(2)配置数据库
第二大块就是去配置配置 hue 存储数据的数据库叫做 databases。
大概在 hue.ini 文件的587行左右,去搜索 data base 可以发有好多地方都有它。所以整个文件当中会有1700多行,一定要注意配置在哪一行,尤其是重复的。
按 CTRL+F 进行搜索 database,直接来到5807行。这里就是配置 hue 存储数据的地方。
这里面三个选项的都已经注释了,按住键盘上的 alt 键往下拉,相当于可以多行编辑,同时把前面释放掉。
然后进行修改。在 engine 后面输入 mysql,host 后输入 node-1,port 后输入3306,user 后面输入 root,password 后输入 hadoop。
连接到 mysql 数据库后,使用哪个数据库重点看 name 属性,这里指定数据库。所以把 hue 打开,指定一个数据库。比如说创建一个数据库叫做 hue,所有的数据都保存在 hue数据库当中。
看到 hue 数据库,要去判断服务器上有没有这个数据库。通过 Navicat 打开,
连接到 node-1,发现并没有 hue 数据库。
所以接下来进行 hue 数字化。可以使用创建数据库来执行,也可以自己手动比如说右键选择新建数据库,名字叫做hue,字符集选择 utf- 8,点击确定,稍后就会进行数据的初始化,创建多张表。所以一定要把 my server 当中使用的 DB 提前创建好。
把前面两块完成之后,注意把这个文件保存,那么它就会去联网更新文件。保存完毕,下一步进行编译。
二、 Hue 的编译
编译操作直接来到安装包路径下进 make 编译,编译的叫做 apps 文件夹接下来来到服务器当中,cad 的安装包路径下,输入 make apps。按回车键,等待一段时间。
经过一段时间的编译,最终已经离开目录,编译结束。编译结束是否成功通过日志可以判断,如果它出错会提示错误信息。另外就是查看数据库的初始化有没有成功。因为编译成功会在数据库当中创建很多表,打开 node-1数据库,刷新,发现创建了多张表,大概有84个。这就是 hue 进行相关各种操作、保存数据的地方。
编译完可以来启动首次访问 hue。
hue 启动比较特殊,来到它的根目录下,发现并没有bin目录。而刚才编译的 apps 是集成各个软件的地方,比如IDSM、 spark 等, hue 的外部页面通过 desktop 桌面化个文件来访问。那么在路径下面,有一个命令叫build/env/bin/supervisor 来访问,这个命令跟其它的软件有点特殊.
直接复制这个命令,启动桌面,直接把这个命令做赋值,也可以配置环境变量,直接按回车键。回车完成之后,前端会启动一个信息日志,如果出错,会有相关的提示。
启动后去访问页面。因为刚才配置的是 node-18888,双击打开。
打开之后,第一次访问非常重要。提示第一次登录,让用户选择用户名和密码,并一定要保证能够记住它们,因为它们将会成为你所有的超级用户的一个凭证。也就是第一次去访问 hue 的时候,输入的用户名和密码会把它默认作为hue 的超级管理员用户密码,所以这里相当于用户注册,而且是超级管理员的用户注册。比如说统一的用户名叫做root,跟整个使用的集群保持一致。密码比如。
创建好之后,就可以登录到 hue 的页面。意味着从今以后的 hue 的超级管理员就叫入门用户,密码叫做 hadoop,可以修改。
当然之后会有相关的提示。发现有好多报错的信息,因为跟其它软件的没有做相关的整合。
hue 首页有集成的很多软件需要配置,点击上面的 query,发现还可以编辑更多,可以与 status、spark、mysql 等等做各种调度。
在企业当中,想要给其它的用户设置用户密码可以使用刚才创建的超级管理员,点击 manage users,就可以去增加用户。比如说创建普通用户甚至创建组创建、权限之类的,可以满足于作为管理员去控制其它的用户的需要,非常方便。
但当下只要使用 root 超级用户登录即可。
hue 安装部署的重点就在于安装之前需要联网,下载 inline,并且进行编译的过程。









