Hue-- 编译、安装部署 | 学习笔记

简介: 快速学习 Hue-- 编译、安装部署

开发者学堂课程【Hue 大数据可视化终端课程Hue-- 编译、安装部署学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/719/detail/12848


Hue-- 编译、安装部署


内容介绍:

一、Hue 的安装

二、Hue 的编译


一、Hue 的安装

1.上传解压包

针对 Hue 的安装,官方提供了多种方式。整体概括来看,分为两大块:第一种是下载 rpm 包或者是 tar.gz 进行手动的安装。另外一种官方比较推荐的是通过 clouder manager 进行页面化的安装。clouder manager 是一个收费的软件。演示 tar.gz 包进行安装。但是要注意所提供的 tar.gz 包不是直接可以使用的,里面是源码包,需要自己下载进行编译,安装各种相关的依赖。

那么这里选用是 CDH 版本5.1 4.0,不使用 Apache 版本的原因是商业版本的稳定性兼容最好、集中化程度最高。所以使用它上手非常的方便,对应的版本是 Hue3.9.0。那么打开资料,在软件下面有着 Apache Hue,提供了 CDH 版本的安装包。接着把安装包上传到服务器进行编译。注意这个包并不是直接使用。

2.编译初始化工作

首先来到服务器的 explode server 路径下,它是安装软件的常见路径。

那接下来把安装包上传。这个安装包大概有155兆左右,接下来进行解压,配置相关初始化的工作,然后就进行编译。

既然是一个 tar.gz 包的话,输入tar zxvf , 点击回车键执行,这样就把压缩包挤压到当前路径下。同时下面需要做一些编译前的初始化工作。主要就是环境的依赖,就是 gcc相关依赖软件,还有需要进行 mysql 相关的初始化工作。

解压完成之后,接下来到文件夹查看。

image.png

看上去好像跟常见的软件不太一样,没有 bin 目录,也没有抗目录。稍后重点需要编译的就是 apps 文件夹,里面相关的软件集成了主流的各大软件。之后使用 desk top 当中的命令来进行相关启动。

接下来进行第一步的操作,联网安装一代的软件。此时使用 yum 方式保证机器联网,把 yum install-y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krbs-devel libffi-devel libxml2-devel libxslt-devel libxslt-devel make openldap-devel python-devel gmp-devel 命令复制,粘贴。  

安装过源码包后不需要再次安装。点击回车键,会去联网查找相关依赖。

image.png

在 ddf 上复制的命令,出现上图所示换行导致命令没有结束。针对这种方式,一般可以先把命令复制,然后打开 node pad++,出现自动换行的问题时点击回车键回调,再复制执行。后面也做点击回车键处理。

全部选择 node pad++中的代码,直接复制。此处小心注意,否则安装依赖会出错。点击回车键执行代码。但是之前因为已经更新,会提示用户所依赖的软件都已经成功安装,并且是最新的版本。如果机器没有安装,它就会进行各种联网的依赖下载,此时保证网联通即可。

2.编译初始化工作

安装好依赖之后,进行 Hue 的初始化配置。通过之前的架构图,可以看到 Hue 当中需要一个数据库来保存一些信息,这些信息通常使用 mysql 进行相关工作。因此需要去配置数据库的数据库名。具体的操作是打开安装包,根目录下有一个 desktop 文件夹,里面的 hue.ini 文件非常重要。这个文件是进行整合的重要软件,后续跟其它任何软件的整合,几乎都是通过这个配置来完成。

接着需要做两件事,一个是通用的配置。主要是配置 hue 启动绑定的 id 端口和运行的用户名和密码相关信息。第二点是配置 hue 存储数据的数据库,比如说这里使用的是 mysql 引擎,那么配置 mysql 类型的数据库。其实也意味着它可以支持其它数据库,比如说 oracle 等等,还有主机端口,用户名、密码以它使用的数据库。

(1)通用配置

此时这个文件也可以采用vr编辑器。比如说 cad 的 desktop 来到它的 conf 路径下。发现也可以直接去 vr 编辑个文件。

那么这个文件比较大,如果对 vr 编辑器感觉不太习惯,可以把这个文件下载,使用本地编辑上传,使用 node pad++可以进行远程连线编辑。打开 node pad++之后,左边有一个 ftp 的窗口,连接在 note-1etc 上,发现在 export路径下的 server 上寻找到 hue 文件夹。刚才编译的路径在 desktop 路径下选择 hue.ini,双击打开。

image.png

上图是 hue 的整个核心重要的配置文件。首先查看通用配置,寻找 desktop

security key 没有太多意义,可以把它设置一个随机的字符串,越长越好。它主要是一些进行绘画的时哈希的加密,所以说这里随便写字符串,比如说只要是字符串就可以,越长越好。

接下来是很重要的绑定机器和端口,现在是在 node 1计算进行安装。所以说绑定的机器肯定是本机,node-1。端口不修改,默认就是8888。如果跟其它软件有冲突的,可以进行修改。

image.png

image.png

根据上图相关问题进行操作。第一把 hue 4功能接口打开,把前面的注释去掉,即 hue 4=true

标明红色是时区的问题。默认的时区是美国的洛杉矶时区,现在属于东八区,用 Asia/ Shanghai 来表示。时区很重要,也关乎到后面进行整合时的时区选择。

接着去设定一些密码,第一个叫做 server groupWebserver runs as this user 即谁来运行 hue 业务的服务。在企业当中根据具体的权限管理进行控制,比如说是root用户注册出来经营管理,就输入 root

image.png

接下来还有 default user,默认是用 Hue admin 或代理的用户来访问。下面都保持一致,使用 root 来进行访问。 结果如下图所示。

image.png

default _hdfs_ super user,每个用户访问的具有管理员权限的 hadoop 集群,当然也使用 root 搭建。所以前面的注释也要删除。

通用配置完成,主要就是指定访问 hue 的主机端口,时区特别重要,注意大小写、空格等。敲错符号会产生不同的影响,一定要注意细节。

2)配置数据库

第二大块就是去配置配置 hue 存储数据的数据库叫做  databases

大概在 hue.ini 文件的587行左右,去搜索 data base 可以发有好多地方都有它。所以整个文件当中会有1700多行,一定要注意配置在哪一行,尤其是重复的。

CTRLF 进行搜索 database,直接来到5807行。这里就是配置 hue 存储数据的地方。

image.png

这里面三个选项的都已经注释了,按住键盘上的 alt 键往下拉,相当于可以多行编辑,同时把前面释放掉。

然后进行修改。在 engine 后面输入 mysqlhost 后输入 node-1port 后输入3306user 后面输入 rootpassword 后输入 hadoop

连接到 mysql 数据库后,使用哪个数据库重点看 name 属性,这里指定数据库。所以把 hue 打开,指定一个数据库。比如说创建一个数据库叫做 hue,所有的数据都保存在 hue数据库当中。

看到 hue 数据库,要去判断服务器上有没有这个数据库。通过 Navicat 打开,

连接到 node-1,发现并没有 hue 数据库。

所以接下来进行 hue 数字化。可以使用创建数据库来执行,也可以自己手动比如说右键选择新建数据库,名字叫做hue,字符集选择 utf- 8,点击确定,稍后就会进行数据的初始化,创建多张表。所以一定要把 my server 当中使用的 DB 提前创建好。

把前面两块完成之后,注意把这个文件保存,那么它就会去联网更新文件。保存完毕,下一步进行编译。

 

二、 Hue 的编译

编译操作直接来到安装包路径下进 make 编译,编译的叫做 apps 文件夹接下来来到服务器当中,cad 的安装包路径下,输入 make apps。按回车键,等待一段时间。

经过一段时间的编译,最终已经离开目录,编译结束。编译结束是否成功通过日志可以判断,如果它出错会提示错误信息。另外就是查看数据库的初始化有没有成功。因为编译成功会在数据库当中创建很多表,打开 node-1数据库,刷新,发现创建了多张表,大概有84个。这就是 hue 进行相关各种操作、保存数据的地方。

编译完可以来启动首次访问 hue

image.png

hue 启动比较特殊,来到它的根目录下,发现并没有bin目录。而刚才编译的 apps 是集成各个软件的地方,比如IDSM spark 等, hue 的外部页面通过 desktop 桌面化个文件来访问。那么在路径下面,有一个命令叫build/env/bin/supervisor 来访问,这个命令跟其它的软件有点特殊.

直接复制这个命令,启动桌面,直接把这个命令做赋值,也可以配置环境变量,直接按回车键。回车完成之后,前端会启动一个信息日志,如果出错,会有相关的提示。

启动后去访问页面。因为刚才配置的是 node-18888,双击打开。

打开之后,第一次访问非常重要。提示第一次登录,让用户选择用户名和密码,并一定要保证能够记住它们,因为它们将会成为你所有的超级用户的一个凭证。也就是第一次去访问 hue 的时候,输入的用户名和密码会把它默认作为hue 的超级管理员用户密码,所以这里相当于用户注册,而且是超级管理员的用户注册。比如说统一的用户名叫做root,跟整个使用的集群保持一致。密码比如。

创建好之后,就可以登录到 hue 的页面。意味着从今以后的 hue 的超级管理员就叫入门用户,密码叫做 hadoop,可以修改。

当然之后会有相关的提示。发现有好多报错的信息,因为跟其它软件的没有做相关的整合。

image.png

hue 首页有集成的很多软件需要配置,点击上面的 query,发现还可以编辑更多,可以与 statussparkmysql 等等做各种调度。

在企业当中,想要给其它的用户设置用户密码可以使用刚才创建的超级管理员,点击 manage users,就可以去增加用户。比如说创建普通用户甚至创建组创建、权限之类的,可以满足于作为管理员去控制其它的用户的需要,非常方便。

但当下只要使用 root 超级用户登录即可。

hue 安装部署的重点就在于安装之前需要联网,下载 inline,并且进行编译的过程。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
数据采集 分布式计算 监控
DataX教程(03)- 源码解读(超详细版)
DataX教程(03)- 源码解读(超详细版)
4040 0
DataX教程(03)- 源码解读(超详细版)
|
资源调度 分布式计算 安全
YARN Capacity Scheduler容量调度器(超详细解读)
YARN Capacity Scheduler容量调度器(超详细解读)
2539 0
YARN Capacity Scheduler容量调度器(超详细解读)
|
SQL 消息中间件 分布式计算
Hadoop常见端口总结
大数据常见端口汇总:
2535 0
Hadoop常见端口总结
|
9月前
|
SQL 关系型数据库 MySQL
seatunnel配置mysql2hive
本文介绍了SeaTunnel的安装与使用教程,涵盖从安装、配置到数据同步的全过程。主要内容包括: 1. **SeaTunnel安装**:详细描述了下载、解压及配置连接器等步骤。 2. **模拟数据到Hive (fake2hive)**:通过编辑测试脚本,将模拟数据写入Hive表。 3. **MySQL到控制台 (mysql2console)**:创建配置文件并执行命令,将MySQL数据输出到控制台。 4. **MySQL到Hive (mysql2hive)**:创建Hive表,配置并启动同步任务,支持单表和多表同步。
|
SQL Kubernetes Apache
深度实践 | 自如基于Apache StreamPark 的实时计算平台实践
深度实践 | 自如基于Apache StreamPark 的实时计算平台实践
804 57
深度实践 | 自如基于Apache StreamPark 的实时计算平台实践
|
分布式计算 固态存储 Hadoop
Apache Doris Broker快速体验之Hadoop安装部署(1)1
Apache Doris Broker快速体验之Hadoop安装部署(1)1
304 0
|
SQL 分布式计算 分布式数据库
Hive集成Hue安装部署
Hive集成Hue安装部署
587 0
|
SQL 消息中间件 存储
|
机器学习/深度学习 分布式计算 Hadoop
记一次HDFS报EOFException异常的问题
现象 大晚上的收到线上DataNode挂掉异常的报警,值班同学随即做了重启处理,重启完成后,进程虽然在运行,但是NameNode的WebUI上显示大量的block丢失。 There are 12622047 missing blocks. Number of Under-Replicated Blocks 14436901 重新启动的DataNode节点block数量为0,明显不正常 HDFS在对丢失的block做恢复,missing blocks的数量在减少,但是丢失的的太多了,恢复速度很慢,这种情况肯定不能指望集群自动恢复的。
1500 0
|
SQL 消息中间件 资源调度
Flink日志问题之日志无法查看如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。