集成 Hive 服务 | 学习笔记

简介: 快速学习 集成 Hive 服务

开发者学堂课程【Hue 大数据可视化终端课程集成 Hive 服务学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/719/detail/12851


集成 Hive 服务


内容介绍:

一、修改 Hue.ini

二、规格介绍


一、修改 Hue.ini

通过配置使用 hue 去访问 hive,需要先启动 hive 中的两个服务。第一个是用来访问原数据存储的 metastore 服务;另一个是 hive 的服务端,叫做 hiveserver2 服务。因为 hive 最终是通过斯威夫特协议去访问 hiveserver2服务,从而达到访问 hive 的目的。所以两个服务需要启动成功。

启动完要去修改 hue 当中的相关配置文件。主要是指定相关的 hue 服务器的主机端口以及电子文件的路径。首先来修改下 hue 中关于 hive 相关的配置文件。首先搜索 beeswax 单词,打开 notepad++做全局的搜索。之后直接定位到了文件的路径。下面这个模块就是跟 hive 相关的配置。

image.png

首先要去配置 hive 服务区的 host,前面的注释“#”删除,=后输入 node-1,之后进行启动。接下来是 hive 服务器的端口,默认端口是10000。这个端口是通过 beeline 客户端远程连接时的端口 node-1:10000端口。接着是 hive 的配置文件路径,保持跟另外一个路径一致。比如这里是安装在 export/servers/hive/conf 路径下,那么要确定 hive 安装后找到的配置文件夹路径。接下来是服务连接的超时时间 time out,前面的注释“#”删除。

接着是两个认证的用户和密码。

image.png

通过 beeline 客户方式远程连接 hive 时要去输入用户名及密码,这里可以进行相关指定。比如说是以用户身份 root访问,而服务器的密码是 porsche。  

认证完之后,还有模块叫做 metastore。它开启后,可以允许使用 hive 创建的数据库表。所以 metastore 中 enable前面的注释“#”删除。。

这样完成了在 hue 当中关于 hive 相关的配置,点击保存,就会远程同步到服务器当中。


二、启动 Hive 服务、重启 hue

hive 的启动,首先输入 cd/export/serves/hive。如果配置的环境变量,可以在任何目录启动。使用 nohup 命令它启动到后台。必须先启动原数据服务,然后再启动服务端,否则会启动报错。首先使用 nohup bin/hive—service metastore&命令启动在后台运行。点击回车。此时再按一次回车建,就可以把进程推到后台执行。

接下来再启动 hiveserver2 服务。复制 nohup bin/hive—service hiveserver2&启动在后台。如果不加入 nohup 和&直接启动,就会进入前台。点击回车键,最后使用 jps 命令就可以验证多了2个 RunJar 的进程。

接下来去重启 hue 服务。hue 的重启比较简单,按 ctrlC 直接结束。结束完成后,把启动的命令重写,输入build/env/bin/supervisor。按回车键启动。启动完成之后,看到几个打印的信息,说明启动成功。

接下来到页面上查看 hue 跟 hive 整合是否成功。打开浏览器并刷新。处理后做重新加载。刷新后,发现现在位于文件浏览 hf 中。它的入口有两个地方,第一个点击文件系统,左边有个 SQL,hive 也类似于 SQL,虽然它是速成软件。

点击 SQL 会弹出相关的信息。

image.png

点击这个左边箭头,会列举出当下整合的各种数据。比如说点击 hive 后,这会列举出 atabase 数据库。刷新后库下还有相关的表,没有表就没有信息。

判断下面的表信息显示是否正确可以通过 hive 远程进行判断。比如在 node-3机器上,输入 export /servers/hive/bin/beeline,使用客户端跟之前一样登录,发现里面是否存在数据。启动完之后,使用 node-1:10000端口连接。发现这些信息正是在 hue 当中配置的,连接后,输入密码用户名,用户名是 root,密码是 orsche

通过 beeline 客户端连接到 hive 服务器上。此时直接敲 show databases 按回车,发现展示出来的数据库正是 hive 当中看到的,说明没有任何问题,看到的都是同一个原数据。

image.png

还可以做相关查询。第一种方式,在数据库右边点击 itheima,选择 open in browser,可以浏览表当中的相关信息。

通常的入口是点击 query 右小箭头,可以选择 editor 去编辑 hive,相当于打开了 hive 的编辑器。比如说操作 id 黑马数据库,点击进入发现里面有很多的信息。想查看网站日志,点击 detail 就可以对它进行查询。而且这类查询提供了各种各样的提示。比如说查看 selectfrom dw,它有非常给力的提示。

image.png

选择想要操作的数据 detail。查询之后可以再加”limit;”。选完后直接点击 zu 左边箭头执行,就可以去查询 hive。如果不执行 mr 程序,可以把结果立刻显示出来。自助查询结果跟使用客户端一样,而且看起来非常的友好。

查询的过程当中,可以点击保存把结果保存。

在进行查询的时候,如果是 MR 程序,还可以做相关的统计。比如输入 count(*) from dw_weblog_detail;,底层要执行 MR 程序。所以查询比较慢。

再次运行发现迟迟都没有结果,因为它要把程序转换成 MR,转化成 MR 后,通过 job 可以看到 mr 执行的结果,点击它发现多出 MR 程序,叫做 select count(*) from dw_weblog_detail。刷新结束之后,结果就会返回。即 hue 跟 hive 完成了整合,不需要使用原生的页面去访问,直接完成。

完成之后,再回到 hive 编辑当中可以看到它的最终结果,执行的结果结束之后可以查看。如果没有结果,可能是 SQL出现问题。比如宽表是分区表,之后可以对它进行相关查询。

事实上还有好多编辑操作,比如 open in browser,可以打开编辑等等。比如 show detail 可以查看里面的数据相当于能帮助查询。

image.png

上图明显是分区表, partitions 是分区,分区字段叫做 datestr,日期是20181101,非常的方便。

hue hive 的高度整合完成,可以编写各种各样的生活语句。相比较于在原生进行敲命令,没有任何提示,会非常痛苦。

hue hive 的整合可以完成针对 hive 的各种查询、操作,而且可以在页面中去浏览各种结果。

相关文章
|
Java Maven Windows
使用Java创建集成JACOB的HTTP服务
本文介绍了如何在Java中创建一个集成JACOB的HTTP服务,使Java应用能够调用Windows的COM组件。文章详细讲解了环境配置、动态加载JACOB DLL、创建HTTP服务器、实现IP白名单及处理HTTP请求的具体步骤,帮助读者实现Java应用与Windows系统的交互。作者拥有23年编程经验,文章来源于稀土掘金。著作权归作者所有,商业转载需授权。
337 2
使用Java创建集成JACOB的HTTP服务
|
8月前
|
人工智能 API 开发工具
GitHub官方开源MCP服务!GitHub MCP Server:无缝集成GitHub API,实现Git流程完全自动化
GitHub MCP Server是基于Model Context Protocol的服务器工具,提供与GitHub API的无缝集成,支持自动化处理问题、Pull Request和仓库管理等功能。
1689 2
GitHub官方开源MCP服务!GitHub MCP Server:无缝集成GitHub API,实现Git流程完全自动化
|
存储 数据可视化 Java
基于MicrometerTracing门面和Zipkin实现集成springcloud2023的服务追踪
Sleuth将会停止维护,Sleuth最新版本也只支持springboot2。作为替代可以使用MicrometerTracing在微服务中作为服务追踪的工具。
679 2
|
机器学习/深度学习 人工智能 自然语言处理
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
Voice-Pro是一款开源的多功能音频处理工具,集成了语音转文字、文本转语音、实时翻译、YouTube视频下载和人声分离等多种功能。它支持超过100种语言,适用于教育、娱乐和商业等多个领域,为用户提供一站式的音频处理解决方案,极大地提高工作效率和音频处理的便捷性。
1071 10
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
|
存储 Java 开发工具
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
阿里云OSS(Object Storage Service)是一种安全、可靠且成本低廉的云存储服务,支持海量数据存储。用户可通过网络轻松存储和访问各类文件,如文本、图片、音频和视频等。使用OSS后,项目中的文件上传业务无需在服务器本地磁盘存储文件,而是直接上传至OSS,由其管理和保障数据安全。此外,介绍了OSS服务的开通流程、Bucket创建、AccessKey配置及环境变量设置,并提供了Java SDK示例代码,帮助用户快速上手。最后,展示了如何通过自定义starter简化工具类集成,实现便捷的文件上传功能。
3671 7
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
|
安全 测试技术 数据安全/隐私保护
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
|
开发框架 .NET API
Windows Forms应用程序中集成一个ASP.NET API服务
Windows Forms应用程序中集成一个ASP.NET API服务
279 9
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
221 2
|
安全 Java 测试技术
ToB项目身份认证AD集成(二):快速搞定window server 2003部署AD域服务并支持ssl
本文详细介绍了如何搭建本地AD域控测试环境,包括安装AD域服务、测试LDAP接口及配置LDAPS的过程。通过运行自签名证书生成脚本和手动部署证书,实现安全的SSL连接,适用于ToB项目的身份认证集成。文中还提供了相关系列文章链接,便于读者深入了解AD和LDAP的基础知识。
671 0
|
编解码 Linux 开发工具
Linux平台x86_64|aarch64架构RTMP推送|轻量级RTSP服务模块集成说明
支持x64_64架构、aarch64架构(需要glibc-2.21及以上版本的Linux系统, 需要libX11.so.6, 需要GLib–2.0, 需安装 libstdc++.so.6.0.21、GLIBCXX_3.4.21、 CXXABI_1.3.9)。
539 0