配置和启动测试 HIVE|学习笔记

简介: 快速学习配置和启动测试 HIVE

开发者学堂课程【快速掌握 Hadoop 集成 Kerberos 安全技术配置和启动测试 HIVE】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/708/detail/12568


配置和启动测试 HIVE


1.创建 hive 使用的账户:

useradd hive-ghadoopr 执行 chown -Rhive:hadoop /bigdata/hive-1.1.0-cdh5.14.4(授权语句)

hive 装在 cdn0上,所以在 root 下执行 useradd hive-ghadoopr,把 bigdata 安装好的 hive 来配置成 hive 权限

2.创建 hive 对应的 kerberos 账户

在 cdhe 节点    

kadmin 进入 kerberos 的 admin 后台输入密码

addprinc -randkeyhive/cdheitcast.cniTcASt.Cn 创建这样一个用户

ktadd -k/etc/securitv/kevtabs/hive.kevtab hive/cdheitcast.cneITCAST.CN 创建对应的 kevtabs 文件

chown hive hadoop hivekeytab 把他的权限改成 hive 所属

chmod 400 hive.keytab 改为400的权限

得到

-r-------- 1 hive hadoop 418 Sep 26 17:07 hive.keytab    

这里多了 hive.keytab

3.上传安装包中提供的 mysg1-connector-java-5.1.33.jar 到 hive 的 lib 目录下,上传完成后 hive 就能够链接 mysg1-connector 了。

4.因为 hive 的原数据是保存到 mysg1-connector 所以要为 hive 安装mysql yum install -y mysgl-server mysgl mysgl-devel,运行。

5.安装好后启动和设置 mysql

启动: service mysald start

开机自动启动:chkconfig mysgld on

设置初始密码为 root:/usr/bin/mysqladmin -u root password 'root',密码 root

6.验证登录 mysql -uroot -p root

7.配置 hive-env.sh

进入 cd /bigdata/hive-1.1.0-cdh5.14.4/conf/文件夹里面

cp hive-env.sh.template hive-env.sh

# vim hivp-env.sh 新增

将以下代码复制进来,保存。

export JAVA_HOME=/usr/local/jdk1.8.0_221

export HADOOP_HOME=/bigdata/hadoop-2.6.0-cdh5.14.4

export HIVE_HOME=/bigdata/hive-1.1.0-cdh5.14.4

export HIVE_CONF_DIR=/bigdata/hive-1.1.0-cdh5.14.4/conf

8. 配置 hive-site.xml

直接创建 vim hive-site.xml 新文件,把以下内容复制,

<configuration>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>

</property>

<property>

<name>javax.ido.option.ConnectionDriverName</name>

<value>com.mysq1.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.opticn.ConnectionUserName</name>

<value>root</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>root</value>

</property>

<property>

<name>hive.server2.authentication</name>

<value>KERBEROS</value>

</property>

<property>

<name>hive.server2.authentication.kerberosprincipal</name>

<value>hive/_HOST@ITCAST.CN</value>

</property>

<property>

<name>hive.server2.authentication.kerberos.keytab</name>

<value>/etc/security/keytabs/hive.keytab</value>

</property>

<property>

<name>hive.metastore.sasl.enabled</name><value>true</value>

</property>

<property>

<name>hive.metastore.kerberos.keytabfile</name>

<value>/etc/security/keytabs/hivekeytab</value>

</property>

<property>

<name>hive.metastorekerberosprincipal</name>

<value>hive/_HOST@ITCAST.CN</value>

</property>

<property>

<name></name><value></value>

</property>

</configuration>

hive 的配置其实也很简单,比如 ConnectionURL 的链接,还有驱动和账户,包括密码等等,下面的配置就是 cookwos 的相关,比如说 hive 的安全认证使用 cookwos 进行认证,同样他还需要 cookwos 账户,这个账户同样是 hive,一个 host 的转译,他还需要ktable文件,这里需要来启动一下 metstore 包括还有一个 manerstorp 需要使用的文件,同样共用这个文件就可以了,还有需要使用的账户。

9.初始化 hive 源数据库:bin/schematool -dbType mysql -initSchema -verbose xm1

这里是使用 schematool 工具,数据管理型是 mysql,执行 initSchema,verbose显示输出。多了非常多的表,说明初始化完成了

10.认证 hive 的账户:

kinit-kt /etc/security/keytabs/hive.kevtab hive/cdh0.itcast.cn@ITCAST.CN

Hive 就成功认证到 hive 账户下

image.png

11.启动 hive 相关服务

启动 metastore:nohup bin/hive --service metastore>metastore.log 2>&1 &

输入 cd /bigdata/hive-,执行到这样的目录下,执行命令,把日志输出到 metastore.log 里,2>&1 &表示在后台运行,RunJar 就是进程

启动 hiveserver2: nohup bin/hive --service hiveserver2 >hs2.log 2>&1 &

多了 RunJar,就是 hiveserver2。

12.测试 hive

执行 bin/hive,没有问题后创建数据库叫做 create database test;

image.png

13.测试 bin/beeline

执行 bin/beeline

进入后执行:!Connectidbc:hive2://cdh0.itcast.cn:10000/default;principal=hive/cdh0.itcast.cn@ITCAST.CN

一定要加这句话连接成功

成功连接后执行:create table test_temp(id int, name string, address string)

多了一个表则代表没问题:

image.png

然后插入执行: insert into test temp values(1, "hahaha", "beijing"), (2, "heiheihei", "shanghai"), (3."hohoho","shenzhen"):

执行: select * from test_temp;

把这个目录给770的权限,再重新执行,会看到插入的数据被正确查出来了,说明 hive 被正确查询出来了。

image.png

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
3月前
|
Java 测试技术 数据安全/隐私保护
通过yaml文件配置自动化测试程序
通过yaml文件可以将自动化测试环境,测试数据和测试行为分开,请看一下案例
127 4
|
4月前
|
XML Ubuntu Java
如何在Ubuntu系统上安装和配置JMeter和Ant进行性能测试
进入包含 build.xml 的目录并执行:
244 13
|
11月前
|
运维 关系型数据库 MySQL
os-copilot安装_配置_功能测试全集
我是一位中级运维工程师,我平时工作会涉及到 各类服务器的 数据库 与 java环境配置 操作。 我顺利使用了OS Copilot的 -t -f | 功能,我的疑惑是不能在自动操作过程中直接给与脚本运行权限,必须需要自己运行一下 chmod 这个既然有了最高的权限,为什么就不能直接给与运行权限呢。 我认为 -t 功能有用,能解决后台运行基础命令操作。 我认为 -f 功能有用,可以通过task文件中撰写连续任务操作。 我认为 | 对文件理解上有很直接的解读,可以在理解新程序上有很大帮助。
349 86
|
11月前
|
人工智能 Ubuntu Linux
os-copilot使用之全面配置与使用测试
作为一名个人开发者,我主要从事云服务器架设工作。近期,我成功使用了OS Copilot的 `-t -f |` 功能,解决了执行语句、连续提问及快速理解文件的问题。我发现这些功能非常实用,特别是在使用Workbench时能快速调用AI助手。此外,建议将AI功能与xShell工具联动,进一步提升效率。文中详细记录了购买服务器、远程连接、安装配置OS Copilot以及具体命令测试的过程,展示了如何通过快捷键和命令行操作实现高效开发。
411 67
|
9月前
|
SQL 关系型数据库 MySQL
seatunnel配置mysql2hive
本文介绍了SeaTunnel的安装与使用教程,涵盖从安装、配置到数据同步的全过程。主要内容包括: 1. **SeaTunnel安装**:详细描述了下载、解压及配置连接器等步骤。 2. **模拟数据到Hive (fake2hive)**:通过编辑测试脚本,将模拟数据写入Hive表。 3. **MySQL到控制台 (mysql2console)**:创建配置文件并执行命令,将MySQL数据输出到控制台。 4. **MySQL到Hive (mysql2hive)**:创建Hive表,配置并启动同步任务,支持单表和多表同步。
|
10月前
|
缓存 Java 测试技术
【01】噩梦终结flutter配安卓android鸿蒙harmonyOS 以及next调试环境配鸿蒙和ios真机调试环境-flutter项目安卓环境配置-gradle-agp-ndkVersion模拟器运行真机测试环境-本地环境搭建-如何快速搭建android本地运行环境-优雅草卓伊凡-很多人在这步就被难倒了
【01】噩梦终结flutter配安卓android鸿蒙harmonyOS 以及next调试环境配鸿蒙和ios真机调试环境-flutter项目安卓环境配置-gradle-agp-ndkVersion模拟器运行真机测试环境-本地环境搭建-如何快速搭建android本地运行环境-优雅草卓伊凡-很多人在这步就被难倒了
1354 3
【01】噩梦终结flutter配安卓android鸿蒙harmonyOS 以及next调试环境配鸿蒙和ios真机调试环境-flutter项目安卓环境配置-gradle-agp-ndkVersion模拟器运行真机测试环境-本地环境搭建-如何快速搭建android本地运行环境-优雅草卓伊凡-很多人在这步就被难倒了
|
11月前
|
Dart 前端开发 Android开发
【02】写一个注册页面以及配置打包选项打包安卓apk测试—开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草央千澈
【02】写一个注册页面以及配置打包选项打包安卓apk测试—开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草央千澈
365 1
【02】写一个注册页面以及配置打包选项打包安卓apk测试—开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草央千澈
|
11月前
|
数据可视化 前端开发 测试技术
接口测试新选择:Postman替代方案全解析
在软件开发中,接口测试工具至关重要。Postman长期占据主导地位,但随着国产工具的崛起,越来越多开发者转向更适合中国市场的替代方案——Apifox。它不仅支持中英文切换、完全免费不限人数,还具备强大的可视化操作、自动生成文档和API调试功能,极大简化了开发流程。
|
6月前
|
Java 测试技术 容器
Jmeter工具使用:HTTP接口性能测试实战
希望这篇文章能够帮助你初步理解如何使用JMeter进行HTTP接口性能测试,有兴趣的话,你可以研究更多关于JMeter的内容。记住,只有理解并掌握了这些工具,你才能充分利用它们发挥其应有的价值。+
1050 23
|
8月前
|
SQL 安全 测试技术
2025接口测试全攻略:高并发、安全防护与六大工具实战指南
本文探讨高并发稳定性验证、安全防护实战及六大工具(Postman、RunnerGo、Apipost、JMeter、SoapUI、Fiddler)选型指南,助力构建未来接口测试体系。接口测试旨在验证数据传输、参数合法性、错误处理能力及性能安全性,其重要性体现在早期发现问题、保障系统稳定和支撑持续集成。常用方法包括功能、性能、安全性及兼容性测试,典型场景涵盖前后端分离开发、第三方服务集成与数据一致性检查。选择合适的工具需综合考虑需求与团队协作等因素。
1281 24