hadoop2.6完全分布式安装HBase1.1

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
简介:

对于全分布式的HBase安装,需要通过hbase-site.xml文档来配置本机的HBase特性,由于各个HBase之间通过zookeeper来进行通信,因此需要维护一组zookeeper系统,关于zookeeper的安装使用,参考《hadoop2.6完全分布式安装zookeeper3.4.6

关于HBase的介绍,可以看这里《HBase简介

1、安装Hbase
(1)下载hbase版本

下载地址:http://www.apache.org/dyn/closer.cgi/hbase/,在此路径下选择相应的版本下载,本次安装下载hadoop1.1.0.1版本
(2)解压hbase-1.1.0.1-bin.tar.gz

hadoop@master:~/opt$ tar zxvf hbase-1.1.0.1-bin.tar.gz

(3)将hbase添加到环境变量中

export HBASE_HOME=/home/hadoop/opt/hbase-1.1.0.1
export PATH=$HBASE_HOME/bin:$PATH

(4)修改配置文件

修改hbase-env.sh

export JAVA_HOME=/home/hadoop/opt/jdk1.8.0_65

 

修改hbase-site.xml

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave1</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hadoop/opt/zookeeper-3.4.6</value>
</property>
</configuration>

修改regionservers,将文件内容设置为:

master
slave1
2、运行HBase
启动hbase时要确保hdfs已经启动,HBase的启动顺序为:HDFS->Zookeeper->HBase,运行命令如下:

hadoop@master:~/opt/hadoop-2.6.0$ bin/hdfs namenode -format
hadoop@master:~/opt/hadoop-2.6.0$ sbin/start-dfs.sh
hadoop@master:~/opt/zookeeper-3.4.6$ ./zkServer.sh start
hadoop@master:~/opt/hbase-1.1.0.1$ start-hbase.sh

启动成功后集群会多出如下进程:

hadoop@master:~/opt/hbase-1.1.0.1$ jps

8145 SecondaryNameNode
7940 NameNode
8550 HRegionServer
5719 QuorumPeerMain
8600 Jps
8424 HMaster
运行成功后可以看到QuorumPeerMain进程
再看看slave1的进程:

hadoop@slave1:~/opt/zookeeper-3.4.6/bin$ jps

6915 QuorumPeerMain
7012 HRegionServer
7268 Jps
6823 DataNode
进入HBase Shell

hadoop@master:~/opt/hbase-1.1.0.1$ ./bin/hbase shell

输入status命令:

hbase(main):001:0> status

出现错误:

2015-05-25 20:26:14,949 ERROR [main] client.ConnectionManager$HConnectionImplementation: Can’t get connection to ZooKeeper: KeeperErrorCode = ConnectionLoss for /hbase
设置 conf/hbase-env.sh文件中的HBASE_MANAGES_ZK 属性为 false
问题搞定!

hbase(main):001:0> status

2 servers, 0 dead, 1.0000 average load

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
23天前
|
分布式计算 资源调度 Hadoop
centos7二进制安装Hadoop3
centos7二进制安装Hadoop3
|
23天前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
54 2
|
28天前
|
存储 分布式计算 Hadoop
【揭秘Hadoop背后的秘密!】HDFS读写流程大曝光:从理论到实践,带你深入了解Hadoop分布式文件系统!
【8月更文挑战第24天】Hadoop分布式文件系统(HDFS)是Hadoop生态系统的关键组件,专为大规模数据集提供高效率存储及访问。本文深入解析HDFS数据读写流程并附带示例代码。HDFS采用NameNode和DataNode架构,前者负责元数据管理,后者承担数据块存储任务。文章通过Java示例演示了如何利用Hadoop API实现数据的写入与读取,有助于理解HDFS的工作原理及其在大数据处理中的应用价值。
40 1
|
1月前
|
分布式计算 Ubuntu Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
20 1
|
1月前
|
存储 缓存 分布式计算
|
23天前
|
存储 监控 Shell
HBase2.1分布式部署
HBase2.1分布式部署
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
44 2
|
3月前
|
存储 搜索推荐 Java
微服务SpringCloud ES分布式全文搜索引擎简介 下载安装及简单操作入门
微服务SpringCloud ES分布式全文搜索引擎简介 下载安装及简单操作入门
53 2
|
3月前
|
SQL 分布式计算 关系型数据库
分布式系统详解 -- Hive1.2.1 安装
分布式系统详解 -- Hive1.2.1 安装
42 1
|
3月前
|
XML 分布式计算 Hadoop
分布式系统详解--框架(Hadoop-单机版搭建)
分布式系统详解--框架(Hadoop-单机版搭建)
63 0
分布式系统详解--框架(Hadoop-单机版搭建)