栏目分类:
子分类:
返回
终身学习网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
终身学习网 > IT > 软件开发 > 后端开发 > Java

HBase(一) 2021SC@SDUSC

Java 更新时间:发布时间: 百科书网 趣学号
Hbase(一) 2021SC@SDUSC

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录
    • Hbase(一) 2021SC@SDUSC
  • 前言
  • 一、项目分工
  • 二、Hbase是什么?
    • 1.Hbase简介
    • 2.Hbase架构
    • 3.Hbase处理数据
    • 4.Hbase数据模型
    • 5.Hbase应用
  • 三、Ubuntu下Hbase的安装与使用
    • 安装并配置Hbase
    • 1.Hbase安装
    • 2.伪分布式模式配置
  • 四.项目源码下载


前言

2021SC@SDUSC

综述:

本文对分工做了简单的描述,对项目做了介绍,以及对项目的安装与部署做了介绍。

一、项目分工

项目成员共五人,三人完成Hbase的读写流程,两人完成写region,后期根据进度动态调整。
我负责完成region方面。

二、Hbase是什么? 1.Hbase简介

Hbase是Apache的Hadoop项目的子项目,是Hadoop Database的简称。

Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用Hbase技术可在廉价PC Server上搭建起大规模结构化存储集群。

Hbase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库,Hbase基于列的而不是基于行的模式。

2.Hbase架构

下图是Hbase的组成结构图:

通过上图我们可以得出Hbase中的每张表都按照一定的范围被分割成多个子表(HRegion),默认一个HRegion超过 256M 就要被分割成两个,由 HRegionServer管理,管理哪些HRegion由HMaster分配。

3.Hbase处理数据

虽然Hadoop是一个高容错、高延时的分布式文件系统和高并发的批处理系统,但是它不适用于提供实时计算;Hbase是可以提供实时计算的分布式数据库,数据被保存在HDFS分布式文件系统上,由HDFS保证期高容错性,但是再生产环境中,Hbase是如何基于hadoop提供实时性呢? Hbase上的数据是以StoreFile(HFile)二进制流的形式存储在HDFS上block块儿中;但是HDFS并不知道的Hbase用于存储什么,它只把存储文件认为是二进制文件,也就是说,Hbase的存储数据对于HDFS文件系统是透明的。

4.Hbase数据模型

Hbase通过表格的模式存储数据,每个表格由列和行组成,其中,每个列又被划分为若干个列族(row family),请参考下面的图:

5.Hbase应用

Hbase是用来当有需要写重的应用程序。
Hbase可以帮助快速随机访问数据。
Hbase被许多公司所采纳,例如,Facebook、Twitter、Yahoo!、Adobe、OpenPlaces、WorldLingo等等。

三、Ubuntu下Hbase的安装与使用

运行环境是在Ubuntu-64位系统下,Hbase版本为hbase-1.1.2,带有src的文件是未编译的版本,这里我们只要下载bin版本hbase-1.1.2-bin.tar.gz就好了。

安装并配置Hbase 1.Hbase安装

1.1 解压安装包hbase-1.1.2-bin.tar.gz至路径 /usr/local,命令如下:

sudo tar -zxf ~/下载/hbase-1.1.2-bin.tar.gz -C /usr/local

1.2 将解压的文件名hbase-1.1.2改为hbase,以方便使用,命令如下:

sudo mv /usr/local/hbase-1.1.2 /usr/local/hbase

1.3 配置环境变量
将hbase下的bin目录添加到path中,这样,启动hbase就无需到/usr/local/hbase目录下,大大的方便了hbase的使用。教程下面的部分还是切换到了/usr/local/hbase目录操作,有助于初学者理解运行过程,熟练之后可以不必切换。
编辑~/.bashrc文件

vi ~/.bashrc

如果没有引入过PATH请在~/.bashrc文件尾行添加如下内容:

`export PATH=$PATH:/usr/local/hbase/binc

如果已经引入过PATH请在export PATH这行追加/usr/local/hbase/bin,这里的“:”是分隔符。如下图:


编辑完成后,再执行source命令使上述配置在当前终端立即生效,命令如下:

source ~/.bashrc

1.4 添加Hbase权限

cd /usr/local
sudo chown -R hadoop ./hbase       

#将hbase下的所有文件的所有者改为hadoop,hadoop是当前用户的用户名。

1.5 查看Hbase版本,确定hbase安装成功,命令如下:

/usr/local/hbase/bin/hbase version

命令执行后,输出信息截图如下:

表示Hbase已经安装成功,接下来将进行Hbase伪分布式模式的配置。

2.伪分布式模式配置

1.配置/usr/local/hbase/conf/hbase-env.sh。命令如下:

sudo vi /usr/local/hbase/conf/hbase-env.sh

配置JAVA_HOME,Hbase_CLASSPATH,Hbase_MANAGES_ZK.
Hbase_CLASSPATH设置为本机Hadoop安装目录下的conf目录(即/usr/local/hadoop/conf)

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export Hbase_CLASSPATH=/usr/local/hadoop/conf 
export Hbase_MANAGES_ZK=true

截图如下:

2.配置/usr/local/hbase/conf/hbase-site.xml
用命令vi打开并编辑hbase-site.xml,命令如下:

sudo vi /usr/local/hbase/conf/hbase-site.xml

修改hbase.rootdir,指定Hbase数据在HDFS上的存储路径;将属性hbase.cluter.distributed设置为true。假设当前Hadoop集群运行在伪分布式模式下,在本机上运行,且NameNode运行在9000端口。


    
        hbase.rootdir
        hdfs://localhost:9000/hbase
    
    
        hbase.cluster.distributed
        true
    

hbase.rootdir指定Hbase的存储目录;hbase.cluster.distributed设置集群处于分布式模式.
截图如下:

3. 接下来测试运行Hbase。
第一步:首先登陆ssh,之前设置了无密码登陆,因此这里不需要密码;再切换目录至/usr/local/hadoop ;再启动hadoop,如果已经启动hadoop请跳过此步骤。命令如下:

ssh localhost
cd /usr/local/hadoop
./sbin/start-dfs.sh

输入命令jps,能看到NameNode,DataNode和SecondaryNameNode都已经成功启动,表示hadoop启动成功,截图如下:

第二步:切换目录至/usr/local/hbase;再启动Hbase.命令如下:

cd /usr/local/hbase
bin/start-hbase.sh

启动成功,输入命令jps,看到以下界面说明hbase启动成功

进入shell界面:

bin/hbase shell

4.停止Hbase运行,命令如下:

bin/stop-hbase.sh

至此,已完成Hbase的安装与配置。

四.项目源码下载

在Hbase官网上或者通过GitHub上将源码下载下来,在虚拟机上部署测试有关功能,然后在项目启动的shell入口相关源码,导入到idea中,采用debug方式进行源码的分析学习。

后续项目的详细介绍会在以后的文章中逐渐深入。

转载请注明:文章转载自 www.051e.com
本文地址:http://www.051e.com/it/274864.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 ©2023-2025 051e.com

ICP备案号:京ICP备12030808号