初学Hadoop |
您所在的位置:网站首页 › hbase可视化客户端 › 初学Hadoop |
一 、HBase简介
HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable:一个结构化数据的分布式存储系统》。HBase以表的形式存储数据,表由行和列组成,列划分为若干个列族/列簇(column family)。 HBase的运行有三种模式:单机模式、伪分布式模式、分布式模式: 单机模式:在一台计算机上安装和使用HBase,不涉及数据的分布式存储; 伪分布式模式:在一台计算机上模拟一个小的集群; 分布式模式:使用多台计算机实现物理意义上的分布式存储。这里出于学习目的。 二、实验环境操作系统:Ubuntu64位 Hadoop版本:Hadoop 2.7.1 Jdk版本:jdk-8u241-linux-x64 HBase版本:HBase1.1.2 三、安装HBase(1) 下载HBase安装压缩包 下载网址:Hbase下载网址 (2) 解压HBase压缩包 sudo tar -zxf ~/下载/hbase-1.1.2-bin.tar.gz -C /usr/local #解压安装包hbase-1.1.2-bin.tar.gz至路径 /usr/local并将解压的文件名hbase-1.1.2改为hbase: sudo mv /usr/local/hbase-1.1.2 /usr/local/hbase(3) 配置环境变量 将hbase下的bin目录添加到path中,这样,启动hbase就无需到/usr/local/hbase目录下,大大的方便了hbase的使用。 vi ~/.bashrc在~/.bashrc文件尾行添加如下内容: export PATH=$PATH:/usr/local/hbase/bin
(4) 添加HBase权限 cd /usr/local sudo chown -R hadoop ./hbase #将hbase下的所有文件的所有者改为hadoop,hadoop是当前用户的用户名。(5) 查看HBase版本,确定hbase安装成功,命令如下: hbase -versionHBase有三种运行模式,单机模式、伪分布式模式、分布式模式。 必须确保:Java、Hadoop、shh配置完成。 (1) 单机模式配置 ① 配置/usr/local/hbase/conf/hbase-env.sh 用vi命令打开并编辑hbase-env.sh: vi /usr/local/hbase/conf/hbase-env.sh② 配置/usr/local/hbase/conf/hbase-site.xml 打开并编辑hbase-site.xml: vi /usr/local/hbase/conf/hbase-site.xml在启动HBase前需要设置属性hbase.rootdir,用于指定HBase数据的存储位置,因为如果不设置的话,hbase.rootdir默认为/tmp/hbase-${user.name},这意味着每次重启系统都会丢失数据。此处设置为HBase安装目录下的hbase-tmp文件夹即(/usr/local/hbase/hbase-tmp),添加配置如下: hbase.rootdir file:///usr/local/hbase/hbase-tmp③ 测试运行 启动HBase: start-hbase.sh打开shell命令行模式: hbase shell退出shell命令行模式: Exit停止HBase运行: stop-hbase.sh(2) 伪分布式模式配置 ① 配置/usr/local/hbase/conf/hbase-env.sh vi /usr/local/hbase/conf/hbase-env.sh配置JAVA_HOME,HBASE_CLASSPATH,HBASE_MANAGES_ZK. HBASE_CLASSPATH设置为本机Hadoop安装目录下的conf目录(即/usr/local/hadoop/conf) ② 配置/usr/local/hbase/conf/hbase-site.xml vi /usr/local/hbase/conf/hbase-site.xmlhbase.rootdir指定HBase的存储目录;hbase.cluster.distributed设置集群处于分布式模式. ③ 测试运行HBase 首先登陆ssh,之前设置了无密码登陆,因此这里不需要密码: ssh localhost启动hadoop: start-dfs.sh输入命令jps: 启动HBase: start-hbase.sh打开shell命令行模式: hbase shell退出shell命令行模式: exit停止HBase运行: stop-hbase.sh注意: 需要先开启Hadoop,再开启HBASE,再打开shell命令格式 才能使用HBASE中的shell命令 关闭时需要先退出shell命令格式,再关闭HBASE,再关闭Hadoop (1) HBase中创建表 create 'student','Sname','Ssex','Sage','Sdept','course'即创建了一个“student”表; 属性有:Sname,Ssex,Sage,Sdept,course。 因为HBase的表中会有一个系统默认的属性作为行键,无需自行创建,默认为put命令操作中表名后第一个数据。 创建完“student”表后,可通过describe命令查看“student”表的基本信息。命令执行截图如下: (2) HBase数据库的基本操作 即HBase的增、删、改、查操作。 注意: 在添加数据时,HBase会自动为添加的数据添加一个时间戳,故在需要修改数据时,只需直接添加数据,HBase即会生成一个新的版本,从而完成“改”操作,旧的版本依旧保留,系统会定时回收垃圾数据,只留下最新的几个版本,保存的版本数可以在创建表的时候指定。 ① 添加数据 HBase中用put命令添加数据; 注意: 一次只能为一个表的一行数据的一个列,也就是一个单元格添加一个数据,所以直接用shell命令插入数据效率很低,在实际应用中,一般都是利用编程操作数据。 put 'student','95001','Sname','LiYing'即为student表添加了学号为95001,名字为LiYing的一行数据,其行键为95001。 put 'student','95001','course:math','80'② 删除数据 在HBase中用delete以及deleteall命令进行删除数据操作; 它们的区别是: delete用于删除一个数据,是put的反向操作;deleteall操作用于删除一行数据。 delete 'student','95001','Ssex'删除了student表中95001行下的Ssex列的所有数据。 读取student表中的数据: get ‘student’③ 查看数据 HBase中有两个用于查看数据的命令: get命令,用于查看表的某一行数据;scan命令用于查看某个表的全部数据 get 'student','95001'④ 删除表 删除表有两步,第一步先让该表不可用,第二步删除表。 disable 'student' drop 'student'(3) 查询表的历史数据 查询表的历史版本,需要两步。 ① 在创建表的时候,指定保存的版本数(假设指定为5) create 'teacher',{NAME=>'username',VERSIONS=>5}
③ 查询时,指定查询的历史版本数。默认会查询出最新的数据。(有效取值为1到5) get 'teacher','91001',{COLUMN=>'username',VERSIONS=>5}若不指定查询的历史版本数: 退出HBase数据库表操作: exit注意: 这里退出HBase数据库是退出对数据库表的操作,而不是停止启动HBase数据库后台运行。 本文章主要是本人在初学Hadoop时期根据林子雨老师实验教程学习,由自己总结并实践编写而成。 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |