【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！ [返回Spark教程首页]

Spark处理的数据有很多是存放在HBase数据库中的，所以，我们需要学会如何读写HBase数据库。HBase是针对谷歌BigTable的开源实现，是一个高可靠、高性能、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据。HBase可以支持超大规模数据存储，它可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。如果要了解HBase的技术原理和使用方法，可以参考厦门大学数据库实验室的在线课程《HBase数据库》。

这里依然是以student表为例进行演示。这里假设你已经成功安装了HBase数据库，如果你还没有安装，可以参考厦门大学数据库实验室HBase安装和使用教程，进行安装，安装好以后，不要创建数据库和表，只要跟着本节后面的内容操作即可。HBase安装时有三种模式：单机模式、伪分布式模式和分布式模式。本教程采用伪分布式安装。 安装好了伪分布式模式的HBase以后，我们可以在里面创建一个student表。 请登录Linux系统，打开一个终端（可以使用快捷方式Ctrl+Alt+T组合键打开终端），因为HBase是伪分布式模式，需要调用HDFS，所以，请首先在终端中输入下面命令启动Hadoop：

启动完成以后，一定要输入jps命令查看是否启动成功：

运行jps命令以后，应该可以看到以下几个进程：

如果少了其中一个进程，说明启动失败。 下面就可以启动HBase，命令如下：

这样就可以进入hbase shell命令提示符状态。下面我们在HBase数据库中创建student表（注意：在关系型数据库MySQL中，需要首先创建数据库，然后再创建表，但是，在HBase数据库中，不需要创建数据库，只要直接创建表就可以）：

用list命令可以显示当前HBase数据库中有哪些已经创建好的表，如果里面已经有一个名称为student的表，请使用如下命令删除（如果不存在student表，就不用执行下面的删除命令了）：

下面让我们一起来创建一个student表，我们要在这个表中录入如下数据：

我们可以在hbase shell中使用下面命令创建：

你可以发现，我们在创建student表的create命令中，命令后面首先跟上表名称'student'，然后，再跟上列族名称'info'，这个列族'info'中包含三个列'name','gender','age'。你会发现，好像没有'id'字段，这是因为HBase的表中会有一个系统默认的属性作为行键，无需自行创建，默认把put命令操作中跟在表名后的第一个字段作为行健。 创建完“student”表后，可通过describe命令查看“student”表的基本信息：

下面，我们要把student表的两个样例记录输入到student表中。但是，HBase是列族数据库，原理和关系数据库不同，操作方法也不同。如果要了解HBase的技术原理和使用方法，可以参考厦门大学数据库实验室的在线课程《HBase数据库》。 如果没有时间学习HBase数据库细节知识，也可以直接按照下面的内容跟着操作就可以了。 HBase中用put命令添加数据，注意：一次只能为一个表的一行数据的一个列（也就是一个单元格，单元格是HBase中的概念）添加一个数据，所以直接用shell命令插入数据效率很低，在实际应用中，一般都是利用编程操作数据。因为这里只要插入两条学生记录，所以，我们可以用shell命令手工插入。

数据录入结束后，可以用下面命令查看刚才已经录入的数据：

可以得到如下结果：

在开始编程操作HBase数据库之前，需要对做一些准备工作。 （1）请新建一个终端，执行下面命令，把HBase的lib目录下的一些jar文件拷贝到Spark中，这些都是编程时需要引入的jar包，需要拷贝的jar文件包括：所有hbase开头的jar文件、guava-12.0.1.jar、htrace-core-3.1.0-incubating.jar和protobuf-java-2.5.0.jar，可以打开一个终端按照以下命令来操作：

然后，设置Spark的spark-env.sh文件，告诉Spark可以在哪个路径下找到HBase相关的jar文件，如下：

使用vim编辑器打开spark-env.sh文件以后，可以在文件最前面增加下面一行内容：

只有这样，后面编译过程才不会出错。

如果要让Spark读取HBase，就需要使用SparkContext提供的newAPIHadoopRDD API将表的内容以RDD的形式加载到Spark中。 请在Linux系统中打开一个终端，然后执行以下命令：

然后，在SparkOperateHBase.scala文件中输入以下代码：

然后就可以用sbt打包编译。不过，在编译之前，需要新建一个simple.sbt文件，在simple.sbt配置文件中，需要知道scalaVersion、spark-core、hbase-client、hbase-common、hbase-server的版本号。在前面章节《Spark的安装和使用》的“编写Scala独立应用程序”部分，我们已经介绍了如何寻找scalaVersion和spark-core的版本号，这里不再赘述。现在介绍如何找到你自己电脑上安装的HBase的hbase-client、hbase-common、hbase-server的版本号。 请在Linux系统中打开一个终端，输入下面命令：

ls命令会把“/usr/local/hbase/lib”目录下的所有jar文件全部列出来，其中，就可以看到下面三个文件：

根据上面三个文件，我们就可以得知hbase-client、hbase-common、hbase-server的版本号是1.1.5（当然，你的电脑上可能不是这个版本号，请以你自己的版本号为准）。 有了这些版本号信息，我们就可以新建一个simple.sbt文件：

然后在simple.sbt中录入下面内容：

保存该文件，退出vim编辑器。

然后，输入下面命令：

应该可以看到类似下面的文件结构：

下面就可以运行sbt打包命令：

打包成功以后，生成的 jar 包的位置为 /usr/local/spark/mycode/hbase/target/scala-2.10/simple-project_2.10-1.0.jar。 最后，通过 spark-submit 运行程序。我们就可以将生成的 jar 包通过 spark-submit 提交到 Spark 中运行了，命令如下：

执行后得到如下结果：

下面编写程序向HBase中写入两行数据。 请打开一个Linux终端，输入如下命令：

上面命令用vim编辑器新建了一个文件SparkWriteHBase.scala，然后，在SparkWriteHBase.scala文件中输入下面代码：

保存该文件退出vim编辑器，然后，使用sbt打包编译，命令如下：

打包成功以后，生成的 jar 包的位置为 /usr/local/spark/mycode/hbase/target/scala-2.10/simple-project_2.10-1.0.jar。实际上，由于之前我们已经编写了另外一个代码文件SparkOperateHBase.scala，所以，simple-project_2.10-1.0.jar中实际包含了SparkOperateHBase.scala和SparkWriteHBase.scala两个代码文件的编译结果（class文件），在运行命令时，可以通过--class后面的名称参数来决定运行哪个程序。 最后，通过 spark-submit 运行程序。我们就可以将生成的 jar 包通过 spark-submit 提交到 Spark 中运行了，命令如下：

执行后，我们可以切换到刚才的HBase终端窗口，在HBase shell中输入如下命令查看结果：

得到如下结果：