【hadoop

您所在的位置:网站首页 本地模式安装路径 【hadoop

【hadoop

2024-07-17 05:28| 来源: 网络整理| 查看: 265

 

目录

一.Hive的安装和配置

1.Hive并不是hadoop自带的组件,因此我们需要去下载hive,此次课我们使用hive 1.2.1版本,下载地址为:

2.下载完成之后,安装包默认保存在下载文件夹中,解压安装包apache-hive-1.2.1-bin.tar.gz至路径 /usr/local,命令如下:

3.然后切换至目录 /usr/local,将文件夹名改为hive(为了后续的方便),并且修改文件权限给hadoop账户:

4.配置环境变量:为了方便使用,需把hive命令加入到环境变量中去,使用vim编辑器打开.bashrc文件,命令如下:

5.保存退出后,运行如下命令使配置立即生效:

6.修改/usr/local/hive/conf下的配置文件,该目录下的文件有:

二.在Ubuntu中安装并配置mysql

1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装:

2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器:

3.确认mysql安装成功且可正常启动之后,需下载mysql jdbc的包,地址为: https://downloads.mysql.com/archives/c-j/

4.下载完成之后,同样,解压缩:

5.启动mysql:

6.在mysql shell界面,新建hive数据库(这个hive数据库与hive-site.xml中localhost:3306/hive的hive对应,用来保存hive元数据):

7.配置mysql允许hive接入: 

8.至此,hive和mysql都已经安装配置完毕,可以尝试启动hive,注意hive是hadoop之上的,所以要先启动hadoop:

9.启动进入Hive的交互式执行环境以后,会出现如下命令提示符:

一.Hive的安装和配置 1.Hive并不是hadoop自带的组件,因此我们需要去下载hive,此次课我们使用hive 1.2.1版本,下载地址为: http://archive.apache.org/dist/hive/hive-1.2.1/

2.下载完成之后,安装包默认保存在下载文件夹中,解压安装包apache-hive-1.2.1-bin.tar.gz至路径 /usr/local,命令如下: sudo tar -zxf ~/下载/apache-hive-1.2.1-bin.tar.gz -C /usr/local

3.然后切换至目录 /usr/local,将文件夹名改为hive(为了后续的方便),并且修改文件权限给hadoop账户: cd /usr/local/ sudo mv apache-hive-1.2.1-bin hive sudo chown -R hadoop:hadoop hive

 

4.配置环境变量:为了方便使用,需把hive命令加入到环境变量中去,使用vim编辑器打开.bashrc文件,命令如下: vim ~/.bashrc

在该文件最前面一行添加如下内容:

export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin export HADOOP_HOME=/usr/local/hadoop 

5.保存退出后,运行如下命令使配置立即生效: source ~/.bashrc

 

6.修改/usr/local/hive/conf下的配置文件,该目录下的文件有:

 

首先将hive-default.xml.template重命名为hive-default.xml:

cd /usr/local/hive/conf mv hive-default.xml.template hive-default.xml 

然后,使用vim编辑器新建一个配置文件hive-site.xml,命令如下:

vim hive-site.xml

在hive-site.xml中添加如下配置信息:

 

保存退出,Hive的配置完成

二.在Ubuntu中安装并配置mysql 1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装: sudo apt-get install mysql-server

如果发现安装缓慢或者版本较低,可以先更新一下软件源以获得最新版本:

sudo apt-get update

过程中问到 y/n 一律 y:

 

安装过程会提示设置mysql root用户的密码,还是建议设置个简单的密码,比如我这里使用的还是hadoop,设置完成后等待自动安装即可。

 

2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器: service mysql start service mysql stop 

在启动和关闭mysql的时候,都需要输入我们刚才设置的密码:

 

可以使用如下命令来确认mysql是否启动成功:

sudo netstat -tap | grep mysql

mysql节点处于LISTEN状态表示启动成功:

 

3.确认mysql安装成功且可正常启动之后,需下载mysql jdbc的包,地址为: https://downloads.mysql.com/archives/c-j/

 

4.下载完成之后,同样,解压缩: tar -zxvf mysql-connector-java-5.1.40.tar.gz

 

将解压完成之后,mysql-connector-java-5.1.40目录下的 mysql-connector-java-5.1.40-bin.jar 文件拷贝到/usr/local/hive/lib目录下:

cp mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar  /usr/local/hive/lib

 

复制完成之后如图:

 

5.启动mysql: service mysql start

登陆进入mysql shell界面:

mysql -u root -p

 

6.在mysql shell界面,新建hive数据库(这个hive数据库与hive-site.xml中localhost:3306/hive的hive对应,用来保存hive元数据): mysql> create database hive 

7.配置mysql允许hive接入:  mysql> grant all on *.* to hive@localhost identified by 'hive';

此处表示,将所有数据库的所有表的所有权限赋给hive用户,后面的hive是配置hive-site.xml中配置的连接密码, 然后,用如下命令刷新mysql系统权限关系表:

mysql> flush privileges; 

8.至此,hive和mysql都已经安装配置完毕,可以尝试启动hive,注意hive是hadoop之上的,所以要先启动hadoop: ssh localhost cd /usr/local/hadoop ./sbin/start-dfs.sh jps cd /usr/local/hive ./bin/hive 

9.启动进入Hive的交互式执行环境以后,会出现如下命令提示符:

 

可以在里面输入SQL语句,如果要退出Hive交互式执行环境,可以输入如下命令:

 

至此,本次课的操作,hive和mysql的安装配置完成 

  以上为本文全部内容。由于我是新手小白,如有错误请斧正。

 



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3