【hadoop |
您所在的位置:网站首页 › 本地模式安装路径 › 【hadoop |
目录 一.Hive的安装和配置 1.Hive并不是hadoop自带的组件,因此我们需要去下载hive,此次课我们使用hive 1.2.1版本,下载地址为: 2.下载完成之后,安装包默认保存在下载文件夹中,解压安装包apache-hive-1.2.1-bin.tar.gz至路径 /usr/local,命令如下: 3.然后切换至目录 /usr/local,将文件夹名改为hive(为了后续的方便),并且修改文件权限给hadoop账户: 4.配置环境变量:为了方便使用,需把hive命令加入到环境变量中去,使用vim编辑器打开.bashrc文件,命令如下: 5.保存退出后,运行如下命令使配置立即生效: 6.修改/usr/local/hive/conf下的配置文件,该目录下的文件有: 二.在Ubuntu中安装并配置mysql 1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装: 2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器: 3.确认mysql安装成功且可正常启动之后,需下载mysql jdbc的包,地址为: https://downloads.mysql.com/archives/c-j/ 4.下载完成之后,同样,解压缩: 5.启动mysql: 6.在mysql shell界面,新建hive数据库(这个hive数据库与hive-site.xml中localhost:3306/hive的hive对应,用来保存hive元数据): 7.配置mysql允许hive接入: 8.至此,hive和mysql都已经安装配置完毕,可以尝试启动hive,注意hive是hadoop之上的,所以要先启动hadoop: 9.启动进入Hive的交互式执行环境以后,会出现如下命令提示符: 一.Hive的安装和配置 1.Hive并不是hadoop自带的组件,因此我们需要去下载hive,此次课我们使用hive 1.2.1版本,下载地址为: http://archive.apache.org/dist/hive/hive-1.2.1/ 2.下载完成之后,安装包默认保存在下载文件夹中,解压安装包apache-hive-1.2.1-bin.tar.gz至路径 /usr/local,命令如下: sudo tar -zxf ~/下载/apache-hive-1.2.1-bin.tar.gz -C /usr/local 3.然后切换至目录 /usr/local,将文件夹名改为hive(为了后续的方便),并且修改文件权限给hadoop账户: cd /usr/local/ sudo mv apache-hive-1.2.1-bin hive sudo chown -R hadoop:hadoop hive4.配置环境变量:为了方便使用,需把hive命令加入到环境变量中去,使用vim编辑器打开.bashrc文件,命令如下: vim ~/.bashrc 在该文件最前面一行添加如下内容: export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin export HADOOP_HOME=/usr/local/hadoop 5.保存退出后,运行如下命令使配置立即生效: source ~/.bashrc6.修改/usr/local/hive/conf下的配置文件,该目录下的文件有:
首先将hive-default.xml.template重命名为hive-default.xml: cd /usr/local/hive/conf mv hive-default.xml.template hive-default.xml然后,使用vim编辑器新建一个配置文件hive-site.xml,命令如下: vim hive-site.xml在hive-site.xml中添加如下配置信息:
保存退出,Hive的配置完成 二.在Ubuntu中安装并配置mysql 1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装: sudo apt-get install mysql-server如果发现安装缓慢或者版本较低,可以先更新一下软件源以获得最新版本: sudo apt-get update过程中问到 y/n 一律 y:
安装过程会提示设置mysql root用户的密码,还是建议设置个简单的密码,比如我这里使用的还是hadoop,设置完成后等待自动安装即可。 2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器: service mysql start service mysql stop 在启动和关闭mysql的时候,都需要输入我们刚才设置的密码:
可以使用如下命令来确认mysql是否启动成功: sudo netstat -tap | grep mysqlmysql节点处于LISTEN状态表示启动成功: 3.确认mysql安装成功且可正常启动之后,需下载mysql jdbc的包,地址为: https://downloads.mysql.com/archives/c-j/ 4.下载完成之后,同样,解压缩: tar -zxvf mysql-connector-java-5.1.40.tar.gz
将解压完成之后,mysql-connector-java-5.1.40目录下的 mysql-connector-java-5.1.40-bin.jar 文件拷贝到/usr/local/hive/lib目录下: cp mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/hive/lib
复制完成之后如图: 5.启动mysql: service mysql start 登陆进入mysql shell界面: mysql -u root -p6.在mysql shell界面,新建hive数据库(这个hive数据库与hive-site.xml中localhost:3306/hive的hive对应,用来保存hive元数据): mysql> create database hive 7.配置mysql允许hive接入: mysql> grant all on *.* to hive@localhost identified by 'hive'; 此处表示,将所有数据库的所有表的所有权限赋给hive用户,后面的hive是配置hive-site.xml中配置的连接密码, 然后,用如下命令刷新mysql系统权限关系表: mysql> flush privileges; 8.至此,hive和mysql都已经安装配置完毕,可以尝试启动hive,注意hive是hadoop之上的,所以要先启动hadoop: ssh localhost cd /usr/local/hadoop ./sbin/start-dfs.sh jps cd /usr/local/hive ./bin/hive 9.启动进入Hive的交互式执行环境以后,会出现如下命令提示符:
可以在里面输入SQL语句,如果要退出Hive交互式执行环境,可以输入如下命令:
至此,本次课的操作,hive和mysql的安装配置完成 以上为本文全部内容。由于我是新手小白,如有错误请斧正。
|
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |