Ubuntu安装Sqoop

您所在的位置:网站首页 sqoop连接数据库 Ubuntu安装Sqoop

Ubuntu安装Sqoop

2022-03-23 15:35| 来源: 网络整理| 查看: 265

大数据学习路线图

Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目。 安装环境: 操作系统:Linux系统(Ubuntu14.04) sqoop版本:1.4.6 Hadoop:2.7.2 MySQL:5.7.15 注意:sqoop1与sqoop2完全不兼容,1.4.6及之前的版本是sqoop1,之后的是sqoop2

1. 下载并解压sqoop1.4.6 请登录Linux系统(本教程是使用hadoop用户名登录),然后,在Linux的浏览器(一般自带的是火狐Firefox浏览器)中,打开本网页,点击sqoop下载地址,下载Sqoop安装文件sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz。浏览器默认会被下载文件保存到当前登录用户的下载目录下面。 下面执行以下命令

cd ~ #进入当前用户的用户目录 cd 下载 #sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz文件下载后就被保存在该目录下面 sudo tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local #解压安装文件 cd /usr/local sudo mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop #修改文件名 sudo chown -R hadoop:hadoop sqoop #修改文件夹属主,如果你当前登录用户名不是hadoop,请修改成你自己的用户名

2. 修改配置文件sqoop-env.sh

cd sqoop/conf/ cat sqoop-env-template.sh >> sqoop-env.sh #将sqoop-env-template.sh复制一份并命名为sqoop-env.sh vim sqoop-env.sh #编辑sqoop-env.sh

修改sqoop-env.sh的如下信息

export HADOOP_COMMON_HOME=/usr/local/hadoop export HADOOP_MAPRED_HOME=/usr/local/hadoop export HBASE_HOME=/usr/local/hbase export HIVE_HOME=/usr/local/hive #export ZOOCFGDIR= #如果读者配置了ZooKeeper,也需要在此配置ZooKeeper的路径

3. 配置环境变量 打开当前用户的环境变量配置文件:

vim ~/.bashrc

在配置文件第一行键入如下信息:

export SQOOP_HOME=/usr/local/sqoop export PATH=$PATH:$SBT_HOME/bin:$SQOOP_HOME/bin export CLASSPATH=$CLASSPATH:$SQOOP_HOME/lib

保存该文件,退出vim编辑器。 然后,执行下面命令让配置文件立即生效:

source ~/.bashrc

4. 将mysql驱动包拷贝到$SQOOP_HOME/lib 下面要把MySQL驱动程序拷贝到$SQOOP_HOME/lib目录下,首先请在Linux系统的浏览器中请点击mysql驱动包下载地址下载驱动包。下载后,一般文件会被浏览器默认放置在当前用户的下载目录下,本教程采用hadoop用户登录Linux系统,因此,下载文件被默认放置在“/home/hadoop/下载”目录下面。 下面执行命令拷贝文件:

cd ~/下载 #切换到下载路径,如果你下载的文件不在这个目录下,请切换到下载文件所保存的目录 sudo tar -zxvf mysql-connector-java-5.1.40.tar.gz #解压mysql驱动包 ls #这时就可以看到解压缩后得到的目录mysql-connector-java-5.1.40 cp ./mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/sqoop/lib

5. 测试与MySQL的连接

首先请确保mysql服务已经启动了,如果没有启动,请执行下面命令启动:

service mysql start

然后就可以测试sqoop与MySQL之间的连接是否成功:

sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P

mysql的数据库列表显示在屏幕上表示连接成功,如下图: sqoop成功连接mysql



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3