将hive数据库中的数据导入到MySQL中的方式

您所在的位置:网站首页 hive如何导出数据库所有表的建表语句 将hive数据库中的数据导入到MySQL中的方式

将hive数据库中的数据导入到MySQL中的方式

#将hive数据库中的数据导入到MySQL中的方式| 来源: 网络整理| 查看: 265

天气炎热,写篇文章降降温,防止中暑。 大数据的数据转置过程中,经常需要将hive数据库中的数据迁移到MySQL等关系型数据库中。而目前市场上成熟的方案已经比比皆是,如利用sqoop的方式、kettle等中间工具。 今天正好闲来无事,考虑在不利于以上2种方式的情况下,成功将hive数据库中的数据导入到了MySQL中。以下为实例。

首先附上一张思路图: 在这里插入图片描述 命题:在Hadoop的/file目录中,有一个全国各个城市的坐标(经纬度)文件(coordinate.txt),已利用“\t”分割。现在需要将其存入到hive数据库中,再将hive中的数据导入到MySQL数据库中。 在这里插入图片描述 一、在hive中建立一个实例:如liqx

create database liqx;

二、使用liqx实例,在其中建一张名为coordinate的表,通过“\t”的方式切割字段。(生产环境中涉及到每天的落地日志时,可以以年月日的方式来建立分区“partition”) ①、全国城市坐标(经度纬度):coordinate

CREATE TABLE `coordinate`( `code` string, `name` string, `longitude` string, `latitude` string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

附上分区(“year”、“month”、“day”)代码:

CREATE TABLE `coordinate`( `code` string, `name` string, `longitude` string, `latitude` string) partitioned by (year string,mounth string,day string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

三、使用load方式将hdfs中的coordinate.txt文件导入到hive数据库中

load data inpath '/user/hive/warehouse/coordinate.txt' into table coordinate;

四、查看一下数据,总共3521行数据 在这里插入图片描述 五、在MySQL数据库中创建一张名为“coordinate”的表 在这里插入图片描述 #建表语句#

CREATE TABLE `coordinate` ( `code` varchar(12) NOT NULL COMMENT '编码', `name` varchar(50) DEFAULT NULL COMMENT '城市名称', `longitude` double DEFAULT NULL COMMENT '经度', `latitude` double DEFAULT NULL COMMENT '纬度', PRIMARY KEY (`code`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

六、编写shell脚本,先查询hive,并将得到的结果重定向为txt文件,再将txt文件load到MySQL数据库中

①:创建一个名为coordinate.sh的shell脚本,并给予可执行权限

touch coordinate.sh chmod +x coordinate.sh

②:查询hive,并将得到的结果重定向为txt文件

hive -e "select * from liqx.coordinate" > /home/data/etl/coordinate/coordinate.txt

③:再将txt文件load到MySQL数据库中

mysql -h192.168.133.135 -uroot -proot test -e "load data local INFILE '/home/data/etl/coordinate/coordinate.txt' INTO TABLE coordinate FIELDS TERMINATED BY '\t'"

④:再在各语句开始和结尾处进行时间监测,渲染一下后得到shell脚本如下 在这里插入图片描述 七、保存出后执行coordinate.sh文件(执行过程中可再打开一个窗口通过hadoop job -list 查看Hadoop任务) 在这里插入图片描述在这里插入图片描述 八、通过ll命令可查看到目录中多了一个coordinate.txt文件,即shell脚本中执行hive查询后得到的内容,通过more coordinate.txt命令可对文件内容进行查看 在这里插入图片描述 九、再去MySQL中进行查询,验证数据是否被load到coordinate表中 在这里插入图片描述 十、比较hive、txt、MySQL中数据量是否一致

select count(1) from liqx.coordinate; wc -l coordinate.txt select count(1) from test.coordinate;

在这里插入图片描述在这里插入图片描述 在这里插入图片描述 然后洗澡睡觉,防掉发、防猝死。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3