将hive数据库中的数据导入到MySQL中的方式 |
您所在的位置:网站首页 › hive如何导出数据库所有表的建表语句 › 将hive数据库中的数据导入到MySQL中的方式 |
天气炎热,写篇文章降降温,防止中暑。 大数据的数据转置过程中,经常需要将hive数据库中的数据迁移到MySQL等关系型数据库中。而目前市场上成熟的方案已经比比皆是,如利用sqoop的方式、kettle等中间工具。 今天正好闲来无事,考虑在不利于以上2种方式的情况下,成功将hive数据库中的数据导入到了MySQL中。以下为实例。 首先附上一张思路图: 二、使用liqx实例,在其中建一张名为coordinate的表,通过“\t”的方式切割字段。(生产环境中涉及到每天的落地日志时,可以以年月日的方式来建立分区“partition”) ①、全国城市坐标(经度纬度):coordinate CREATE TABLE `coordinate`( `code` string, `name` string, `longitude` string, `latitude` string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';附上分区(“year”、“month”、“day”)代码: CREATE TABLE `coordinate`( `code` string, `name` string, `longitude` string, `latitude` string) partitioned by (year string,mounth string,day string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';三、使用load方式将hdfs中的coordinate.txt文件导入到hive数据库中 load data inpath '/user/hive/warehouse/coordinate.txt' into table coordinate;四、查看一下数据,总共3521行数据 六、编写shell脚本,先查询hive,并将得到的结果重定向为txt文件,再将txt文件load到MySQL数据库中 ①:创建一个名为coordinate.sh的shell脚本,并给予可执行权限 touch coordinate.sh chmod +x coordinate.sh②:查询hive,并将得到的结果重定向为txt文件 hive -e "select * from liqx.coordinate" > /home/data/etl/coordinate/coordinate.txt③:再将txt文件load到MySQL数据库中 mysql -h192.168.133.135 -uroot -proot test -e "load data local INFILE '/home/data/etl/coordinate/coordinate.txt' INTO TABLE coordinate FIELDS TERMINATED BY '\t'"④:再在各语句开始和结尾处进行时间监测,渲染一下后得到shell脚本如下
|
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |