|
背景
最近由于某些原因需要把一些原本 location 在 oss (阿里云云对象存储)上的 hive 数据迁移到cosn（腾讯云对象存储）。目前一直在增量进行同步，在迁移之前需要进行数据的对比。至于对比的方法计划有两种，一种是对比 oss 和 cosn 对应文件下的文件所占磁盘空间大小，即使用 hadoop fs -du -s -h 路径 命令，然后对比相应表 location 的数据大小是否一直即可；另外一种是直接对相应的 hive 表进行 count 操作，表的 location 地址可以通过 hive server2 或者 spark thrift server 获取相应的元数据信息。
生成对比脚本
根据 hive server2 或者 spark thrift server 获取的分区、location、库名、表名等信息生成了数据量和所占磁盘空间的 shell 语句。这里的数据量语句最终生成到一个文件中：count.sh
count=`spark-sql --master yarn --executor-memory 8G --executor-cores 4 --num-executors 2 --driver-memory 4G -e "select count(1) from bi_ods.table1 "`
echo bi_ods.table1:$count >>/Users/scx/work/git/company/utils/count.log
count=`spark-sql --master yarn --executor-memory 8G --executor-cores 4 --num-executors 2 --driver-memory 4G -e "select count(1) from bi_ods.table2 "`
echo bi_ods.table2:$count >>/Users/scx/work/git/company/utils/count.log
count=`spark-sql --master yarn --executor-memory 8G --executor-cores 4 --num-executors 2 --driver-memory 4G -e "select count(1) from bi_ods.table3 where dt >= 20191020 and dt |