【Hive】介绍与安装 |
您所在的位置:网站首页 › 如何安装data文件 › 【Hive】介绍与安装 |
介绍
Hive是由Facebook开源,基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。 Hive是一个Hadoop客户端,用于将HQL(Hive SQL)转化成MapReduce程序。 (1)Hive中每张表的数据存储在HDFS (2)Hive分析数据底层的实现是MapReduce(也可配置为Spark或者Tez) (3)执行程序运行在Yarn上 架构 用户接口:ClientCLI(command-line interface)命令行 只能在安装hive 的机子上用。 元数据:Metastore元数据包括:数据库(默认是default)、表名、表的拥有者、列/分区字段、表的类型(是否是外部表)、表的数据所在目录等。 只提供接口,不储存数据。 默认存储在自带的derby数据库中,由于derby数据库只支持单客户端访问,生产环境中为了多人开发,推荐使用MySQL存储Metastore。 驱动器:Driver运行在命令行,或者hive service2 (1)解析器(SQLParser):将SQL字符串转换成抽象语法树(AST) (2)语义分析(Semantic Analyzer):将AST进一步划分为QeuryBlock (3)逻辑计划生成器(Logical Plan Gen):将语法树生成逻辑计划 (4)逻辑优化器(Logical Optimizer):对逻辑计划进行优化 (5)物理计划生成器(Physical Plan Gen):根据优化后的逻辑计划生成物理计划 (6)物理优化器(Physical Optimizer):对物理计划进行优化,mp rd=>mp (7)执行器(Execution):执行该计划,得到查询结果并返回给客户端 Hadoop使用HDFS进行存储 安装http://archive.apache.org/dist/hive/ tar -zxvf /opt/software/apache-hive-3.1.3-bin.tar.gz -C /opt/module/ mv /opt/module/apache-hive-3.1.3-bin/ /opt/module/hive sudo vim /etc/profile.d/my_env.sh #HIVE_HOME export HIVE_HOME=/opt/module/hive export PATH=$PATH:$HIVE_HOME/bin source /etc/profile.d/my_env.sh初始化元数据库(默认是derby数据库) bin/schematool -dbType derby -initSchema启动 bin/hive测试 hive> show databases; hive> show tables; hive> create table stu(id int, name string); hive> insert into stu values(1,"ss"); hive> select * from stu;HDFS的路径 /user/hive/warehouse/stu |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |