Apache Impala安装部署 |
您所在的位置：网站首页 › impala开源 › Apache Impala安装部署 |
Apache Impala安装部署
|
集群规划 
主节点安装 yum install -y impala impala-server impala-state-store impala-catalog impala-shell从节点安装 yum install -y impala-server 修改hive配置可在node-1机器上进行配置，然后scp给其他2台机器。 vim /export/servers/hive/conf/hive-site.xml javax.jdo.option.ConnectionURL jdbc:mysql://node-1:3306/hive?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword hadoop hive.cli.print.current.db true hive.cli.print.header true hive.server2.thrift.bind.host node-1 hive.metastore.uris thrift://node-1:9083 hive.metastore.client.socket.timeout 3600将hive安装包cp给其他两个机器。 cd /export/servers/ scp -r hive/ node-2:$PWD scp -r hive/ node-3:$PWD 修改hadoop配置所有节点创建下述文件夹 mkdir -p /var/run/hdfs-sockets修改所有节点的hdfs-site.xml添加以下配置，修改完之后重启hdfs集群生效 vim etc/hadoop/hdfs-site.xml dfs.client.read.shortcircuit true dfs.domain.socket.path /var/run/hdfs-sockets/dn dfs.client.file-block-storage-locations.timeout.millis 10000 dfs.datanode.hdfs-blocks-metadata.enabled truedfs.client.read.shortcircuit 打开DFSClient本地读取数据的控制，dfs.domain.socket.path是Datanode和DFSClient之间沟通的Socket的本地路径。 把更新hadoop的配置文件，scp给其他机器。 cd /export/servers/hadoop-2.7.5/etc/hadoop scp -r hdfs-site.xml node-2:$PWD scp -r hdfs-site.xml node-3:$PWD注意：root用户不需要下面操作，普通用户需要这一步操作。给这个文件夹赋予权限，如果用的是普通用户hadoop，那就直接赋予普通用户的权限，例如： chown -R hadoop:hadoop /var/run/hdfs-sockets/因为这里直接用的root用户，所以不需要赋权限了 重启hadoop、hive在node-1上执行下述命令分别启动hive metastore服务和hadoop。 cd /export/servers/hive nohup bin/hive --service metastore & nohup bin/hive --service hiveserver2 & cd /export/servers/hadoop-2.7.5/ sbin/stop-dfs.sh | sbin/start-dfs.sh 复制hadoop、hive配置文件impala的配置目录为/etc/impala/conf，这个路径下面需要把core-site.xml，hdfs-site.xml以及hive-site.xml。所有节点执行以下命令 cp -r /export/servers/hadoop-2.7.5/etc/hadoop/core-site.xml /etc/impala/conf/core-site.xml cp -r /export/servers/hadoop-2.7.5/etc/hadoop/hdfs-site.xml /etc/impala/conf/hdfs-site.xml cp -r /export/servers/hive/conf/hive-site.xml /etc/impala/conf/hive-site.xml |
【本文地址】
今日新闻 |
推荐新闻 |