Hadoop+HBase+ZooKeeper分布式集群环境搭建 |
您所在的位置:网站首页 › hadoop集群搭建三个节点 › Hadoop+HBase+ZooKeeper分布式集群环境搭建 |
一、环境说明
集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下: Hostname IP User Password master 192.168.59.133 hadoop 123456 slave1 192.168.59.134 hadoop 123456 slave2 192.168.59.135 hadoop 123456三个节点均使用CentOS 6.5系统,为了便于维护,集群环境配置项最好使用相同用户名、用户密码、相同hadoop、hbase、zookeeper目录结构。 注:可以通过编辑/etc/sysconfig/network文件来修改 hostname 。 二、准备工作 2.1 安装JDK在三台机器上配置JDK环境,下载 jdk-8u51-linux-x64.rpm 文件直接安装: $ rpm -ivh jdk-8u51-linux-x64.rpm修改配置文件 vim /etc/profile: export JAVA_HOME=/usr/java/jdk1.8.0_51 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar然后重新加载配置文件使之生效: $ source /etc/profile 2.2 添加Hosts映射关系分别在三个节点上添加hosts映射关系: $ vim /etc/hosts添加的内容如下: 192.168.59.133 master 192.168.59.134 slave1 192.168.59.135 slave2 2.3 集群之间SSH无密码登陆CentOS默认安装了ssh,如果没有你需要先安装ssh 。 集群环境的使用必须通过ssh无密码登陆来执行,本机登陆本机必须无密码登陆,主机与从机之间必须可以双向无密码登陆,从机与从机之间无限制。 2.3.1 设置master无密码自登陆 主要有三步:①生成公钥和私钥、②导入公钥到认证文件、③更改权限 $ ssh-keygen -t rsa -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 700 ~/.ssh && chmod 600 ~/.ssh/*测试,第一次登录可能需要yes确认,之后就可以直接登录了: $ ssh localhost Last login: Sat Jul 18 22:57:44 2015 from localhost对于 slave1 和 slave2,进行无密码自登陆设置,操作同上。 2.3.2 设置主机->从机的无密码登录 $ cat ~/.ssh/id_rsa.pub | ssh hadoop@slave1 'cat - >> ~/.ssh/authorized_keys' $ cat ~/.ssh/id_rsa.pub | ssh hadoop@slave2 'cat - >> ~/.ssh/authorized_keys'测试: [hadoop@master ~]$ ssh hadoop@slave1 Last login: Sat |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |