Hadoop集群安装配置和详细搭建过程 |
您所在的位置:网站首页 › 虚拟机配置jdk › Hadoop集群安装配置和详细搭建过程 |
Linux系统安装部署 (1)配置环境准备 Cento7镜像文件(尽量下载最小的版本)资源网站:清华大学开源软件镜像站 | Tsinghua Open Source Mirror(2)系统安装 2.1新建虚拟机并且选择安装程序光盘映像文件(iso)
2.2虚拟机配置如下 三、Centos7系统安装 3.1开启虚拟机
3.2安装Centos7系统
3.3进行配置
3.4进行登录
四、静态网络配置 4.1 检查网络的连通性 命令:ping www.baidu.com 4.2 打开ssh服务 4.2.1查看SSH是否安装 rpm -qa | grep ssh
Centos7 默认安装了ssh包 4.2.2安装缺失的包、并配置SSH yum install openssh*
完成!!!! 4.2.3注册使用服务,重启SSH服务systemctl enable sshdservice sshd restart
4.3配置虚拟机的网络
4.4修改网络配置文件(ifcfg-ens33) 命令:vi /etc/sysconfig/network-scripts/ifcfg-ens33
Ps:如果配置完成后无法连通网络,添加centos7的mac地址到ifcfg-ens33中。 4.5 重启网络服务,查看配置是否成功
4.6重启虚拟机后,查看是否连通网络 命令:重启reboot ;查看ifconfig;检查ping www.baidu.com 五、虚拟机完整克隆配置 5.1克隆虚拟机
5.2修改主机名
5.3修改网络配置文件
5.4重新启动网络配置
六、配置hosts文件和ssh免密登录 1.修改hosts配置文件(所有虚拟机都需要配置此文件,此处只列举一台虚拟机) 命令:vi /etc/hosts
2.生成秘钥文件(四次回车) 命令:ssh-keygen -t rsa
3.将本机公钥文件复制到其它虚拟机上(接收方需先开机) 命令:ssh-copy-id yangjian01 ssh-copy-id yangjian02 ssh-copy-id yangjian03 ssh-copy-id yangjian00
4.上一步的命令在虚拟机yangjian00 yangjian01 yangjian02,yangjian03都需要执行,保证三台主机都能够免密登录 5.测试是否免密登录成功(ssh yangjian01)
成功!!!! 七、Hadoop集群配置 1.在所有centos7虚拟机根目录下新建文件夹export,export文件夹中新建data、servers和software文件 命令: mkdir -p /export/data mkdir -p /export/servers mkdir -p /export/software 2.准备安装包 3.下载安装软件SecureCRT和FX 4.利用FX将安装包传输到centos7虚拟机根目录下/export/software文件夹内
5.安装JDK(所有虚拟机都要配置) 5.1 解压JDK cd /export/software tar -zxvf jdk-8u144-linux-x64.tar.gz -C /export/servers/ 5.2配置环境变量 编辑文件:vi /etc/profile #tip:在配置文件末尾追加 export JAVA_HOME=/export/servers/ jdk-1.8.4-144 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME PATH CLASSPATH 5.3 使配置文件生效
5.4 查看是否配置成功
6.安装Hadoop(所有虚拟机都要配置) 6.1 解压hadoop cd /export/software tar -zxvf hadoop-2.7.3.tar.gz -C /export/servers/ 6.2 打开配置文件 vi/etc/profile 6.3 配置环境变量 #tip:在文件末尾追加 export HADOOP_HOME=/export/servers/hadoop-2.7.3 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
6.4 使配置文件生效
6.5查看是否配置成功
7.Hadoop集群配置 7.1 进入配置文件目录 命令:cd /export/servers/hadoop-2.7.3/etc/hadoop/
7.2 修改hadoop-env.sh文件 命令:vi hadoop-env.sh #tip:找到相应位置,添加这段话 export JAVA_HOME=/export/servers/jdk-1.8.4-144
7.3 修改core-site.xml文件(命令:vi core-site.xml) #tip:下图中乱码部分为注释代码,可以删掉,不影响
fs.defaultFS
hdfs://yangjian00:9000
hadoop.tmp.dir /export/servers/hadoop-2.7.3/tmp
7.4 修改hdfs-site.xml文件(命令:vi hdfs-site.xml)
dfs.replication 3
dfs.namenode.secondary.http-address yangjian01:50090
7.5 修改mapred-site.xml文件(命令:vi mapred-site.xml) 7.5.1复制模板文件(命令:cp mapred-site.xml.template mapred-site.xml) 7.5.2编辑文件
mapreduce.framework.name yarn
7.6 修改yarn-site.xml文件(命令:vi yarn-site.xml)
yarn.resourcemanager.hostname hadoop01
yarn.nodemanager.aux-services mapreduce_shuffle
|
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |