|
Hadoop集群搭建(完全分布式)实验环境∎系统:64位Linux系统(ubuntu-12.04.3-desktop-amd.iso)∎ JDK:64位 jdk-6u45-linux-x64.bin∎ Hadoop版本:hadoop-1.2.1.tar.gz∎ Eclipse版本:eclipse-standard-kepler-R-linux-gtk-64.tar.gz∎ Hadoop插件:hadoop-eclipse-plugin-1.2.1.jar∎硬件环境:三台PC机Hadoop只能用JDK1.6以上版本安装完Linux系统Ubuntu之后,然后做接下来的工作:一、准备安装环境本机环境是安装windows7和Ubuntu双系统。集群环境为一个master,两个slave,节点代号分别为master、slave1、slave2。要保证三个节点IP地址可以ping通,并在/etc/hosts中进行配置机器名IP地址作用Master192.168.1.120NameNode、JobTrackerSlave1192.168.1.100DataNode、TaskTrackerSlave2192.168.1.110DataNode、TaskTracker下面开始安装环境1、启动root超级用户与其他linux版本不同,Ubuntu安装时默认使用一个非root用户,在首次进入系统后,需要启用root超级用户,以便后面获得一些权限。方法:以普通用户登录,进入终端(Ctrl+Alt+T)输入命令:sudo passwd root然后会提示输入密码:root若是想以root用户登录系统,则需要在lightdm.conf中写入以下语句:vi /etc/lightdm/lightdm.confgreeter-show-manual-login=true # 禁用客人会话allow-guest=false # 开启图形登陆如下图所示完成之后重启系统,以root用户名和密码登录进行以后所有的操作;没有配置lightdm.conf的话,可以在普通用户登陆的情况下,控制台中使用su root 进行账户切换。2、配置节点host文件,修改主机名hosts文件是最重要的配置文件,在hosts文件中会配置namenode和datanode的ip方法:按照在所有namenode和datanode节点的/etc/hosts文件中添加节点ip和对应的机器名,所有节结点的hosts文件相同:既包含namenode的IP又包含datanode的IP vi /etc/hosts 其中各个节点master、slave1、slave2的配置如下: 192.168.1.120 master 192.168.1.100 slave1 192.168.1.110 slave2 若是机器名和别名不一致,则可以将机器名修改和对应别名一致,如本集群的master主机名为student-OptiPlex-380,则可将其修改为master即可;或者直接在hosts里将其机器名也配置上,配置结果如图 3、添加用户在root权限下使用以下命令添加hadoop用户,在三个虚拟机上都添加这个用户sudo adduser hadoop如下图所示4、关闭Linux防火墙推荐关闭Linux防火墙,原因是,遇到很多很多蛋疼的问题都与防火墙有关,所以推荐关闭防火墙,目前没找到什么好的办法 方法: 命令行输入 sudo ufw disable二、安装JDK Hadoop只能用JDK1.6以上版本1、下载JDK64位 jdk-6u45-linux-x64.bin下载地址hnetwork/java/javasebusiness/downloads/java-archive-downloads-javase6-419409.html#jdk-6u45-oth-JPR2、解压安装进入文件所在目录,将文件拷贝到/home/hadoop下,如下图所示然后修改jdk安装包权限执行: ./jdk-6u45-linux-x64.bin此处解压到: /home/hadoop/jdk1.6.0_453、修改环境变量切换到root用户下su root进入vi /etc/profile 然后在profile最后添加 export JAVA_HOME=/home/hadoop/jdk1.6.0_45 export PATH=$P
|