Hadoop的安装实验报告 |
您所在的位置:网站首页 › hadoop伪分布式安装实验报告 › Hadoop的安装实验报告 |
一、实验目的
1. 掌握Linux虚拟机的安装方法。Hadoop在Linux操作系统上运行可以发挥最佳性能。鉴于目前很多读者正在使用Windows操作系统,因此,为了完成本书的后续实验,这里有必要通过本实验让读者掌握在Windows操作系统上搭建Linux虚拟机的方法。 2. 掌握Hadoop的伪分布式安装方法。很多读者并不具备集群环境,需要在一台机器上模拟一个小的集群,因此,需要通过本实验让读者掌握在单机上进行Hadoop的伪分布式安装方法。 二、实验平台操作系统: Windows 系统或者CentOS(推荐)。 虚拟机软件:推荐使用的开源虚拟机软件为VMware Workstation Player。 VMware Workstation Player是一款桌面虚拟化应用,无需重新启动即可在同一计算机上运行一个或多个操作系统。凭借其简单的用户界面、无可比拟的操作系统支持和移动性,用户可以比以往更轻松地使用公司桌面投入工作。可虚拟的系统包括Windows、MacOS X、Linux、OpenBSD、Solaris、 IBM OS2,甚至Android 4.0系统等。读者可以在Windows系统上安装VMware Workstation Player软件,然后在VMware Workstation Player上安装并且运行Linux操作系统。本次实验默认的Linux发行版为CentOS7。 三、实验内容和要求 1.下载相关软件如果读者正在使用Linux 操作系统,可以跳过本步,不需要下载相关软件;如果正在使用Windows操作系统,请下载VMware Workstation Player软件和CentOS7镜像文件。 VMware Workstation Player软件的下载地址: https://www.vmware.com/products/workstation-player/workstation-player-evaluation.html CentOS7的镜像文件下载地址: https://www.centos.org/download/。 2.安装Linux虚拟机如果读者正在使用Linux操作系统,则不需要了解Windows系统上的Linux虚拟机安装方法;如果正在使用Windows操作系统,则需要在Windows系统上安装Linux虚拟机。首先,在Windows系统上安装虚拟机软件VMware Workstation Player软件;其次,在虚拟机软件VMware Workstation Player上安装CentOS7操作系统。 3.进行Hadoop伪分布式安装在Linux环境下完成伪分布式环境的搭建,并运行Hadoop自带的WordCount实例检测是否运行正常。 步骤一、创建虚拟机 选择新建虚拟机
2.选择虚拟机类型
3.选择虚拟机磁盘空间
4更改虚拟机硬件环境 步骤二、安装Centos7操作系统 将ISO文件装入CD/DVD 选择安装语言 选择安装位置、安装类型 设置网络环境 设置root用户密码 安装文件 启动后设置 步骤三、设置CentOS7更新源 1. 下载repo文件(以163源为例) wget http://mirrors.163.com/.help/CentOS7-Base-163.repo 2. 备份并替换系统的repo文件 cp CentOS7-Base-163.repo /etc/yum.repos.d/ cd /etc/yum.repos.d/ mv CentOS-Base.repo CentOS-Base.repo.bak mv CentOS7-Base-163.repo CentOS-Base.repo
3. 执行yum源更新命令 yum clean all yum makecache yum update
步骤四、更改用户为sudoer用户 1. 切换到root用户 su – 2. 修改/etc/sudoers文件的权限,添加写权限 chmod 660 /etc/sudoers 3. 编辑sudoers文件,添加hadoop用户的权限 hadoop ALL=(ALL) ALL
4. 恢复sudoers文件原始权限 chmod 440 /etc/sudoers 5. 切回hadoop用户去测试一下,是否可适用sudo命令 步骤五、安装Java 一、压缩包的安装1. 去官网下载对应版本的压缩包 2. 解压缩 tar -zxvf 压缩包名 3. 将解压缩的目录移动到指定位置 4. 修改系统配置文件 5. update-alternatives 二、yum在线安装1. 查看支持的在线安装版本 yum -y list java* 2. 在线安装java yum -y install 安装应用名称 3. 找到安装的路径 /usr/lib/jvm/……
4. 写入JAVA_HOME并修改PATH(在配置文件中bashrc或profile) vi ~/.bashrc JAVA_HOME=/usr/lib/jvm/…… PATH=$PATH:$JAVA_HOME/bin source 配置文件
6. 更新java update-alternatives --install /usr/bin/java java /usr/lib/jvm/……/bin/java 300 update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/……/bin/javac 300 update-alternatives --config java 7.查看JAVA java -version 步骤六、设置SSH免密登陆1. 生成密钥 ssh-keygen -t rsa 2.复制公钥到authorized_keys ~/.ssh/authorized_keys cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 3. 测试免密登陆 ssh 机器名 步骤七、安装和配置Hadoop 一、hadoop程序的安装 1. 下载hadoop hadoop.apache.org (2.7.7) 2. 解压 tar -zxvf Hadoop的压缩包 3. 将解压后的目录移动指定目录 mv 解压后的目录 /usr/local/Hadoop 4. 修改系统环境变量 vi ~/.bashrc
5. 更新配置文件 source 配置文件
6. 检验 hadoop version 二、hadoop的配置1. 伪分布式的配置: core-site.xml hadoop.tmp.dir file:/usr/local/hadoop/tmp fs.defaultFS hdfs://localhost:9000 hdfs-site.xml dfs.replication 1 dfs.namenode.name.dir file:/usr/local/Hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/Hadoop/tmp/dfs/data 三、格式化分布式文件系统hdfs namenode -format 四、启动hdfsstart-dfs.sh 五、验证 jps 或浏览器中输入:localhost:9870
|
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |