hadoop运行环境搭建

您所在的位置:网站首页 虚拟机搭建教程 hadoop运行环境搭建

hadoop运行环境搭建

2023-06-17 03:38| 来源: 网络整理| 查看: 265

当开始着手实践 Hadoop 时,安装配置虚拟机环境往往会成为新手的一道门槛。尽管安装其实很简单,网站也有很多虚拟机安装安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情。(下面我将详细的介绍虚拟机安装与环境配置)

一. CentOS 7安装教程:

准备:

软件:VMware Workstation

镜像文件:CentOS-7-x86_64-DVD-1810.iso

1、文件–新建虚拟机–自定义

在这里插入图片描述

2、硬件兼容性–默认

在这里插入图片描述 3、稍后安装操作系统(需要在虚拟机安装完成之后,删除不需要的硬件,所以稍后安装操作系统) 在这里插入图片描述

4、选择客户端操作系统:客户机操作系统–Linux

版本–centos 64位

注意:版本一定要对应镜像文件版本,其中centos是32位,centos 64位则就是64位,windows系统应安装64位版本 在这里插入图片描述 5、命名虚拟机及其安装的位置(为了后面搭建集群我取名102,当然安装位置建议D盘) 在这里插入图片描述 6、处理器配置(CPU)–总处理器核心数一般为 4 在这里插入图片描述 7、 此虚拟机内存–一般2G 在这里插入图片描述 8、网络类型–NAT 在这里插入图片描述 1.VMnet1网口对应的是仅主机模式

2.VMnet8网口对应的是NAT模式

查看以上对应是在VMware workstation中的编辑-虚拟网络编辑器 在这里插入图片描述 9、选择I/O控制器类型(相对于硬盘)–默认

1.从硬盘到内存是I(input)

2.从内存在硬盘是O(output) 在这里插入图片描述 10、选择磁盘类型–默认

硬盘接口,家庭个人常用SATA类型,服务器常用SCSI类型 在这里插入图片描述 11、选择磁盘–创建新的虚拟磁盘(其他两个不常用) 在这里插入图片描述 12、指定磁盘容量–20G(是假的虚拟的不占主机内存) 在这里插入图片描述 13、指定磁盘文件(.vmdk)文件 在这里插入图片描述 14、完成 在这里插入图片描述 删除不需要的硬件–编辑虚拟机设置–删-USB控制器、声卡、打印机(可以使虚拟器启动的快一点)

删除之后 在这里插入图片描述 15、此时虚拟机中的硬件已经搭建完成 在这里插入图片描述 16、继续添加映像文件,选择设备中的CD/DVD(IDE)

在连接处选择–使用ISO映像文件–确定

在这里插入图片描述 17、进入CentOS安装界面 --选择第一项 Install CentOS 7 在这里插入图片描述 18、WELCOME TO CENTOS 7.

设置语言–推荐使用English–点击Continue 在这里插入图片描述 19、直接下一步,这里选择的最小化安装,是没有图形界面的,毕竟咋们也不需要图形界面是吧,全部命令行操作。 在这里插入图片描述 20、设置密码 在这里插入图片描述 21.等待安装,一般几分钟就完成了。 在这里插入图片描述 21.使用root加自己设置的密码登录即可。 在这里插入图片描述 面向过程是一种以事件为中心的编程思想,编程的时候把解决问题的步骤分析出来,然后用函数把这些步骤实现,在一步一步的具体步骤中再按顺序调用函数。

二、 配置网络

1.编辑centos中的网络配置文件

vi /etc/sysconfig/network-scripts/ifcfg-ens33

2.内容替换如下 在这里插入图片描述 需要修改的几个地方:

BOOTPROTO改为staticONBOOT改为yes添加IPADDR,注意和下图Gateway IP相比较设置添加Gateway和NAT Setting的Gateway IP一样添加DNS1和NAT Setting的Gateway IP一样 在这里插入图片描述 3.重启网络服务 service network restart 或者重启 reboot

4.查看ip

ip addr 或者 ifconfig

若是没有ifconfig 使用 yum install network-tools 安装服务

5.若是ping www.baidu.com 不通

添加DNS服务

vi /etc/resolv.conf

在文件中添加如下两行:

nameserver 8.8.8.8 nameserver 8.8.4.4 三、 修改主机名 hostnamectl set-hostname hadoop102

在这里插入图片描述

四、关闭防火墙 sudo systemctl stop firewalld 临时关闭 sudo systemctl disable firewalld ,然后reboot 永久关闭 sudo systemctl status firewalld 查看防火墙状态。

在这里插入图片描述

五、创建hadoop用户

这条命令创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell。

sudo useradd -m hadoop -s /bin/bash

接着使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次 密码:

sudo passwd hadoop

可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:

sudo adduser hadoop sudo

在这里插入图片描述

六、总结

我们虚拟机环境就基本准备好了,在后面我们就慢慢来安装jdk,安装hadoop,单机,伪分布式,慢慢往下学起走。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3