ubuntu下hadoop安装与配置【初学者】

您所在的位置：网站首页 › hadoop格式化成功怎么查看 › ubuntu下hadoop安装与配置【初学者】

ubuntu下hadoop安装与配置【初学者】

2023-09-08 13:38| 来源: 网络整理| 查看: 265

安装前的建议：

将vm虚拟机连上网络后，在xshell6中连接ubuntu，然后进行编写，因为xshell6可以直接复制windows代码，如果在ubuntu桌面就必须纯手打代码，无法将外部浏览器的内容复制进去。利用xftp6可以进行windows与linux文件传输，比如在windows系统安装了jdk1.8要上传到linux系统，则需要用到xftp6,（前提也是xftp6要连接到Linux）点我下载xshell6与xftp6如果没有下载xshell6和xftp6也可以完成文件的传输，在windows系统中下载好jdk1.8然后登陆QQ邮箱发送给自己，然后进入ubuntu中的firefox浏览器登陆邮箱进行下载，下载好之后利用linux命令移动到 /usr/local/java（具体目录看jdk安装教程）

一、创建hadoop用户

$ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户，并使用/bin/bash作为shell $ sudo passwd hadoop #为hadoop用户设置密码，之后需要连续输入两次密码 $ sudo adduser hadoop sudo #为hadoop用户增加管理员权限 $ su - hadoop #切换当前用户为用户hadoop $ sudo apt-get update #更新hadoop用户的apt,方便后面的安装

二、安装SSH,设置SSH无密码登陆

$ sudo apt-get install openssh-server #安装SSH server $ ssh localhost #登陆SSH，第一次登陆输入yes $ exit #退出登录的ssh localhost $ cd ~/.ssh/ #如果没法进入该目录，执行一次ssh localhost $ ssh-keygen -t rsa　

输入完 $ ssh-keygen -t rsa　语句以后，需要连续敲击三次回车，如下图

在这里插入图片描述其中，第一次回车是让KEY存于默认位置，以方便后续的命令输入。第二次和第三次是确定passphrase，相关性不大。两次回车输入完毕以后，如果出现类似于下图所示的输出，即成功：

在这里插入图片描述然后继续输入：

$ cat ./id_rsa.pub >> ./authorized_keys #加入授权 $ ssh localhost #此时已不需密码即可登录localhost，并可见下图。如果失败则可以搜索SSH免密码登录来寻求答案

在这里插入图片描述

在此之前先将jdk安装好

三、安装hadoop-2.6.0 点我下载hadoop-2.7.6.tar.gz 下载好以后进行安装。（也可以在linux中安装，利用wget \ 命令）

$ sudo tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local #解压到/usr/local目录下 $ cd /usr/local $ sudo mv hadoop-2.6.0 hadoop #重命名为hadoop $ sudo chown -R hadoop ./hadoop

安装好后，在hadoop用户下给hadoop配置环境变量，若用户不是hadoop则输入 su - hadoop切换用户切换完成后输入 vi /etc/profile（权限要求root）在文件底部添加

export HADOOP_HOME=/usr/local/hadoop export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

：wq 保存文件后执行source /etc/profile使设置生效。

！这一步容易将PATH路径覆盖，导致linux命令无法使用，所以要小心一点。

安装完成后输入 hadoop version 查看在这里插入图片描述出现以上图片情况表示hadoop安装完成。

四、伪分布式配置

1、先将jdk1.8的路径添加到hadoop-env.sh中，若权限不够则进入到hadoop-env.sh上级目录后再开始添加。在这里插入图片描述或者输入vi hadoop-env.sh 进入到此文件，在底部添加：export JAVA_HOME=/usr/java/jdk1.8（这是我的路径，若不知道jdk1.8装在哪里，则输入echo $JAVA_HOME 回车查询）然后wq进行保存。