Hadoop在windows环境下运行搭建方式、常见问题及解决方案。

您所在的位置:网站首页 hadoop在windows可以用吗 Hadoop在windows环境下运行搭建方式、常见问题及解决方案。

Hadoop在windows环境下运行搭建方式、常见问题及解决方案。

2024-07-05 04:07| 来源: 网络整理| 查看: 265

准备环境   Hadoop下载

        地址:Index of /hadoop/common

        选择自己需要的版本下载即可,如图所示:

        

 Jdk下载

地址:

Java Downloads | Oracle

安装步骤参考:

JDK1.8下载与安装(完整的图文教程)_zam183的博客-CSDN博客

注意:jdk选择安装路径时文件目录不要包含空格。

Winutils-master下载

地址:

https://github.com/cdarlint/winutils

作用:hadoop主要基于linux编写,这个winutil.exe主要用于模拟linux下的目录环境。因此hadoop放在windows下运行的时候,需要这个辅助程序才能运行。

下载后将winutils-master\hadoop-3.1.2\bin目录下的winutils.exe和hadoop.dll文件复制到hadoop-3.1.3\bin目录下,将hadoop.dll复制到C:\Windows\System32中。

2.准备环境

Jdk安装路径带有空格

异常信息:

Error: JAVA_HOME is incorrectly set.

解决办法:

如果jdk安装是默认目录,修改Hadoop配置文件,找到etc/hadoop/hadoop-env.cmd文件,将文件中的set JAVA_HOME=%JAVA_HOME%修改为set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_191(中间不能有空格)。卸载重新安装JDK,保证安装路径中不包含空格。

Hadoop.dll文件

异常信息:

java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)

解决办法:

将hadoop.dll复制到C:\Windows\System32中即可。

 

 



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3