hadoop3访问hdfs web控制页面遇到的各种问题总结

您所在的位置:网站首页 win10打印设置页面进不去 hadoop3访问hdfs web控制页面遇到的各种问题总结

hadoop3访问hdfs web控制页面遇到的各种问题总结

2024-07-09 16:35| 来源: 网络整理| 查看: 265

目录

问题1:浏览器访问不了hdfs web

问题2:浏览器点击Browse the file system打开文件系统报错:Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error

问题3:浏览器HDFS文件系统上传文件时报Couldn't upload the file错误

​ 

最近通过虚拟机安装配置了hadoop集群,集群虽然搭建起来了,不过通过浏览器访问管理界面的过程中遇到了一些问题,现整理总结一下。

问题1:浏览器访问不了hdfs web

可能的原因:

(1).防火墙未关闭时,无法通过浏览器访问hdfs web页面。先查看防火墙的状态:

firewall-cmd --state

如果防火墙为开启状态,需要关闭防火墙(集群所有节点都需要关闭,不然通过控制台无法传文件到文件系统):

systemctl stop firewalld.service

防火墙关闭后,重新打开浏览器:

(2).hadoop默认的hdfs web控制界面的端口为9870,如果在hdfs-site.xml中没有配置dfs.namenode.http-address项,可以尝试用默认端口访问。

问题2:浏览器点击Browse the file system打开文件系统报错:Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error

这个问题查找了相关资料,发现是Java版本过高导致的,我用的是jdk11,hadoop3目前对jdk8支持得更好。于是卸载掉jdk11相关组件,重新安装jdk8并配置jdk环境变量。

查看软件版本 rpm -qa|grep jdk 卸载软件 yum -y remove java **

然后更改hadoop-env.sh中JAVA_HOME中的配置即可。 

更新配置并重启hadoop服务后,重新打开Browse the file system,已经正常了。

问题3:浏览器HDFS文件系统上传文件时报Couldn't upload the file错误

F12打开谷歌控制台,看到报as been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource.错误,大概意思是由于跨域访问CORS policy策略,访问阻塞了:

 

于是查阅了hadoop相关配置信息,将hadoop跨域访问过滤器加上:

hadoop.http.filter.initializers org.apache.hadoop.security.HttpCrossOriginFilterInitializer hadoop.http.cross-origin.enabled true hadoop.http.cross-origin.allowed-origins * hadoop.http.cross-origin.allowed-methods GET,POST,HEAD hadoop.http.cross-origin.allowed-headers X-Requested-With,Content-Type,Accept,Origin hadoop.http.cross-origin.max-age 1800

然后重启hadoop服务后,浏览器重新上传文件,还是报同样的错误。不过此时通过日志(logs/hadoop-hadoop-namenode-master.log)可以看到跨域过滤器已经开启了。那是什么原因导致浏览器还传不了文件呢?

左思右想想不明白,最后还是通过分析日志发现了端倪:

原来是目录权限的问题,新系统默认的目录只对当前用户有写权限。

于是修改目录权限,并在该目录中上传文件,问题解决。也就是说这个问题其实并非是跨域的问题,而是访问权限的问题,后来去掉跨域的配置,并赋予合适的权限重新访问可以正常上传文件验证了这一点。

 通过这个问题的解决,启发我分析问题不能只看表面,要结合相关日志对比分析才能得出正确的结论。也深刻体会到了查看日志的重要性,以后要牢记!

 

 



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3