Hadoop本地操作HDFS不能上传文件问题 |
您所在的位置:网站首页 › 数据不能上传是什么问题 › Hadoop本地操作HDFS不能上传文件问题 |
本地操作HDFS不能上传文件问题 问题描述在本地使用JavaAPI客户端进行Hadoop集群HDFS操作时,只能够新建文件目录、删除目录、新建文件等操作,当上传文件时出错,上传文件内容为空;在shell终端中能够正常的进行文件上传等操作。 问题原因1.NameNode节点存放的是文件目录,也就是文件夹、文件名称,本地可以通过公网访问 NameNode,所以可以进行文件夹的创建,当上传文件需要写入数据到DataNode时,NameNode 和DataNode 是通过局域网进行通信,NameNode返回地址为 DataNode 的私有 IP,本地无法访问。 2.防火墙未关闭 三、解决方案 返回的IP地址无法返回公网IP,只能放回主机名,通过主机名与公网地址的映射便可以访问到DataNode节点,问题将解决。 由于代码的设置的优先级为最高,所以直接进行代码的设置。 Configuration conf = new Configuration(); conf.set("dfs.client.use.datanode.hostname", "true");//添加此配置信息即可 FileSystem fs = FileSystem.get(new URI("hdfs://192.168.8.81:9000"), conf, "root");如果文章对你有帮助,可以关注一下本人的公众号:修电脑的程序员,或者加私人微信:cpboy1125 方便沟通。 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |