远程连接Hadoop(本机win10+idea+maven)+(linux +hadoop3.1.3)

您所在的位置:网站首页 Idea连接hadoop 远程连接Hadoop(本机win10+idea+maven)+(linux +hadoop3.1.3)

远程连接Hadoop(本机win10+idea+maven)+(linux +hadoop3.1.3)

2023-10-19 10:41| 来源: 网络整理| 查看: 265

事情起因

最初我使用Hadoop的时候我想的是在linux里安装一个eclipse,可是想想这会直接把一些性能不太好的Linux搞崩溃。然后我就想远程连接Hadoop。网上好多教程说win远程连接Hadoop还要在win上安装Hadoop,但是经过我的测试,==只需要下载一个hadoop.dll放到c:\Windows\System32目录下就好。环境变量都不用配置。==这个下载的话直接在网上找就能找到。或者直接联系我我直接给你发一份都可以。

hadoop.dll+hosts文件更改

1.这里再强调一遍。把这个hadoop.dll放到它该在的位置可谓是最重要的一个步骤,首先就得先把这个下载了搞上去。

2.因为你可能有时候使用的ip的映射,所以建议还是在windows的hosts(C:\Windows\System32\drivers\etc)文件上加上映射。如我下面配置的这样写道最后面。 在这里插入图片描述

maven配置

在上面的包已经导入到相应的目录下后就新建一个maven工程就好。然后配置pom.xml文件,这个配置看起来有点多哈,我就直接贴过来了。将里面的3.1.3全部换成自己的版本。

org.apache.hadoop hadoop-common 3.1.3 jackson-annotations com.fasterxml.jackson.core jsr305 com.google.code.findbugs guava com.google.guava nimbus-jose-jwt com.nimbusds commons-codec commons-codec commons-logging commons-logging netty io.netty jaxb-api javax.xml.bind commons-compress org.apache.commons zookeeper org.apache.zookeeper jackson-core-asl org.codehaus.jackson jackson-mapper-asl org.codehaus.jackson slf4j-api org.slf4j commons-collections commons-collections slf4j-log4j12 org.slf4j org.apache.hadoop hadoop-hdfs 3.1.3 org.apache.hadoop hadoop-mapreduce-client-core 3.1.3 jackson-annotations com.fasterxml.jackson.core guava com.google.guava guice com.google.inject guice-servlet com.google.inject.extensions slf4j-api org.slf4j slf4j-log4j12 org.slf4j org.apache.hadoop hadoop-client 3.1.3 slf4j-api org.slf4j org.apache.hadoop hadoop-yarn-api 3.1.3

这个配置在2.7的版本上我也用过没有问题。

maven下载不了或者下载慢问题

如果你遇到maven不能下载或者下载很慢的话,你需要把maven的远程仓库地址改为阿里云的地址。 找到你的maven配置文件setting.xml 然后在mirrors标签里加入地址(别把地址给放到注释里) 在这里插入图片描述 代码为

alimaven aliyun maven http://maven.aliyun.com/nexus/content/repositories/central/ central

如果下载还是出错,可能你需要先install一下maven然后在下载这些jar包

结语

这次远程连接遇到的问题真的不少,总结来说还是自己经验太少啊 。对于那个pom.xml配置其实可以改成引用的格式的,那样就不用写好几遍版本号了。实在是自己太菜了。。。。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3