idea链接linux

您所在的位置：网站首页 › linux怎么打开idea › idea链接linux

idea链接linux

#idea链接linux| 来源: 网络整理| 查看: 265

如果要在windows下连接虚拟机上的Hadoop集群,就必须要保证windows下有java环境和hadoop环境。

一、环境准备

1、jdk1.8 2、idea2019 3、Linux上hadoop集群，版本为hadoop2.6.0-cdh5.14.2

二、win10上安装hadoop环境

1、下载hadoop包网站链接：

https://archive.apache.org/dist/hadoop/common/ 本文下载版本为：hadoop2.6.0-cdh5.14.0

解压在本地路径：D:\soft\hadoop-2.6.0-cdh5.14.0 2、配置hadoop环境变量计算机—属性—高级系统设置—高级—环境变量（1）系统变量—新建HADOOP_HOME变量，变量值为hadoop解压安装路径：D:\soft\hadoop-2.6.0-cdh5.14.0 在这里插入图片描述（2）系统变量—编辑Path，添加：D:\soft\hadoop-2.6.0-cdh5.14.0\bin

在这里插入图片描述 3、下载hadoop.dll和winutils.exe 在windows下运行hadoop还需要hadoop.dll和winutils.exe这两个文件,各版本下载地址https://github.com/cdarlint/winutils，也可以通过https://pan.baidu.com/s/1hrNXq3y#list/path=%2F下载。下载完成之后，将hadoop.dll和winutils.exe文件放到hadoop文件夹下的bin目录下，并且需要将hadoop.dll复制一份到C:\Windows\System32。在这里插入图片描述 4、修改D:\soft\hadoop-2.6.0-cdh5.14.0\etc\hadoop文件下的配置文件（1）修改hadoop-env.cmd文件（2）修改core-site.xml文件

fs.default.name hdfs://node01:9000 hadoop.tmp.dir /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas io.file.buffer.size 4096 fs.trash.interval 10080 hadoop.proxyuser.hue.hosts * hadoop.proxyuser.hue.groups * hadoop.proxyuser.admin.hosts * hadoop.proxyuser.admin.groups * hadoop.proxyuser.httpfs.hosts * hadoop.proxyuser.httpfs.groups *

（3）修改hdfs-site.xml文件

dfs.namenode.secondary.http-address node01:50090 dfs.namenode.http-address node01:50070 dfs.namenode.name.dir file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas dfs.datanode.data.dir file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas dfs.namenode.edits.dir file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits dfs.namenode.checkpoint.dir file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name dfs.namenode.checkpoint.edits.dir file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits dfs.replication 1 dfs.permissions false dfs.blocksize 134217728 dfs.webhdfs.enabled true

（4）修改yarn-site.xml文件

yarn.resourcemanager.hostname node01 yarn.nodemanager.aux-services mapreduce_shuffle yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 604800

（5）修改mapred-site.xml.template文件首先要修改文件名，把mapred-site.xml.template改成marped-site.xml，然后

mapreduce.framework.name yarn mapreduce.job.ubertask.enable true mapreduce.jobhistory.address node01:10020 mapreduce.jobhistory.webapp.address node01:19888

5、验证hadoop是否安装成功 win+R打开命令提示符窗口，输入hadoop -version，如果显示如下内容，则表明hadoop环境配置成功。在这里插入图片描述

三、hdfs上的javaAPI开发测试

1、IDEA创建maven工程在这里插入图片描述 2、创建module 3、修改module文件的pom.xml，添加下面内容，并import changes

cloudera https://repository.cloudera.com/artifactory/cloudera-repos/ org.apache.hadoop hadoop-client 2.6.0-mr1-cdh5.14.2 org.apache.hadoop hadoop-common 2.6.0-cdh5.14.2 org.apache.hadoop hadoop-hdfs 2.6.0-cdh5.14.2 org.apache.hadoop hadoop-mapreduce-client-core 2.6.0-cdh5.14.2 junit junit 4.11 test org.testng testng RELEASE org.apache.maven.plugins maven-compiler-plugin 3.0 1.8 1.8 UTF-8 org.apache.maven.plugins maven-shade-plugin 2.4.3 package shade true

在这里插入图片描述结果如下，即为导入仓库成功 4、开发hdfs的javaAPI操作

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.junit.Test; import java.io.IOException; public class HDFSOperate{ @Test public void mkdirToHdfs() throws IOException { Configuration configuration = new Configuration(); configuration.set("fs.defaultFS","hdfs://node01:8020"); //FileSystem文件系统对象 FileSystem fs = FileSystem.get(configuration); //FileSystem的mkdir方法 boolean b = fs.mkdirs(new Path("/zzz/dir01")); //FileSystem关闭 fs.close(); } }

运行结果：通过网页查看，显示创建文件夹成功。在这里插入图片描述

四、IDEA连接Linux上的Hadoop集群，成功！

参考文章： windows10下配置hadoop2.8.5超详细过程 windows10下使用idea远程调试hadoop集群 Win10下Hadoop环境的配置 win10下IDEA连接虚拟机上的HDFS实现文件操作

【本文地址】

idea链接linux

idea链接linux

今日新闻

推荐新闻