IDEA下使用maven配置Spark开发环境 |
您所在的位置:网站首页 › idea的maven项目如何添加依赖 › IDEA下使用maven配置Spark开发环境 |
IDEA下使用maven配置Spark开发环境
1、安装Java2、配置环境变量3、配置Hadoop环境4、安装Scala插件5、配置maven4、Spark编程Spark测试
使用到的软件安装包: https://pan.baidu.com/s/1fOKsPYBmOUhHupT50_6yqQ 提取码: d473 1、安装Java
环境变量设置:右键->我的电脑,选择属性 点击高级系统设置 点击新建: 1、将hadoop-common-2.6.0-bin-master 拷贝到C盘目录下 2、将C:\ hadoop-common-2.6.0-bin-master\bin下的hadoop.dll文件和winutils.exe文件拷贝到C:\Windows\System32下,若有重复,不需要复制替换。 3、配置环境变量: 选择Plugis 输入scala,点击install
1、删除test文件夹 Spark测试代码: ackage org.example import org.apache.spark.{SparkConf, SparkContext} object HelloWorld { def main(args: Array[String]) { val logFile = "hdfs://hadoop000:8020/hello.txt" val conf = new SparkConf().setAppName("Simple Application").setMaster("local") //.setMaster("local") val sc = new SparkContext(conf) val rdd = sc.textFile(logFile) val wordcount = rdd.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).map(x => (x._2, x._1)).sortByKey(false).map(x => (x._2, x._1)) println(wordcount) wordcount.saveAsTextFile("hdfs://hadoop000:8020/output") sc.stop() } }
|
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |