spark实验(四) |
您所在的位置:网站首页 › 大学总共有几门学科 › spark实验(四) |
一、实验目的 (1)熟悉 Spark 的 RDD 基本操作及键值对操作; (2)熟悉使用 RDD 编程解决实际具体问题的方法。 二、实验平台 操作系统:centos6.4 Spark 版本:1.5.0
三、实验内容 实验一: 1.spark-shell 交互式编程 请到本教程官网的“下载专区”的“数据集”中下载 chapter5-data1.txt,该数据集包含 了某大学计算机系的成绩,数据格式如下所示: 首先开始我们的第一步,打开linux系统中的终端。 请根据给定的实验数据,在 spark-shell 中通过编程来计算以下内容: 将Data01.txt文件放置在usr/local/sparkdata/中 新建/usr/local/sparkdata文件夹 mkdir /usr/local/sparkdata
将Data01.txt文件放置在sparkdata中 发现权限不够,给/usr/local/sparkdata赋予操作权限 chmod 777 /usr/local/spakrdata 之后将Data01.txt文件移动到sparkdata中
(1)该系总共有多少学生; val lines = sc.textFile("file:///usr/local/sparkdata/Data01.txt") val par = lines.map(row=>row.split(",")(0)) val distinct_par = par.distinct() distinct_par.count
(2)该系共开设来多少门课程; val lines = sc.textFile("file:///usr/local/sparkdata/Data01.txt") val par = lines.map(row=>row.split(",")(1)) val distinct_par = par.distinct() distinct_par.count
(3)Tom 同学的总成绩平均分是多少;
val lines = sc.textFile("file:///usr/local/sparkdata/Data01.txt")lines.filter(row=>row.split(",")(0)=="Tom").map(row=>(row.split(",")(0),row.split(",")(2).toInt)).mapValues(x=>(x,1)).reduceByKey((x,y) => (x._1+y._1,x._2 + y._2)).mapValues(x => (x._1 / x._2)).collect()
(4)求每名同学的选修的课程门数; val line=sc.textFile("file:///usr/local/sparkdata/Data01.txt") line.map(row=>(row.split(",")(0),row.split(",")(1))). mapValues(x=>(1)). reduceByKey((x,y)=>(x+y)). collect()
(5)该系 DataBase 课程共有多少人选修; val line=sc.textFile("file:///usr/local/sparkdata/Data01.txt") line.filter(row=>row.split(",")(1)=="DataBase"). count()
(6)各门课程的平均分是多少; val line=sc.textFile("file:///usr/local/sparkdata/Data01.txt") line.map(row=>(row.split(",")(1),row.split(",")(2).toInt)). mapValues(x=>(x,1)). reduceByKey((x,y)=>(x._1+y._1,x._2+y._2)). mapValues(x=>(x._1/x._2)). collect()
(7)使用累加器计算共有多少人选了 DataBase 这门课。 val lines = sc.textFile("file:///usr/local/sparkdata/Data01.txt")val pare = lines.filter(row=>row.split(",")(1)=="DataBase").map(row=>(row.split(",")(1),1))val accum =sc.accumulator(0)pare.values.foreach(x => accum.add(x))accum.value
实验二 2.编写独立应用程序实现数据去重 对于两个输入文件 A 和 B,编写 Spark 独立应用程序,对两个文件进行合并,并剔除其 中重复的内容,得到一个新文件 C。下面是输入文件和输出文件的一个样例,供参考。 输入文件 A 的样例如下: 20170101 x 20170102 y 20170103 x 20170104 y 20170105 z 20170106 z 输入文件 B 的样例如下: 20170101 y 20170102 y 20170103 x 20170104 z 20170105 y 根据输入的文件 A 和 B 合并得到的输出文件 C 的样例如下: 20170101 x 20170101 y 20170102 y 20170103 x 20170104 y 20170104 z 20170105 y 20170105 z 20170106 z package sn import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf import org.apache.spark.HashPartitioner object RemDup { def main(args:Array[String]) { val conf = new SparkConf().setAppName("RemDup") val sc = new SparkContext(conf) val dataFile = "file:///usr/local/sparkdata/data42" val data = sc.textFile(dataFile,2) val res = data.filter(_.trim().length>0).map(line=>(line.trim,"")).partitionBy(new HashPartitioner(1)).groupByKey().sortByKey().keys res.saveAsTextFile("result") } }
实验三 3.编写独立应用程序实现求平均值问题 每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生 名字,第二个是学生的成绩;编写 Spark 独立应用程序求出所有学生的平均成绩,并输出到 一个新文件中。下面是输入文件和输出文件的一个样例,供参考。 Algorithm 成绩: 小明 92 小红 87 小新 82 小丽 90 Database 成绩: 小明 95 小红 81 小新 89 小丽 85 Python 成绩: 小明 82 小红 83 小新 94 小丽 91 平均成绩如下: (小红,83.67) (小新,88.33) (小明,89.67) (小丽,88.67) import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf import org.apache.spark.HashPartitioner object AvgScore { def main(args:Array[String]) { val conf = new SparkConf().setAppName("AvgScore") val sc = new SparkContext(conf) val dataFile = "file:///usr/local/spark/mycode/avgscore/data" val data = sc.textFile(dataFile,3) val res=data.filter(_.trim().length>0).map(line=>(line.split(" ")(0).trim(),line.split(" ")(1).trim().toInt)).partitionBy(new HashPartitioner(1)).groupByKey().map(x=>{ var n=0 var sum=0.0 for(i |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |