Spark从入门到精通19：Spark实战案例之统计网站访问量

您所在的位置：网站首页 › spark文件格式 › Spark从入门到精通19：Spark实战案例之统计网站访问量

Spark从入门到精通19：Spark实战案例之统计网站访问量

2023-06-09 20:12| 来源: 网络整理| 查看: 265

本节来介绍Spark实战案例：通过分析网站的访问日志，来求出网站中访问量最高的两个页面。

access_log.txt 提取码：xxjc

本节用到的日志文件格式如下所示：

192.168.88.1 - - [30/Jul/2017:12:54:52 +0800] "GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242 192.168.88.1 - - [30/Jul/2017:12:54:53 +0800] "GET /MyDemoWeb/oracle.jsp HTTP/1.1" 200 242 192.168.88.1 - - [30/Jul/2017:12:54:54 +0800] "GET /MyDemoWeb/mysql.jsp HTTP/1.1" 200 241

1.下载Spark安装目录下的所有Jar包

使用WinSCP工具将$SPARK_HOME/jars目录下的所有Jar包下载到本地目录如E:/sparklib中。

2.使用IDEA搭建Spark程序开发环境打开IDEA开发工具，选择“Create New Project”，选择Scala下面的sbt工程，Next 工程名字：WebAccessCount，选择一个保存位置，比如：E:/WebAccessCount，Java版本和Scala版本需要和Spark集群环境中的保持一致，sbt版本保持默认，Finish 在WebAccessCount工程上右键单击，New，Directory，输入目录名：lib，OK 将刚才下载好的所有Jar包，复制粘贴到lib文件夹，在弹出的确认对话框中单击OK 选中lib目录下的所有的Jar包，右键，选中“Add as Libirary”，在弹出的对话框中输入库的名字，比如：spark_jars，OK

注意：IDEA构建工程的过程比较慢，请耐心等待。只有等工程构建完成后，工程的结构才会完整，写代码时才会有智能提示。可以通过更改sbt源的方式来提高构建速度，这里不作介绍。

3.编写WebAccessCount程序在WebAccessCount工程下的src/main/scala目录上右键，New，Package：demo，OK 在demo下面New，Scala Class：WebAccessCount.scala，种类选择：Object，OK 编写WebAccessCount.scala代码如下： package demo import org.apache.spark.{SparkConf, SparkContext} //功能：求出访问量最高的两个页面 object WebAccessCount { def main(args: Array[String]): Unit = { //创建SparkConf对象：设置为本地运行模式 val conf = new SparkConf().setAppName("WebAccessCount").setMaster("local") //创建SparkContext对象 val sc = new SparkContext(conf) //从本地磁盘读入访问日志数据："192.168.88.1 - - [30/Jul/2017:12:54:41 +0800] //"GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242" val rdd1 = sc.textFile("E:\\access_log.txt").map( line => { //解析每一行，找出jsp文件的名字，并返回结果：(hadoop.jsp,1) //解析出子串: GET /MyDemoWeb/hadoop.jsp HTTP/1.1 val index1 = line.indexOf("\"") //左双引号的位置 val index2 = line.lastIndexOf("\"") //右双引号的位置 val command = line.substring(index1+1,index2) //解析出子串：/MyDemoWeb/hadoop.jsp val index3 = command.indexOf(" ") //第一个空格 val index4 = command.lastIndexOf(" ") //最后一个空格 val path = command.substring(index3+1,index4) //解析出jsp文件名字：hadoop.jsp val jspFileName = path.substring(line2.lastIndexOf("/")+1) //返回结果：(hadoop.jsp,1) (jspFileName,1) } ) //将每个页面的访问量求和 val rdd2 = rdd1.reduceByKey(_+_) //将每个页面按照访问量降序排列：true表示升序，false表示降序 val rdd3 = rdd2.sortBy(_._2,false) //输出访问量最高的两个页面 println(rdd3.take(2).toBuffer) //停止SparkContext对象 sc.stop() } } 3.运行结果

按Ctrl + Shift + F10或者在代码上右键，选择Run “WebAccessCount”运行，结果如下：

image

【本文地址】

Spark从入门到精通19：Spark实战案例之统计网站访问量

Spark从入门到精通19：Spark实战案例之统计网站访问量

今日新闻

推荐新闻