java爬虫实战

您所在的位置：网站首页 › 怎么用java写一个网页 › java爬虫实战

java爬虫实战

2023-07-17 04:18| 来源: 网络整理| 查看: 265

故事的开头在这里插入图片描述虽然我们程序员不干爬虫的活，但是工作中确实偶尔有需要网络上的数据的时候，手动复制粘贴的话数据量少还好说，万一数据量大，浪费时间不说，真的很枯燥。所以现学现卖研究了一个多小时写出了个爬虫程序

一、爬虫所需要的工具包

新建个Maven项目，导入爬虫工具包Jsoup

org.jsoup jsoup 1.10.2

在这里插入图片描述

使用Jsoup解析网页

首先要拿到我们请求的网页的地址用Jsoup的parse()方法解析网页，传入连个参数第一个参数是new URL(url)，第二个参数设置解析时间如果超过30秒就放弃然后获取到一个Document对象之后就像我们操作JS代码一样，Document对象可以实现JS的所有操作在这里插入图片描述这时候我们用浏览器打开网页，F12审查元素，找到数据所在的div的id名，如果没有id名就用calss名，这里是没有id名的。然后我们通过class名获取到元素，这时候可以System.out.println(chinajobs);的输出一下看看日否拿到了我们想要的数据在这里插入图片描述可以看到确实拿到了我们想要的数据

过滤数据

虽然拿到了数据但是有很多多余的信息，所以下一步过滤数据因为class不是唯一的所以获取的是Elements对象我们要把它转换成Element对象才能进行下一步操作

Element el = chinajobs.first();

将chinajobs中的第一个元素转换成Element对象（首先要确认我们需要的数据在将chinajobs中的第一个元素中）通过分析发现我们需要的数据可以在title这个属性中提取出来在这里插入图片描述

String title = el.getElementsByAttribute("title").text();

输出一下试试

System.out.println(el.getElementsByAttribute("title").text());

确实过滤到了所有我们想要的数据在这里插入图片描述

四、导出Excel

最后一步导出到excel,这里我是用的是poi工具包

org.apache.poi poi 3.17

通过el.getElementsByAttribute(“title”).size()确定元素的数量采用循环遍历输出 el.getElementsByAttribute(“title”).eq(i)通过eq(i)传入索引值确定元素值在D盘新建一个上海招聘公司一览表.xls文件

public static void main(String[] args) throws IOException { // 获取请求 https://www.buildhr.com/area/shanghai/ String url = "https://www.buildhr.com/area/shanghai/"; Document document = Jsoup.parse(new URL(url), 30000); Elements chinajobs = document.getElementsByClass("chinajobs"); HSSFWorkbook wb = new HSSFWorkbook(); HSSFSheet sheet = wb.createSheet("公司名列表"); Element el = chinajobs.first(); for (int i = 0; i FileOutputStream fout = new FileOutputStream("D:/上海招聘公司一览表.xls"); wb.write(fout); fout.close(); } catch (Exception e) { e.printStackTrace(); } }

大功告成在这里插入图片描述

【本文地址】

java爬虫实战

java爬虫实战

今日新闻

推荐新闻