爬取杂志所有期刊的文章案例 |
您所在的位置：网站首页 › 意林最新文章 › 爬取杂志所有期刊的文章案例 |
爬取杂志所有期刊的文章案例
|
爬取杂志所有期刊的文章案例
前言：
这次给大家带来一个简单的爬虫案例，就是爬取意林杂志所有期刊的文章。 本案例网址：https://www.yilinzazhi.com/ 可以看出这个网站的网页很规整，而且没有反爬，每一年的期刊日期都是一个链接，点击进去就是该期期刊的所有文章标题，如图： 因为该网站的网页非常规整，所以我就不在这里过多展示分析html网页的过程了，解析可以xpath，也可以css选择器，根据自己的喜好来。 本案例所用到的模块： # 导入需要的包 import requests import parsel import os 二、发送请求，获取响应 def parse_url(self, url): """ 发送请求，获取响应数据的方法 :param url: self.HOME_URL :return: """ response = requests.get(url, headers=self.headers) response.encoding = response.apparent_encoding if response.status_code == 200: return response.text 三、提取主页的期刊号和该期刊的链接 def get_periodicals(self, html_str): """ 提取各期刊刊号和链接的方法 :param html_str: :return: """ html = parsel.Selector(html_str) # 提取期刊号列表 periodicals_title_list = html.css('.booklist tr>.time>a::text').extract() # 提取该期刊的链接列表 periodicals_urls = html.css('.booklist tr>.time>a::attr(href)').extract() periodicals_url_list = [self.HOME_URL + i for i in periodicals_urls] return periodicals_title_list, periodicals_url_list 四、提取每期期刊的所以文章标题和该文章的链接 def get_article_data(self, html_str2, article_url_temp): """ 提取期刊文章的所在链接的方法 :param html_str2: :param article_ur_temp: :return: """ html = parsel.Selector(html_str2) # 提取文章标题列表 article_titles = html.css('.maglistbox>dl>dd>.maglisttitle>a::text').extract() article_title_list = [i.strip() for i in article_titles] # 提取该文章所在的链接列表 article_urls = html.css('.maglistbox>dl>dd>.maglisttitle>a::attr(href)').extract() article_url_list = [article_url_temp + i for i in article_urls] return article_title_list, article_url_list 五、提取文章的具体内容 def get_article_infos(self, html_str3): """ 提取期刊文章的方法 :param html_str3: :return: """ html = parsel.Selector(html_str3) # 提取文章的具体内容 article_infos = html.css('.blkContainerSblkCon>p::text').extract() article_info = "".join([i.strip() for i in article_infos]) return article_info 六、保存文章 def save_article(self, periodicals_title, article_title, article_info): """ 保存期刊文章的方法 :param periodicals_title: :param article_title: :param article_info: :return: """ path = f'./期刊文章/{periodicals_title}/' os.makedirs(path, exist_ok=True) with open(f'{path}{article_title}.txt', 'a', encoding='utf-8') as txtfile: txtfile.write(article_info) print(f'{path}{article_title}-----保存成功') 七、具体实现思路代码 def run(self): """ 实现主要逻辑思路 :return: """ # 1.发送请求，获取响应数据 html_str = self.parse_url(self.HOME_URL) # 2.提取各期刊刊号和链接 periodicals_title_list, periodicals_url_list = self.get_periodicals(html_str) for periodicals_title, periodicals_url in zip(periodicals_title_list, periodicals_url_list): # 3.构建临时文章地址 article_url_temp = periodicals_url[:-10] # 4.对期刊url地址发送请求，获取响应 html_str2 = self.parse_url(periodicals_url) # 5.提取期刊文章的所在链接 article_title_list, article_url_list = self.get_article_data(html_str2, article_url_temp) for article_title, article_url in zip(article_title_list, article_url_list): # 6.对期刊文章链接发送请求，获取响应数据 html_str3 = self.parse_url(article_url) # 7.提取期刊文章内容 article_info = self.get_article_infos(html_str3) # 8.保存期刊文章内容 self.save_article(periodicals_title, article_title, article_info) 效果展示：
|
每一个标题文字就是该文章的内容的链接，点击这个链接就是该标题的文章具体的内容： 
现在我们理解了网站的具体构成，下面就说一下大概的思路，通过主页链接提取出每一期的网页链接和每一期的期刊日期，在对每一期的网页链接发送请求，获取到每一期的期刊具体内容的标题和链接，然后在对该标题链接发送请求，获取到该标题文章的具体内容，最后保存文章，保存为每一期的日期号作为一个文件夹，这个文件夹里面是该期的所以文章，一个标题一篇文章。
【本文地址】
今日新闻 |
推荐新闻 |