采集网页数据保存到文本文件 |
您所在的位置：网站首页 › python爬取新闻网站标题内容存入文本文件中 › 采集网页数据保存到文本文件 |
采集网页数据保存到文本文件
|
访问古诗文网站（https://so.gushiwen.org/mingju/）
会显示出这个页面，里面包含了很多的名句，点击某一个名句（比如点击无处不伤心，轻尘在玉琴）就会出现完整的古诗
我们点击鼠标右键，点击检查
点击copy selector 右击对应标签，选择Copy -> Copy selector,即可获得对应元素的CSS选择器。 body > div.main3 > div.left > div.sons > div:nth-child(1) 我们就会得到大致的路径， 将复制得到的CSS选择器粘贴在soup.select()中即可。 import requests from bs4 import BeautifulSoup import time # 函数1：请求网页 def page_request(url, ua):#user-agent就是请求头，否则不给出请求头网站是没有办法爬取的 response = requests.get(url, headers=ua)#请求头就是我们传进来的ua，我们调用的时候就会把ua传进来 html = response.content.decode('utf-8')#解码，用utf-8进行解码 return html#请求网站，这个函数会把html代码返回回来，作为这个函数的结果值返回回来，返回回来的结果作为第二个函数的输入 # 函数2：解析网页 def page_parse(html):#从里面解析出相关诗句的内容，上一个函数把html代码返回来，这个函数就可以对它进行解析 soup = BeautifulSoup(html, 'lxml')#html是传过来的源代码，lxml你使用的是lxml解析器 title = soup('title')#网页有title我们可以把title这个头拿出来 # 诗句内容：诗句+出处+链接 info = soup.select('body > div.main3 > div.left > div.sons > div.cont') #用select方法去获得标签，属性用.表示，如果查找id用#表示，我们得到了很多标签，返回的是一个列表，因为其中很多元素符合要求 #通过这行语句你获得了许多div标签 # 诗句链接 sentence = soup.select('div.left > div.sons > div.cont > a:nth-of-type(1)') #div.cont下面的子标签a，并且要求这个子标签a是div.cont第一个子标签a，这行包括了href我们可以通过索引值把href取出来，就可以得到网页的链接地址 #第一个链接就会有href，就是诗词的链接地址 sentence_list = [] href_list = [] for i in range(len(info)): curInfo = info[i]#从info[0]开始获得第一个 poemInfo = '' poemInfo = poemInfo.join(curInfo.get_text().split('\n'))#.join是进行字符串的链接操作的 .get_text方法会把当前div中的文本都提取出来，我们会提取出来很多行，用split用换行符进行拆分，就会拆分出三个字符串，把三个字符串拼接起来 sentence_list.append(poemInfo)#把刚才得到的一行加到列表里面去，每次遍历一遍就会加一个，列表中就会有许多诗句的基本信息 href = sentence[i].get('href')#sentence是以列表的形式返回的,sentence[0] href_list.append("https://so.gushiwen.org" + href)#还需要加上网站的域名前缀,href不带有域名前缀，得到完整的地址 # todo sentence 和 poet数量可能不符 # sentence = soup.select('div.left > div.sons > div.cont > a:nth-of-type(1)') # poet = soup.select('div.left > div.sons > div.cont > a:nth-of-type(2)') # for i in range(len(sentence)): # temp = sentence[i].get_text() + "---" + poet[i].get_text() # sentence_list.append(temp) # href = sentence[i].get('href') # href_list.append("https://so.gushiwen.org" + href) return [href_list, sentence_list]#把两个结构返回去，herf包含了一个又一个的链接，而sentence，会把一个句子一个句子返回 def save_txt(info_list):#把得到的文本文件保存起来，我们要得到sentence.txt import json with open(r'sentence.txt', 'a', encoding='utf-8') as txt_file:#python基本打开文件的模式a代表追加 for element in info_list[1]:#infolist是整个列表的两个，它包含了两个子列表，infolist【1】就代表sentencelist，它会把sentence——list中每个元素遍历一遍 txt_file.write(json.dumps(element, ensure_ascii=False) + '\n\n') #遍历一遍，把每一行句子都用.dumps写到文本文件里面去 # 子网页处理函数：进入并解析子网页/请求子网页 def sub_page_request(info_list):#我们访问古诗文网站，还要点进去，info_list包含两个列表，第一个是链接的列表，第二个是诗句的列表 subpage_urls = info_list[0]#这个包含了所有的链接地址 ua = {#有请求头才可以顺利的爬取 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36'} sub_html = [] for url in subpage_urls: html = page_request(url, ua)#page_requests的功能给出请求的地址他会把html的代码返回回来，给出url地址返回html sub_html.append(html)#sub_html包含了一个又一个元素，每个元素都是一段html代码，html代码是具体点到某个诗句的网页的代码 return sub_html#是个列表，包含了很多元素，每个元素都是一个子网页的html代码 # 子网页处理函数：解析子网页，爬取诗句内容 def sub_page_parse(sub_html):#返回的是一大堆，我只想要赏析代码 poem_list = [] for html in sub_html:#把每个html代码进行遍历，赋值给html soup = BeautifulSoup(html, 'lxml')#用lxml解析器对html代码进行解析 poem = soup.select('div.left > div.sons > div.cont > div.contson') if len(poem) == 0: continue poem = poem[0].get_text()#poem是列表 poem_list.append(poem.strip())#去掉空格 return poem_list # 子网页处理函数：保存诗句到txt def sub_page_save(poem_list):#poem_list得到的是个列表，每个元素都是一行 import json with open(r'poems.txt', 'a', encoding='utf-8') as txt_file: for element in poem_list:#poem_是个列表 txt_file.write(json.dumps(element, ensure_ascii=False) + '\n\n') if __name__ == '__main__': print("**************开始爬取古诗文网站********************") ua = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36'} poemCount = 0 for i in range(1, 5):#依次执行 # todo 链接错误 # url = 'https://so.gushiwen.org/mingju/default.aspx?p=%d&c=&t=' % (i) url = 'https://so.gushiwen.cn/mingjus/default.aspx?page=%d' % i print(url) # time.sleep(1) html = page_request(url, ua)#把url传进去，请求头传进去，获取html代码，这是传入的初始网页 info_list = page_parse(html)#我们把html代码传进去，就可以对代码进行解析 save_txt(info_list)# 开始处理子网页---------------------上面处理的都是主网页，下面要处理子网页，也就是点进去之后的网页 print("开始解析第%d" % i + "页") # 开始解析名句子网页 sub_html = sub_page_request(info_list)#info-list是经过page_list解析过得，就是把子网页的链接传进来了 poem_list = sub_page_parse(sub_html)#对子网页html代码进行解析，解析出每个诗词的句子，它的解释赏析，放到poem_list里面 sub_page_save(poem_list) poemCount += len(info_list[0])#爬取了多少行 print("****************爬取完成***********************") print("共爬取%d" % poemCount + "个古诗词名句") print("共爬取%d" % poemCount + "个古诗词")
|
【本文地址】
今日新闻 |
推荐新闻 |