Python3爬虫新手项目详解:爬取豆瓣读书的前50条评论内容并显示评分。提示:有的评论不包含评分

您所在的位置:网站首页 自学爬虫用什么书籍 Python3爬虫新手项目详解:爬取豆瓣读书的前50条评论内容并显示评分。提示:有的评论不包含评分

Python3爬虫新手项目详解:爬取豆瓣读书的前50条评论内容并显示评分。提示:有的评论不包含评分

2024-07-16 01:33| 来源: 网络整理| 查看: 265

爬取《三体》,相关网页内容如下:

https://book.douban.com/subject/2567698/comments/hot?p=1

开始之前我们先明确一下爬虫的基本步骤:

抓取 urllib内建模块 urllib.requestrequests第三方库(中小型)scrapy框架(大型)解析 BeautifulSoup库re模块

这次我们就用到了requests库,BeautifulSoup库以及re模块

由于要读取50条短评,而每一页有20条,用一个while循环解决,第一页是p=1,第二页是p=2,以此类推。

观察评分和评论部分的网页源代码如下:

Peter Cat 2014-08-05

大刘不是文笔平庸,是根本没有文笔和人物。三体之所以仍旧很好看,的确仰赖其在物理、历史、数学、哲学方面极其渊博的知识,和将这些知识串联起来的想象力。不过还是会觉得遗憾,没有心理建构小说,那种震撼永远是表层的。

可以发现"user-stars allstar40 rating"里的40是评分,而中的内容是评论,评论很容易用BeautifulSoup解析得到,而评分用re模块进行解析。需要注意的是第三页全部读到列表里的话就会总共有60条,所以用count_del记录一下,最后再删掉多余的。上代码:

# -*- coding: utf-8 -*- import requests import re from bs4 import BeautifulSoup count=count_del=0 allstars=[] i=1 while count>> import re >>> pattern=re.compile(r'


【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3