1.打开当当网书籍排行榜的网址： 五星图书排行榜

打开之后可以看到： 可以发现：

点击下一页发现地址发生改变： 第二页

我们可以在python中设置一个变量里来实现获取不同页数的内容

2.分析网页的请求和响应操作 鼠标右键点击检查或按F12，进入以下页面： 我们可以看到我们的请求头，还可以看到服务器返回来的数据： 3.分析我们将要抓取的关键信息 我们要的就是前500本书的

排名 书名 图片地址 作者 推荐指数 五星评分次数 价格

通过源码我们可以看到这些信息都被放在

思路：

1.使用page进行翻页操作 2.使用requests请求当当网 3.将返回的HTML源码进行解析 4.将解析完的数据保存到csv格式的文件中，方便进行后续数据分析

源码：

¥(.*?).*?',re.S) items = re.findall(pattern,html) for item in items: #打印一下 查看結果 print(item) yield { 'range': item[0], 'image': item[1], 'title': item[2], 'recommand': item[3], 'author': item[4], 'times': item[5], 'price': item[6] } #写入文件 def write_item_to_file(item): print("开始写入数据：" + str(item)) with open('book.txt', 'a', encoding='UTF-8') as f: f.write(json.dumps(item, ensure_ascii=False) + '\n') f.close() #主函数 def main(page): url = 'http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-'+str(page) html = request_dangdang(url) items = parse_response(html) for item in items: write_item_to_file(item) #实现翻页 if __name__=="__main__": for i in range(1,26): main(i) 成果展示