Python爬取京东图书销量榜 |
您所在的位置：网站首页 › 如何查询淘宝销量排行榜信息 › Python爬取京东图书销量榜 |
Python爬取京东图书销量榜
|
Python小作业
题目：
从京东爬取2019年 “计算与互联网”的图书销量榜，包括图书的"书名", “作者”, “出版社”, “定价”, “京东价”, “好评率”，存入csv文件中。 爬取结果： 链接：https://pan.baidu.com/s/19PcHiFzIk0efVBXTgNoupw 提取码：vmua 注：网页结构及数据接口地址有可能发生变化，因此不能保证其时效性。 分析爬取网页https://book.jd.com/booktop/0-0-0.html?category=3287-0-0-0-5-1
运行selenium还需下载相应浏览器的驱动，并且拷贝到python的安装目录。 首先分析url中最后以为数字代表页数，由此可以通过拼接url的方式得到2019年的共5页的url。 url = "https://book.jd.com/booktop/0-0-0.html?category=3287-0-0-0-10005-" count = 0 for i in range(1, 6): r = requests.get(url + str(i), headers=headers) r.encoding = "GBK" soup = BeautifulSoup(r.text, "html.parser") li = soup.find('ul', class_="clearfix").find_all('li')使用bs4库对返回的页面进行解析，获取“作者”和“出版社”并保存在变量中。 for e in li: count += 1 detail = e.find('div', class_="p-detail") href = "https:" + detail.find('a')['href'] # 二级链接 dl = detail.find_all('dl') author = dl[0].find('dd').text.replace(' ', '').replace("\n", ' ').replace("著", "著 ") # 作者 press = dl[1].find('a').string # 出版社因书名在当前页面显示不完整，所以在商品详情页面获取。 new_soup |
【本文地址】
今日新闻 |
推荐新闻 |