JD京东爬虫 |
您所在的位置:网站首页 › 京东评价在哪儿看 › JD京东爬虫 |
JD京东爬虫-商品评论爬虫
附源码
本教程适合初学者。 分析开始--------------- 打开京东商品链接,打开抓包工具(加载网页后打开抓包工具,发现没有抓到数据包,刷新网页就行),这边直接筛选js了,就不用看那么多内容。然后在响应数据中看看有没有想要的评论数据。 导包———>>>>>>>这边只需要导入两个包:分别对应爬虫和正则。 注意----->>>>初学者建议每一步都print一下,看一下动态组成的url是否可以手动访问,还可以看看正则处理前是否获取到数据。 源码如下: # -*- endoding: utf-8 -*- # @ModuleName:京东 # @Function(功能): # @Author : 苏穆冰白月晨 # @Time : 2021/3/7 0:56 import requests import re ''' https://club.jd.com/comment/productPageComments.action? callback=fetchJSON_comment98 &productId=1233203 &score=0 &sortType=5 &page=1 &pageSize=10 &isShadowSku=0 &fold=1 ''' def main(): first = 1 for i in range(1, 50): url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=1233203&score=0&sortType=5&pageSize=10&isShadowSku=0&fold=1&page=' finalurl = url + str(i) + '&pageSize=10&isShadowSku=0&fold=1' header = { 'User-Agent': "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0", } data = requests.get(url=finalurl,headers=header).text remodel_comment = re.compile(r'\"content\":\"([^"]+)\",\"(?:creationTime|vcontent)\"') # 匹配评论 comment_list = remodel_comment.findall(data) for i in comment_list: print(first,":",i) first += 1 main() |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |