问题解决：爬取京东商品信息返回网址而不显示内容 |
您所在的位置：网站首页 › 京东看数据的叫什么 › 问题解决：爬取京东商品信息返回网址而不显示内容 |
问题解决：爬取京东商品信息返回网址而不显示内容
|
文章目录
1.爬取原页面2.错误代码3.错误分析4.完整代码
1.爬取原页面
这里要爬取的原页面如下图： 不知道各位小伙伴是不是和我一样使用的是如下图的代码呢？ import requests url = "http://item.jd.com/2967929.html" try: r = requests.get(url) r.raise_for_status() print(r.status_code) r.encoding = r.apparent_encoding print(r.text[:1001]) except: print("爬取异常")我用以上代码得到的结果是这样的
使用IDLE交互式环境进行错误分析 （1）查看状态码和编码方式
（2）输出提交给京东的头部信息
（3）解决办法 既然找到了错误原因，那么相应的解决办法也就显而易见了，我们只需要使用字典构建一个构造一个键值对，更改下头部信息。将上述user-agent中的内容改成任意浏览器即可。 headers = {"User-Agent": "Mozilla/5.0"}Mozilla/5.0表示提交访问的可能是火狐、Google等任意浏览器，它是标准的浏览器的身份标识字段。 4.完整代码 import requests url = "http://item.jd.com/2967929.html" headers = {"User-Agent": "Mozilla/5.0"} try: r = requests.get(url, headers=headers) #因为京东有user-agent限制所以要加入头部信息 r.raise_for_status() print(r.status_code) r.encoding = r.apparent_encoding print(r.text[:1001]) except: print("爬取异常")输出内容如下图，我们可以看到已经能够正常爬取内容了
|
只有一个网址，而并没有和预想的一样会显示内容，这是什么原因呢，我们来分析。
通过状态码和编码方式的查看我们发现好像并没有任何问题，这时候就要考虑是不是京东对爬虫做了user-agent限制呢
通过输出头部信息，我们发现，在提交给京东的信息中，我们很诚实的告诉了京东所使用的爬虫获取信息，由于京东对爬虫做了来源审查，所以我们并不能查看爬取的内容
本篇完，如有错误欢迎指出~【本文地址】
今日新闻 |
推荐新闻 |