專 欄

❈邓旭东，Python中文社区专栏作者。

简书：

http://www.jianshu.com/u/1562c7f16a04

❈

今天给大家录制了一个爬新浪微博的爬虫，也用到了抓包分析网址，但相较于以前，单纯的使用抓包分析网址在新浪微博是无效的。

cookie是什么

某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据（通常经过加密）。目前有些 Cookie 是临时的，有些则是持续的。临时的 Cookie 只在浏览器上保存一段规定的时间，一旦超过规定的时间，该 Cookie 就会被系统清除。持续的 Cookie 则保存在用户的 Cookie 文件中，下一次用户返回时，仍然可以对它进行调用。

注意：

微博中的cookie有时间限制，如果运行有问题，可以更换下cookie

如何使用cookie

我们要构造成字典格式，如上。这样应用到请求网址的时候添加到请求头中去即可（不懂也没关系，继续往下看，有视频讲说的）。

requests库

rquests is an elegant and simple HTTP library for Python, built for human beings.Requests是一个优雅简洁的Python HTTP库，给人类使用。

使用方法如下：

r=requests.get(url,cookiess = Cookie)

实战分析

那么我们打开开发者工具，抓包分析下网址验证我们的网址规律思路

抓包分析

接下来我只是测试下，抓孔庆东微博博文的标题，如下图红色方框对应的html标签是h4

代码及运行图部分