本系列文档用于对Python爬虫技术的学习进行简单的教程讲解，巩固自己技术知识的同时，万一一不小心又正好对你有用那就更好了。 Python 版本是3.7.4

有时候我们在用requests抓取页面的时候，得到的结果可能和在浏览器中看到的不一样。在浏览器中可以看到正常显示的页面数据，但是使用requests得到的结果并没有。这是因为requests获取的都是原始的HTML文档，而浏览器中的页面则是经过JavaScript处理数据后生成的结果，这些数据的来源有多种，可能是通过Ajax加载的，可能是包含在HTML文档中的，也可能是经过JavaScript和特定算法计算后生成的。

所以如果遇到这样的页面，直接利用requests等库来抓取原始页面，是无法获取到有效数据的，这时需要分析网页后台向接口发送的Ajax请求，如果可以用requests来模拟Ajax请求，那么就可以成功抓取了。

所以，本篇我们的主要了解什么是Ajax以及如何去分析和抓取Ajax请求。

AJAX(Asynchronous JavaScript And XML)异步JavaScript和XML。通过在后台与服务器进行商量的数据交换，Ajax可以是网页实现异步更新，这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。传统的网页（不使用Ajax）如果需要更新内容，必须重载整个网页页面，因为传统的在传输数据格式方面，使用的是XML语法，因此叫做Ajax。其实限制数据交互基本上都是使用JSON，使用Ajax加载的数据，即使使用了JS，将数据渲染到了浏览器中，在查看网页源码还是不能看到通过Ajax加载的数据，只能看到使用这个url加载的HTML代码。

浏览网页的时候，我们会发现很多网页都有下滑查看更多的选项。例如微博、今日头条等，还有一些是根据鼠标下拉自动加载更多，这些其实就是Ajax加载的过程。我们可以看到页面并没有整个刷新，也就意味着页面的链接没有变法，但是网页中却多了新内容，着就是通过Ajax获取新数据并呈现的过程。

使用Chrome开发者工具的筛选功能筛选出所有的Ajax请求，在这里对此就不再进行详细讲解。

使用Fiddler抓包工具也可进行抓包分析。Fiddler工具的使用方法在这里也不在进行讲解，大家可在网上进行搜索查看。

Ajax的响应结果一般都是json数据格式。

下面我们就做一个实例，爬取知乎下问题“当一个颜值很高的程序员是怎样一番体验？”的所有答案。实例代码如下：