上次写了ssr系列，它主要依靠服务器渲染代码，并且没有什么困难的地方，主要学习的是request请求中的技巧和html页面元素的定位抓取等爬虫基础技巧。这次记录的是spa系列的1-3个，因为这三个是一个电影网站其他只是细节不同，记录起来比较容易点，这个系列的代码数据都通过Ajax加载，页面动态渲染，主要学习的是通过接口获取json数据并处理以及js的逆向分析，难度提升了一大截，这个系列我的目标是爬取首页每个电影的标题，主题，评分以及电影详情页里面的电影剧情

json数据的处理，js逆向分析

电影数据网站，无反爬，数据通过 Ajax 加载，页面动态渲染，适合 Ajax 分析和动态页面渲染爬取。

这关主要学习的是通过接口抓取指定的json数据并处理

电影数据网站，无反爬，数据通过 Ajax 加载，数据接口参数加密且有时间限制，适合动态页面渲染爬取或 JavaScript 逆向分析。 这关主要学习的是js的逆向分析

通过打开网站主页面，发现接口多了一个token的值 而且点开电影详情页面，接口不仅多了一个token值，而且在movie/后面多了一串字符串 先对网站主页的token进行分析，在浏览器调试工具中调试相关js代码，分析token的产生加密方法 因为是网络请求，并且url中包括token，所以通过url断点入手 下断点，刷新请求 在send函数处断下 在右侧的栈依次往下看，在onFetchData函数中发现了token的值，取消url断点，在token处设下断点，刷新请求 object()向后面传入了当前的url，单步进入后面的代码，进入新的代码块，这次可以看到 sha1 函数和 base64 函数，应该是加密函数所在位置了，进行单步调试

首先可以看到时间戳，然后从arguments中获取了当前的url

然后进行循环，循环之后将当前url和时间戳放进了r中， 第10页的网站页面是这样的 我们可以发现除了时间戳因为时间变化之外，中间的数值也改变了，我们可以看出来中间的数值的规律是： 假设当前页面为n，数值的值为a a=(n-1)*10

r的值放到SHA1加密函数中进行加密，出来的值为o

然后将o的值和时间戳t放进base64进行加密，加密后的值为c

然后返回

可以看到最后token的值就是我们刚才的c值 这样，token的加密方式就已经解出来了，步骤为：

o=sha1(url,(页面数-1)*10,时间戳)=>c=Base64(o,时间戳)=> token=c

转换为代码为：

SHA1加密

Base64加密

b64str就是最后的token的值了,在这个过程中需要注意的是两次加密，共用的是同一个时间戳，并不是一次加密获取一个

我们刚开始看到在电影详情页面中除了token之外还有一串加密的字符 我们接下来的目标就是分析token和这串字符的产生方式

这串字符是固定的，尝试直接url断点，然后堆栈往下读，到了熟悉的onFetchData函数 设置断点，清除掉url断点，继续刷新请求单步调试

可以看到在上面的e变量已经url计算好了，e变量来源于o变量，调整断点，进行断点调试，但是在调试的过程中发现值来源于key参数，但是在调试中并没有找到key的计算来源，只能全局搜索key，看看key是怎么来的 一共9个匹配项，一点点调试可疑的，最后找到

设置断点，刷新，单步进入

继续调试 最后可以看到那串加密过的字符串，加密的方式是通过n这个固定的字符串变量+t，而t则表示的是第几个电影,然后经过base64加密 所以加密的方式为: Base64(ef34#teuq0btua#(-57w1q5o5–j@98xygimlyfxs*-!i-0-mb+t)

而token和上面的基本一致，但是中间的一些细节可能不一样，在分析过程中，加密方式的大致流程也是先SHA1加密，然后再Base64加密，但是中间的参数却是不一样了 大致流程为： o=sha1(url,0,时间戳)=>c=Base64(o,时间戳)=> token=c 但是url中在后面加入了刚才的字符串，中间的本来是页数，现在固定为0

这部分代码的加密和上面的类似，就不再单独写

最后，所有的加密方式以及对应的代码都已经分析好了

单线程

多线程

因为想尝试一下单线程与多线程的区别，所以两种都写了一种，但是最后结果有点让人脑袋疼，多线程最后运行的时间和单线程的差不多，而且多次测试中，有时候还会比单线程更慢

电影数据网站，无反爬，数据通过 Ajax 加载，无页码翻页，下拉至底部刷新，适合 Ajax 分析和动态页面渲染爬取。

这关是没有页码，下拉直接刷新，通过分析我们可以看出来，这个是通过构造api连接，limit控制个数，offset控制从第几个开始，api直接提供了所有的东西，所以直接把第一关的拿过来稍微改改就可以使用

总代码