对于信息的爬取可以分为三个步骤进行处理，分别是获取网页、获取和解析数据最后保存数据。于是我们的主函数的框架如下：

爬虫毕竟是爬虫在它进行网页的访问的时候一般不能够直接进行访问，需要进行一定的伪装，伪装的信息可以通过Fn+F12查看。

以上URL是我们目标爬取网址，访问的方式也可以看到是GET，为了进行伪装，需要得到访问网页的正式信息，我们继续查看信息，可以看到以下：

这里我们选取user-agent和cookies这两条信息(伪装的信息越多越好)，user-agent其实是游览器的版本信息，cookies是用户的信息(非常重要，没有会被反扒)。

在获取完网页的解析后的html文件之后，然后就是对你需要的信息进行筛选，通过观察信息的结构先进行定位，定位之后在通过正则表达式再次进行信息的筛选。

可以通过以下的方式获取需要的信息的特征，比如我需要得到B站热门视频的每条视屏的信息：

以下就是对应的模块的代码信息：

找寻的方式有很多，比如你可以用li行进寻找，每一个li都对应着一个热门视频信息。但其实发现在所有内容中只有在这个模块中div对应的class是content，于是我们可以用一下的方式进行寻找：

在确定每个视频的位置之后，就只需要在获得的代码中进一步筛选，比如需要在这个模块中找出排名、