话不多说，直接进入正题，这次采集的对象是B站吃播up主，山药村二牛，本人一直挺喜欢他的视频，所以想采集一下他的视频信息，然后分析数据，看下他视频的情况。

　　首先是爬虫部分，采集的逻辑是从视频页将每个视频的信息和地址采集下来，再请求地址采集视频的弹幕。

　　进入视频页，https://space.bilibili.com/382534165/video，将中间的id换掉就是其他up主了。查看源码并没有视频的信息，所以可能是用异步加载的方式加载数据的，那么用谷歌浏览器的检查模式，很容易发现视频的数据都在下面那个请求的响应体中，返回的是json数据。

 　　视频的信息都在里面了，所以可以直接请求这个接口就可以获取到信息了，而该接口的请求参数也比较容易分析。

　　mid是up主的id，ps返回的视频数量，tid在后面的请求都不变，所以可以直接赋为0，pn是页数，后面的参数也直接复制即可。

　　下面就是爬取弹幕了，弹幕的话本人并没有在检查模式里面找到，然后通过百度，弹幕数据都在这一个接口中。很明显cid就是用于标识视频的，那么获取到cid就可以了。后来我才发现，这里最多只能获取1000条弹幕。

　　然后在视频信息里面并没有cid的信息，所以先从从视频播放页里面找。可以看到下面这一个接口返回的数据就有cid。

 　　然后看该接口的请求参数，只需要bvid就可以了，而bvid在视频信息里面就可以提取到，那么分析到此结束了，开始爬虫。

　　这里我使用scrapy框架，首先编写items，主要分为两个视频的和弹幕的，视频有title标题，aid，bvid，comment-评论数，created_time-发布时间，length-视频长度，play-播放量，cid。

　　弹幕就只有cid，和content-内容。

　　下面是爬取的函数。

　　然后在pipelines实现数据的保存，这里直接保存为csv文件即可，注意的是保存时数据的分隔符用了'|'，避免使用','，否则会影响pandas读入。

　　最后在setting加上请求头，以及启用piplines即可。

　　以上就是爬虫部分，下面是数据分析。

　　首先是读入数据，查看数据。

 　　数据读入正常，那么查看是否有缺失值。

 　　没有，那么来处理一下数据，首先是将created_time转换为日期的格式。

 　　处理完成，接下来将年月日的数据从字符串转换为整型，方便后面的数据可视化。并对这三列进行排序。

　　下面先取出了年和月的数据。方便可视化时添加时间轴。

　　使用pyecharts库进行可视化，这里展示的数据是播放量和评论数随时间变化的柱状图。

 　　这里仅展示了2020年的，但是这样并不能看出二牛视频的播放量波动情况。所以再使用折线图展示。

　　　　从该图可以看出，二牛视频的播放量和评论数波动不大，中间的最高点我去找了一下那个视频，原来是华农送竹鼠那期，怪不得那么多播放量。

　　接下来对视频长度和播放量使用了散点图可视化。

　　从这个图看出二牛的视频播放量和时长无关，播放量大概集中在5万左右。

　　接下来将标题做成词云图，看看二牛最喜欢用什么标题。

　　这里我使用的是jieba库进行分词，用正则简单处理了一下文本，并没有加入停用词。

　　从词云图看出，二牛一般都会用’吃‘什么，’做‘什么作为标题，’好吃‘，’过瘾‘，’真爽‘等字眼也出现得不少。

　　最后，用上了一直没用的弹幕做成词云图，因为弹幕最多只有1000条，所以就不做折线图这些的可视化了。

　　从词云图可以看出，大家一般喜欢发的弹幕的是’我‘，’许愿‘等，从小点的词可以看出也是有很多许愿的内容，例如：’四级‘，’面试‘，’不挂科‘，’脱单‘等。因为二牛在吃饭的时候有一个很有趣的点头，所以大家都喜欢在他点头的时候发弹幕，祈祷愿望成真。

　　好了，这一次的练手就到此结束了。