最近挺好奇的，B站每天Top100，具体什么视频最多，播放量和视频的弹幕数有没有比例关系。

所以，我们就来写一个Python爬虫，批量看看B站Top100是什么内容吧。

受限篇幅，只展现关键代码。Cron定时任务等，就不做展示啦。代码没有重构，如果有很大小伙伴需要，我重构了放GitHub吧～

最终效果（可视化数据）：https://mintimate.github.io/BilibiliSpiderDemo/

首先是Python的环境依赖，Python3自然不用多说。部分的依赖：

这里重点介绍两个依赖包：bilibili_api和pyecharts。

项目地址：https://github.com/MoyuScript/bilibili-api

使用这个库文件，主要是用于解决B站弹幕二进制加密问题：

# 根据视频BV号，获取视频信息v = video.Video(bvid='BV1AV411x7Gs')# 弹幕dms = sync(v.get_danmakus(0))for dm in dms: print(dm)

另外，这个库可能不会再更新：

但是，还有另外一个项目：https://github.com/SocialSisterYi/bilibili-API-collect

如果bilibili_api失效，可以用这个代替（比如：B站弹幕获取）。

项目地址：https://pyecharts.org/#/

这个Pyecharts完全可以替换原来的matplotlib库，还不用处理中文字库问题。

之所以刚开始还用matplotlib…… 主要是，我平时Python写的不多，代码写到一半，才发现有Pyecharts这个好用的库⁄(⁄ ⁄ ⁄ω⁄ ⁄ ⁄)⁄

支持的图多：

首先，我们需要爬取B站视频Top前100，观察页面，可以看到数据接口：

使用request模拟请求：

参数已经脱敏

如果再观察上述的数据接口，可以发现，这个请求的参数：

其中，pn=1代表Top20，pn=2代表Top21-40，以此类推。所以需要写一个for循环；配合数据接口内的分析：

代码如下：

bilibili_api.aid2bvid为aid转bvid，由bilibili_api提供。

最后，运行看看效果：

bilibili_api内提供了获取视频详情的方法，比如：

def _method_get_videos_info(bvid): # 实例化 Video 类 v = video.Video(bvid=bvid) # 获取视频信息 info = sync(v.get_info()) # 打印视频信息 return info

if __name__ == '__main__': print(_method_get_videos_info("BV1cL411w7RB"))

输出：

所以，刚刚我们已经用request获取了全部Top100视频的Bv号，现在只需要for循环一次，就可以得到全部视频的信息了。

既然这么简单，我们就多一步，将信息变成文件流，存储到csv文件内：

最后结果：

这样，我们的视频详情就获取完毕了。

弹幕怎么获取呢？其实也很简单，和刚刚一样，用外部包：

需要注意的是：B站弹幕获取有IP响应次数限制。解决的方法：

还需要注意，一些视频关闭弹幕功能，需要进行try...catch：

源码就不展示了：

另外，如果你爬取时候不行（因为B站更改了数据接口，而Bilibili_api项目停更了），可以注释源码内的这条数据：

或者你可以使用B站的数据接口：http://api.bilibili.com/x/v2/dm/web/seg.so参数：

下载下来是seg.so文件，需要解密，用protobuf编译：https://github.com/SocialSisterYi/bilibili-API-collect/blob/master/grpc_api/bilibili/community/service/dm/v1/dm.proto

就可以解析下载下来的二进制文件：

视频前6分钟，有一个弹幕投票…… 所以观众发的都是投票弹幕…… ╮(￣▽￣"")╭

看看存储的效果：

接下来就是数据可视化了。

首先，数据可视化前，一定需要有足够的数据。上文数据爬取，其实我在服务器上用cron定期执行了一个月了。所以得到的数据比较多：

所以，数据可视化时候，我先合并了数据。之后，进行画图。首先，获取了视频分类的词频：

其中，_method_get_videos_info_documents方法：

def _method_get_classify_info(video_top_file_name): ''' 根据视频信息csv文件，获取视频全部分类 :param video_top_file_name: :return: ''' df = pd.read_csv(video_top_file_name + ".csv", low_memory=False) return df['视频分类'].tolist()

为了做词云，提取全部弹幕，并选取前500词：

现在就可以画图了。

首先，我们定义一个页面：

这个是pyecharm的页面方法，其中page.add内的内容，为其他图的方法名。可以看到，我们依次会渲染：

page.render为最后写入的地址，需要为HTML,最后Python会进行渲染。

这个很简单，更着官方文档自己写一下就出来了：

需要注意，这里是作为对象返回一个Pie实例，用于给Page渲染。提前看看效果：

折线图也是一样的：

最后效果：

柱状图？应该是最简单的一个了：

最后效果：

词语就是前期的collection集合词频处理比较麻烦，不然也是很简单的：

最后效果：

为什么我前文说是Top 500弹幕，结果这里变成Top 100呢？其实是……500太多，页面无法展示全……所以临时改成100……

最后，我们来分析一下数据吧：

对于想投入自媒体的用户，建议选择“日常”类 或“搞笑”视频类的的视频，作为自己的创作目标，容易流量变现。

最后，根据这近20天的单天分析，可以轻易得出，周五到周天，普遍的网络用语会更多，应该是周末学生放假，或者上班族休息的原因，可以想到，Bilibili这个平台流量很大，总的用户群体很年轻。

若对文章很感兴趣，可以B站关注我ヾ(≧▽≦*)o

点此跳转“爱发电”页面(○｀ 3′○)