python爬取B站评论教程(2023

您所在的位置:网站首页 b站上的评论 python爬取B站评论教程(2023

python爬取B站评论教程(2023

2024-03-25 10:39| 来源: 网络整理| 查看: 265

由于b站的评论是动态加载,且经常更换评论的url格式,所以这是较新的一个爬取b站评论的方法。

使用chrome游览器里的检查功能(F12),调出开发人员工具

开发者工具

刷新,在filiter上输入main,右侧出现的request url便是b站评论的json文件。

BV15u411E7x9的json文件

对json文件解析,data['data']['replies']下是一个列表,每一项的["content"]["message"]便是评论,而评论下的['replies']列表下,每一项的["content"]["message"]是评论的子评论,接着写入文件就行。

selenium可以实现动态爬取,获得request url,我们只需要将准备好的BV号与b站视频的前缀结合起来https://www.bilibili.com/video/ + BV号,使用这个链接就可以动态爬取该视频下的相关文件,检索main?开头就可以找到评论文件了

driver = webdriver.Chrome(options=options)driver.get("https://www.bilibili.com/video/BV";+path_BV)target_url = "https://api.bilibili.com/x/v2/reply/wbi/main?"network = driver.execute_script("return window.performance.getEntries();")

得到评论json文件再用上述的方法,把评论和子评论写入本地文件就行了\( ̄︶ ̄*\))。

以上完毕,还有问题可以私信咱 o(* ̄▽ ̄*)ブ。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3