python爬取b站小黑屋 python爬取b站个人动态

您所在的位置:网站首页 如何找url python爬取b站小黑屋 python爬取b站个人动态

python爬取b站小黑屋 python爬取b站个人动态

2023-07-03 03:04| 来源: 网络整理| 查看: 265

首先这里说一下我标题动态内容指的就是一个网页,每天你去浏览它的时候有些内容是更新的,所以这些是在源代码里面没有的。例子为B站每天的轮播和静态推荐内容都是不断更新的。

python爬取b站小黑屋 python爬取b站个人动态_3d

因此,如果想要爬取这些信息,一直用之前的爬取方式:requests.get(URL) ,是找不到这些的。用的是和get相呼应的:requests.post(URL) 。

关键一,就是如何正确得到这些动态更新内容的URL:

python爬取b站小黑屋 python爬取b站个人动态_python爬取b站小黑屋_02

打开网页,审查元素里面到Network,这时,刷新页面,Network下面的列表内容就会更新,找xhr。我现在是知道找那个了,大体上就是Type是xhr,Name能看出些明堂的那个。例子如下:

python爬取b站小黑屋 python爬取b站个人动态_python爬取b站小黑屋_03

看到ranking-3day这个哟,xhr,有种就是它的感觉,就决定是它了。

python爬取b站小黑屋 python爬取b站个人动态_Network_04

python爬取b站小黑屋 python爬取b站个人动态_3d_05

很好,在Preview里面找到了那些每天更新的内容,而它们所在的URL在Headers里面的Request URL可以看到。

# 首页静态推荐 url1 = 'http://www.bilibili.com/index/ranking-3day.json' r = requests.post(url1) r.encoding = 'utf-8' p_json = r.json()

到这里才是开始,有没有看见json(),如何解析json,从json里面得到想要的数据信息是下部分会讲到的。我会为目前自己遇到的两种情况进行说明。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3