|
兄弟姐妹们！又到了化身曹贼的时间！冲鸭！  今天咱们把这个网站上的小姐姐小哥哥都给爬下来，当然你学会了去爬啥那就都随便了~
环境模块 用到的环境是Python3.6和pycharm 需要安装两个模块，requests和re模块，还会用到一个pprint模块，这个是内置的，不用安装，咱们直接调用就可以了。
代码部分 大概的意思都写在注释了，就不一一解释了，让我们直接用代码说话，反正写的太详细了，你们也不看看，就喜欢代码… 但是考虑到有些小伙伴可能零基础，所以安排一波视频教程给你们吧！ 
import requests # 模拟发送请求 # pip install requests
import pprint # 格式化输出模块 内置模块
import re # 正则表达式模块 专门用于字符串 匹配, 替换, 分割
def change_title(title):
new_title = re.sub('[\\\/\:\*\?\"\\|]', '_', title)
return new_title
for page in range(6, 11):
try:
#打印的时候显示爬多少页
print(f'=======================正在抓取第{page}页数据=========================')
# 1. 找数据对应的url连接地址
if page == 1:
url = 'https://v.6.cn/minivideo/getMiniVideoList.php?act=recommend&page=1&pagesize=30'
else:
url = f'https://v.6.cn/minivideo/getMiniVideoList.php?act=recommend&page={page}&pagesize=25'
# user-agent 浏览器的身份标识
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'}
# 2. 发送地址请求(包含了各种各样的数据) ua 伪装 遇到请求不到数据的时候可以考虑伪装
response = requests.get(url=url, headers=headers)
# json数据: 数据返回的一种形式
json_data = response.json()
# pprint.pprint(json_data)
# 3. 数据解析 字典: 数据容器
data_list = json_data['content']['list']
# print(data_list)
# 数据类型 流程控制 数据容器 ...
for data in data_list:
title = data['title'] # 视频的标题 # mp4 avi rmvb flv awn...
playurl = data['playurl'] # 视频地址
# print(title, playurl)
# 请求视频数据 视频数据 图片 音频 都属于二进制数据
video_data = requests.get(url=playurl, headers=headers).content
new_title = change_title(title)
# 4. 数据的保存
with open('video\\' + new_title + '.mp4', mode='wb') as f:
f.write(video_data)
print('保存完成:', new_title)
except:
continue
爬取结果 注意，这里没写自动创建文件，所以要自己先创建一个video文件和代码放到一起，不然没有结果的。  视频教程：
Python：批量爬取小哥哥小姐姐精品短视频，看的不亦乐乎！
不会安装模块的看这篇：如何安装python模块, python模块安装失败的原因以及解决办法
兄弟们，你的三连就是我的动力，能让我动力加满吗！ 
|