|
ps:这段代码是9月用python写的，环境是在python3.6跑起来的。最初的构想是通过爬取微信公众号的音频文件，通过存储到mogodb和下载到本地。最后发现微信的页面千变万化，不好分析，正好“局座召忠”在蜻蜓fm也有开，所以就写了这个东西。实际使用中会出现很少一些音频页面下载突然断掉，这是因为蜻蜓fm的一些页面结构有点不同，但代码是按照循环来的，所以。。。
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re
import requests
import os
import json
import pymongo
from bs4 import BeautifulSoup
from json.decoder import JSONDecodeError
#参考：https://yiweifen.com/html/news/WaiYu/28175.html
MONGO_URL = 'localhost'
MONGO_DB = 'juzuo'
MONGO_TABLE = 'audio'
#连接mongodb
client = pymongo.MongoClient(MONGO_URL, connect=False)
db = client[MONGO_DB]
def get_page_index(url): #获取总页数
try:
url_detail=url
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'}
data=requests.get(url_detail,headers=headers)
result=data.text
#找到返回值为data-reactid的ul下的li 并选取倒数第二个作为page页数
soup=BeautifulSoup(result,'lxml')
page_count=soup.find('ul',{'class':'pagination'}).findAll('a',{'data-reactid':True})
page_count=int(page_count[-2].text)
title=soup.title.string
return page_count,title
except Exception as e:
print("error connect!")
def get_detail(index,idnum): #获取各页面音频地址
try:
url_page=r'https://i.qingting.fm/wapi/channels/'+str(idnum)+r'/programs/page/'+str(index)+r'/pagesize/10'
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'}
data=requests.get(url_page,headers=headers)
if data.status_code == 200:
return data.text
except Exception as e:
print("error connect!")
def parse_page_index(text): #解析json数据
aduio_url=r'https://od.qingting.fm/'
try:
text_item = json.loads(text) #载入json数据
if text_item and 'data' in text_item.keys():
item=text_item.get('data') #进入json的data里面
for x in item: #抽取每个数据块的数据
yield {
'file_url':aduio_url+x.get('file_path'), #音频地址拼接
'name':x.get('name') #音频名
}
except JSONDecodeError:
pass
def download_mongodb(result): #存入mongo数据库
if db[MONGO_TABLE].insert(result):
print('Successfully Saved to Mongo', result)
return True
return False
def downloadfile(out,title,index):
dirname =title #获取专辑名称，不存在则创立
if os.path.isdir(dirname):
pass
else:
os.mkdir(dirname)
path=r'C:/Users/Ronales/Desktop/'+dirname+r'/' #把这个路径改成你自己的
for item in out: #迭代json数据
with open(path+str(item['name'])+r'.m4a',"wb") as fd:
response=requests.get(item['file_url']) #请求并下载
fd.write(response.content)
print('\n第%d页的 ：%s.m4a 下载成功!' %(index,str(item['name'])))
if __name__ == '__main__':
url = input("请输入你想下载的页面: ")
idnum=url.split(r'/')[-1]
index,title=get_page_index(url)
for i in range(1,index+1):
text=get_detail(i,idnum)
out=parse_page_index(text) #yield生成的为迭代器类型
downloadfile(out,title,i)
# download_mongodb(out)
|