|
前段时间可转债市场很火，近期由于信用债暴雷，可转债市场一下就哑火了。想想就可笑，但可转债市场毕竟有300只左右的规模，未来势必会更大，考虑到tushare没有可转债的实时行情，我就在csdn上找了一个爬虫程序，改了一下。
import jsonimport requestsimport csvimport refrom lxml import etreedef get_dat(): headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36", } newUrl ="https://www.jisilu.cn/data/cbnew/cb_list/?___jsl=LST___t=1584777951900" #最简单的爬虫请求.也可以加上headers字段，防止部分网址的反爬虫机制 response = requests.get(newUrl) #当爬取的界面需要用户名密码登录时候，构建的请求需要包含auth字段 data = response.content.decode("utf-8") dat = json.loads(data) # 所有数据 lst_data = [] for one in dat['rows']: # 每一条数据 lst_dat = [] #
|