Python最简单的图片爬虫，20行代码带你爬遍整个网站 |
您所在的位置：网站首页 › 图片爬虫app下载的图片在哪 › Python最简单的图片爬虫，20行代码带你爬遍整个网站 |
Python最简单的图片爬虫，20行代码带你爬遍整个网站
 前言 网络上的信息很多，有的时候我们需要关键字搜索才可以快速方便的找到我们需要的信息。今天我们实现搜索关键字爬取堆糖网上相关的美图，零基础学会通用爬虫，当然我们还可以实现多线程爬虫，加快爬虫爬取速度 我们之前写的爬虫都是单个线程的？这怎么够？一旦一个地方卡到不动了，那不就永远等待下去了？为此我们可以使用多线程或者多进程来处理。  知识点： 认识和了解爬虫、爬虫思路、urllib.parse、jsonpath库 环境： windows、pycharm、python3 第三方库： requests、jsonpath 导入模块 import urllib.parse import json import requests import jsonpath确定目标网址 url = 'https://www.duitang.com/napi/blog/list/by_search/?kw={}&start={}'分析网站，确定爬取目标 label = '美女' label = urllib.parse.quote(label)发送请求，提取数据 num = 0 for index in range(0,2400,24): u = url.format(label,index) we_data = requests.get(u).text类型转换 html = json.loads(we_data) photo = jsonpath.jsonpath(html,"$..path")保存数据 for i in photo: a = requests.get(i) with open(r'C:\Users\Administrator\Desktop\tupian\{}.jpg'.format(num),'wb') as f: f.write(a.content) # 二进制 num += 1运行代码，效果如下图： 
|
【本文地址】
今日新闻 |
推荐新闻 |