使用Selenium爬取淘宝商品(绕过登录页面) |
您所在的位置:网站首页 › selenium反爬监测吗 › 使用Selenium爬取淘宝商品(绕过登录页面) |
文章目录
1.准备工作2.接口分析3.页面分析4.获取商品列表5.解析商品列表6.保存到MongoDB7.遍历每页8.异常处理(绕过登录反爬机制)方法一:修改ChromeDriver.exe方法二:将用户信息的配置文件在代码中加载
9.运行参考文献
在之前的文章中,我们成功尝试分析Ajax来抓取页面相关数据,但是并不是所有的页面都可以通过分析Ajax来完成抓取。比如,淘宝,它的整个页面数据构造也是用过Ajax获取的,但是这些Ajax接口参数比较复杂,可能会包含加密密钥等,所以如果想自己构造Ajax参数,还是比较困难的。对于这种页面,最方便快捷的抓取方法就是通过Selenium。下面,我们用Selenium来模拟浏览器操作,抓取淘宝商品信息,并将结果保存到MongoDB。
1.准备工作
本文以Chrome为例来讲解Selenium的用法。在开始之前,请确保已经正确安装好了Chrome浏览器并配置好了ChromeDriver;另外,还需要正确安装Python的Selenium库。 2.接口分析首先,我们来打开淘宝的接口,观察一下它的ajax请求。 打开淘宝页面,搜索商品,比如ipad,此时打开开发者工具,查看Ajax请求,我们可以发现,根本没有Ajax请求,如图 我们的目标是爬取商品信息。如图是一个商品条目,其中包含商品的基本信息,包括商品图片、名称、价格、购买人数、店铺名称和店铺所在地,我们要做的就是将这些信息都抓取下来。 首先,需要构造一个抓取的URL:https://s.taobao.com/search?q=ipad。这个URL非常简洁,参数q就是要搜索的关键字。只要改变这个参数,即可获取不同的商品列表。这里我们将商品的关键字定义成一个变量,然后构造出这样的一个URL。 然后就需要用Selenium进行抓取了。我们实现了如下抓取列表页的方法: from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDriverWait from urllib.parse import quote import time browser = webdriver.Chrome() wait = WebDriverWait(browser,10) KEYWORD = 'ipad' def index_page(page): """ 抓取索引页 :param page: 页码 """ print('正在爬取第',page,'页') try: url = 'https://s.taobao.com/search?q='+quote(KEYWORD) browser.get(url) if page>1: input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager div.form > input'))) submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#mainsrp-pager div.form > span.btn.J_Submit'))) input.clear() input.send_keys(page) submit.click() wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,'#mainsrp-pager li.item.active > span'),str(page))) wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'.m-itemlist .items .item'))) get_products() except TimeoutException: index_page(page)这里首先构造了一个WebDriver对象,使用的浏览器是Chrome,然后指定一个关键词,如ipad,接着定义了index_age()方法,用于抓取商品列表页。 在该方法里,我们首先访问了搜索商品的链接,然后判断了当前的页码,如果大于1,就进行跳页操作,否则等待页面加载完成。 等待加载时,我们使用了WebDriverWait对象,它可以指定等待条件,同时指定一个最长等待时间,这里指定为10s。如果在这个时间内成功匹配了等待条件,也就是说页面元素成功加载出来了,就立即返回相应结果并继续向下执行,否则到了最大等待时间还没有加载出来时,就直接抛出超时异常。 比如,我们最终要等待商品信息加载出来,就指定了presnece_of_element_located这个条件,然后传入了.m-itemlist .items .item这个选择器,而这个选择器对应的页面内容就是每个商品的信息块,可以在网页中查看。如果加载成功,就会执行后续的get_products()方法,提取商品信息。 关于翻页操作,这里首先获取页码输入框,赋值为input,然后获取“确定”按钮,赋值为submit,分别是图中的两个元素。 接下来,我们就可以实现get_products()方法来解析商品列表了。这里我们直接获取页面源代码,然后用pyquery进行解析,实现如下: from pyquery import PyQuery as pq def get_products(): """ 提取商品数据 """ html = browser.page_source doc = pq(html) items = doc('#mainsrp-itemlist .items .item').items() for item in items: product = { 'image':item.find('.pic .img').attr('data-src'), 'price':item.find('.price').text(), 'deal':item.find('.deal-cnt').text(), 'title':item.find('.title').text(), 'shop':item.find('.shop').text(), 'location':item.find('.location').text() } print(product) save_to_mongo(product)首先,调用page_source属性获取页码的源代码,然后构造了PyQuery对象,提取了商品列表,此时使用的CSS选择器是#mainsrp-itemlist .items .item,它会匹配整个页面的每个商品。它的匹配结果是多个,所以这里我们又对它进行了一次遍历,用for循环将每个结果分别进行解析,每次循环把它赋值为item变量,每个item变量都是一个PyQuery对象,然后再调用它的find()方法,传入CSS选择器,就可以获取单个商品的特定内容。 比如查看一下商品源码 接下来,我们将商品信息保存到MongoDB,代码如下: import pymongo MONGO_URL = 'localhost' MONGO_DB = 'taobao' MONGO_COLLECTION = 'products' client = pymongo.MongoClient(MONGO_URL) db = client[MONGO_DB] def save_to_mongo(result): """ 保存结果到MongoDB """ try: if db[MONGO_COLLECTION].insert(result): print('存储到MongoDB成功') except Exception: print('存储到MongoDB失败')这里首先创建了一个MongoDB的连接对象,然后指定了数据库,随后指定了Collection的名称,接着调用insert()方法将数据库插入到MongoDB。此处的result的变量就是在get_products()方法里传来的product,包含单个商品的信息。 7.遍历每页刚才我们所定义的get_index()方法需要接收参数page,page代码页码。这里我们实现页码遍历即可,代码如下: MAX_PAGE = 10 def main(): """ 遍历 :return: """ for i in range(1,MAX_PAGE+1): index_page(i) time.sleep(10) main()最后调用main()方法即可运行。 8.异常处理(绕过登录反爬机制)当写到这里,如果运行程序会发现,程序在弹出浏览器窗口后,会出现登陆页面,但是当你尝试输入账户密码时,滑块的验证始终失效。并且页面还会不断刷新。如图 之所以出现这种情况,是因为在淘宝的登录页面,有这样一个js,它会判断你是通过驱动打开的浏览器还是其他情况,如果是驱动打开那么这个判断为真就会出现这种情况,如图,为判断的js 如果这种方法不能奏效,请看第二种方法 方法二:将用户信息的配置文件在代码中加载首先,在Chrome中输入chrome://version/查看信息。如图,这是我们用户信息。 这样在爬取时就不会出现登录页面了。 此时运行代码,会发现弹出一个Chrome浏览器,然后会访问淘宝页面,接着控制台输出如下 最后给出本文的代码地址:https://github.com/jiangwenvae/Spider/blob/main/spider/taobaoSleninum.py 参考文献 [1].Python3网络爬虫开发实战.崔庆才.——7.4使用Selenium爬取淘宝商品 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |