爬虫 |
您所在的位置：网站首页 › 爬虫爬取淘宝商品数据 › 爬虫 |
|
提出问题 如何在京东商城爬取出各个商品的相关信息(价格，名称，评价，店铺名等等)，比如，打开web京东网站，在搜索框输入关键字：口红；那么商品展示列表的所有商品的信息，怎么爬下来，怎么保存到表格中。请实现这个功能。 解决思路 1、打开网站，输入关键字，点击搜索按钮2、将右侧下拉框拉到最下面，保证获取到全部的数据3、将每一个商品进行遍历，把每个item中的价格，名称，店铺，评价数量全部获取到4、将获取的信息，装在表格中 1 import time 2 import pandas as pd 3 from selenium import webdriver 4 import requests 5 from selenium.webdriver import Keys 6 from selenium.webdriver.common.by import By 7 8 if __name__ == '__main__': 9 search_word = input("请输入你要搜索的商品：") 10 page_size = int(input("请输入你要爬取的页数：")) 11 prices, names, commits, shops = [], [], [], [] 12 # 打开浏览器 13 driver = webdriver.Chrome() 14 driver.get("https://www.jd.com") 15 time.sleep(1) 16 # 将web网页窗口最大化 17 driver.maximize_window() 18 # 找到搜索框 19 input_box = driver.find_element(By.ID, "key") 20 # 将搜索的字输入到京东搜索框中 21 input_box.send_keys(search_word) 22 # 按下enter键 23 input_box.send_keys(Keys.ENTER) 24 25 # range(page_size) 26 for i in range(page_size): 27 # 将下拉框拖到最下面： 28 driver.execute_script('window.scrollTo(0,document.body.scrollHeight)') 29 time.sleep(3) # 确保在向下拖动的过程中，数据全部加载出来，加几秒等待 30 31 # 获取所有的li 32 good_lists = driver.find_elements(By.XPATH, '//*[@id="J_goodsList"]/ul/li') 33 34 for item in good_lists: 35 # 找到产品的价格 36 price = item.find_element(By.CLASS_NAME, "p-price").text 37 # 找到商品的名字 38 name = item.find_element(By.CLASS_NAME, "p-name").text 39 # 找到商品的评论 40 commit = item.find_element(By.CLASS_NAME, "p-commit").text 41 # 找到商品的店铺 42 shop = item.find_element(By.CLASS_NAME, "p-shop").text 43 # 将每一次爬到的数据信息，追加到列表[ ]中 44 prices.append(price) 45 names.append(name) 46 commits.append(commit) 47 shops.append(shop) 48 49 # 点击下一页 50 driver.find_element(By.CLASS_NAME, "pn-next").click() 51 52 df = pd.DataFrame({ 53 "价格": prices, 54 "名称": names, 55 "评论": commits, 56 "商家": shops 57 }) 58 59 # 将数据保存到excel表格中 60 df.to_excel("{}.xlsx".format(search_word))以上就是一个比较基础的爬虫Demo，通过selenium来实现，爬取的数据的业务逻辑较为简单，最后生成放在表格中就可以了。 感兴趣的同学可以去淘宝网去爬一下，练练手。 |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |