python爬虫+selenium模拟点击+网页内容需要点击打开 |
您所在的位置：网站首页 › Python获取网页信息 › python爬虫+selenium模拟点击+网页内容需要点击打开 |
|
先说一下selenium 的定位方法 find_element_by_id find_element_by_name find_element_by_xpath find_element_by_link_text find_element_by_partial_link_text find_element_by_tag_name find_element_by_class_name find_element_by_css_selector 前八种是大家都熟悉的，经常会用到的 1.id定位：find_element_by_id(self, id_) 2.name定位：find_element_by_name(self, name) 3.class定位：find_element_by_class_name(self, name) 4.tag定位：find_element_by_tag_name(self, name) 5.link定位：find_element_by_link_text(self, link_text) 6.partial_link定位find_element_by_partial_link_text(self, link_text) 7.xpath定位：find_element_by_xpath(self, xpath) 8.css定位：find_element_by_css_selector(self, css_selector） 这八种是复数形式 9.id复数定位find_elements_by_id(self, id_) 10.name复数定位find_elements_by_name(self, name) 11.class复数定位find_elements_by_class_name(self, name) 12.tag复数定位find_elements_by_tag_name(self, name) 13.link复数定位find_elements_by_link_text(self, text) 14.partial_link复数定位find_elements_by_partial_link_text(self, link_text) 15.xpath复数定位find_elements_by_xpath(self, xpath) 16.css复数定位find_elements_by_css_selector(self, css_selector from bs4 import BeautifulSoup from selenium import webdriver target = '网页网址' option = webdriver.ChromeOptions() option.add_argument('headless') # 设置option,后台运行 driver = webdriver.Chrome(chrome_options=option) driver.get(target)单个按钮需要点击的话,只需要按照上面的1-8条找到需要点击的标签,然后添加click()方法就行了. result= driver.find_element_by_class_name('需要点击的类名') result.click()这样就实现了点击效果 多个按钮需要点击,可以选择复数形式9-16条.然后用对应的类名找到所有的标签,注意这里我用result_list,因为返回的是一个list列表,选择其中第4-7个标签,然后实现分别点击 result_list= driver.find_elements_by_class_name('需要点击的类名') for i in range(4, 8): result_list[i].click()接下来就可以对展开的网页进行爬取了 selenium_page = driver.page_source driver.quit() soup = BeautifulSoup(selenium_page, 'html.parser') # one = soup.find('div', {'class': '布拉布拉类名'}) 单个 many= cities.find_all('div', {'class': '咕噜咕噜类名'}) #多个 for i in many: content = i.find_all('p') #找到对应元素 nation = content[0].get_text() # 读取内容谁能仅靠十年寒窗苦读，去经营百岁人生? 活到老，学到老！ 知识改变人生！ 共勉！ |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |