Python学习：用Selenium读取网页表格 |
您所在的位置：网站首页 › 成绩单的表格 › Python学习：用Selenium读取网页表格 |
|
1.获取表格元素：
表格的结构一般以table标签开始，此函数是获取table元素的，一个网页中可能不止一个表格，此处返回表格元素的列表。 def GetTableElements(): '''获得table标签元素列表，方便选择合适的表格''' driver = GetDriver() # 参考：selenium 根据 tag名 选择元素 https://blog.csdn.net/weixin_41665637/article/details/111315408 elements = driver.find_elements_by_tag_name('table') return elements 2.获取表格头的列信息：返回值形如 [‘列1的名字’, ‘列2的名字’] def _GetHeadList(table): ''' 功能：返回表格列的名称列表 参数：table：对应的表格元素 ''' thead = table.find_element_by_tag_name('thead') tr = thead.find_element_by_tag_name('tr') ths = tr.find_elements_by_tag_name('th') res = [] for th in ths: res.append(th.text) return res 3.读取一行里面的信息：其中heads就是从表头中获取的每一列的名字列表。 def _GetOneRow(tr,heads): ''' 功能：取得一行的信息 tr：当前行的tr元素 heads：是一个字符串列表，表示每一列的名称 返回值：返回一个字典，形如：{'Row1': value1, 'Row2':value2} ''' res = {} tds = tr.find_elements_by_tag_name('td') for i,td in enumerate(tds): res[heads[i]] = td return res 4.获取表格每一个单元格对象： def GetTable(table): ''' 功能：返回表格信息 参数：table：对应的表格元素 ''' res = [] # Python学习交流群：711312441 # 获得表格头 heads = _GetHeadList(table) tbody = table.find_element_by_tag_name('tbody') trs = tbody.find_elements_by_tag_name('tr') for tr in trs: row = _GetOneRow(tr,heads) res.append(row) return res 5.也可以把单元格对象转换成文本： def GetTableText(table): '''与GetTable函数相比，此函数把元素对象转换成文本''' res = [] table = GetTable(table) for row in table: tmpRow = {} for key in row.keys(): tmpRow[key]=row[key].text res.append(tmpRow) return res |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |