python 3.7 使用requests 爬取 163邮件列表 与 邮件内容详情 |
您所在的位置：网站首页 › 163邮箱批量发送 › python 3.7 使用requests 爬取 163邮件列表 与 邮件内容详情 |
|
最近想使用网易邮箱批量注册几个网站小号，注册时需要获取邮箱收到的注册码，一个一个的点开邮件太麻烦，于是就产生了写这个脚本的想法，中间也遇到一些问题，会在文章中详细的解说。 本文将使用 requests 库来实现需求，当然也可以使用 urllib、imaplib、selenium： urllib 实现过程跟requests相近； imaplib 应用于开启了 IMAP/SMTP服务 的场景； selenium多应用于自动化测试中，结合浏览器使用的；接下来要实现我的小目标，首先先分解下功能： 1.实现163邮箱自动登录 2.获取邮件列表 3.找到收到验证码的邮件（由于某些原因，本文忽略此步） 4.抓取邮件详细内容先提前说一下，实现的过程遇到的一些问题： SSL校验问题 抓取邮件详细内容时，一直提示登录超时以上问题都已解决，接下来细说一下实现的过程 一、实现163邮箱自动登录思路：使用账号密码，获取 sid 和 cookie 登录部分没有什么难点，主要是url找对，就没问题了，代码如下： import requests import re import urllib3 #忽略证书警告 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) class MAIL163: def __init__(self, username, password): self.session = requests.Session() self.username = username self.password = password self.sid = None def login(self): loginUrl = "https://mail.163.com/entry/cgi/ntesdoor?style=-1&df=mail163_letter&net=&language=-1&from=web&race=&iframe=1&product=mail163&funcid=loginone&passtype=1&allssl=true&url2=https://mail.163.com/errorpage/error163.htm" headers = { 'Referer': "https://mail.163.com/", 'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.2 Safari/605.1.15" } postData = { 'savelogin': "0", 'url2': "http://mail.163.com/errorpage/error163.htm", 'username': self.username, 'password': self.password } response = self.session.post(loginUrl, headers=headers, data=postData, verify=False) #提取sid，获取邮件信息需要使用它 pattern = re.compile(r'sid=(.*?)&', re.S) self.sid = re.search(pattern, response.text).group(1) 二、获取邮件列表思路：利用登录获取的 sid 和 cookie ,请求数据 获取列表部分，写的时候遇到了点问题，主要是获取mail的各种信息，当时用 charles抓包时，返回的数据是json格式的，但是用requests请求，得到响应结果，进行解析json时，提示格式错误： Expecting property name enclosed in double quotes: line 1 column 2（char 1）后来找到了解决办法：使用demjson的包来处理，参照文章，但是最后我还是选择了使用正则匹配（没有原因），代码如下： def messageList(self): listUrl = 'https://mail.163.com/js6/s?sid=%s&func=mbox:listMessages' % self.sid Headers = { 'Accept': "text/javascript", 'Accept-Language': "zh-CN,zh;q=0.9", 'Connection': "keep-alive", 'Host': "mail.163.com", 'Referer': "https://mail.163.com/js6/main.jsp?sid=%s&df=mail163_letter" % self.sid, 'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.2 Safari/605.1.15" } response = self.session.post(listUrl, headers=Headers, verify=False) pattern = re.compile( "id..'(.*?)',.*?from..'(.*?)',.*?to..'(.*?)',.*?subject..'(.*?)',.*?sentDate..(.*?),\n.*?receivedDate..(.*?),.*?hmid..(.*?),\n", re.S) mails = re.findall(pattern, response.text) for mail in mails: mid = mail[0] print('-' * 45) print('mid:', mid) print('发件人:', mail[1], '主题:', mail[3], '发送时间:', mail[4]) print('收件人:', mail[2], u'接收时间:', mail[5]) 三、抓取邮件详细内容思路：利用登录获取的 sid 和 cookie、邮件列表获取的 mid ,来请求数据 这部分是卡住我的关键点，headers改来改去的，始终获取不到邮件内容，查阅了一些文章，说是sid失效的原因，但是我用charles抓包，sid从没有失效过，我猜想应该是哪里少了参数，于是仔细对比charles请求的headers、cookie、表单等一切信息，发现需要在原 cookie中新增sid内容，对应的字段名为‘Coremail.sid’，具体代码如下： def message(self, mid): Headers = { 'Accept': "text/javascript", 'Accept-Language': "zh-CN,zh;q=0.9", 'Connection': "keep-alive", 'Host': "mail.163.com", 'Referer': "https://mail.163.com/js6/main.jsp?sid=%s&df=mail163_letter" % self.sid, 'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.2 Safari/605.1.15" } #cookie加上这个，才能获取邮件详情 cookie = { 'Coremail.sid': self.sid, } url = 'https://mail.163.com/js6/read/readhtml.jsp?mid=%s&userType=ud&font=15&color=064977' % mid requests.utils.add_dict_to_cookiejar(self.session.cookies, cookie) response = self.session.get(url, headers=Headers, verify=False) print('邮件详情 =====>') print(response.text) 四、最后一步：将所有功能串联起来email_163.py整体的代码如下： #!/usr/bin/env # -*- coding:utf-8 -*- import requests import re import json import urllib3 # 忽略证书警告 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) class MAIL163: def __init__(self, username, password): self.session = requests.Session() self.username = username self.password = password self.sid = None def login(self): loginUrl = "https://mail.163.com/entry/cgi/ntesdoor?style=-1&df=mail163_letter&net=&language=-1&from=web&race=&iframe=1&product=mail163&funcid=loginone&passtype=1&allssl=true&url2=https://mail.163.com/errorpage/error163.htm" headers = { 'Referer': "https://mail.163.com/", 'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.2 Safari/605.1.15" } postData = { 'savelogin': "0", 'url2': "http://mail.163.com/errorpage/error163.htm", 'username': self.username, 'password': self.password } response = self.session.post(loginUrl, headers=headers, data=postData, verify=False) #提取sid，获取邮件信息需要使用它 pattern = re.compile(r'sid=(.*?)&', re.S) self.sid = re.search(pattern, response.text).group(1) # 通过sid码获得邮箱收件箱信息 def messageList(self): listUrl = 'https://mail.163.com/js6/s?sid=%s&func=mbox:listMessages' % self.sid # 新的请求头 Headers = { 'Accept': "text/javascript", 'Accept-Language': "zh-CN,zh;q=0.9", 'Connection': "keep-alive", 'Host': "mail.163.com", 'Referer': "https://mail.163.com/js6/main.jsp?sid=%s&df=mail163_letter" % self.sid, 'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.2 Safari/605.1.15" } response = self.session.post(listUrl, headers=Headers, verify=False) pattern = re.compile( "id..'(.*?)',.*?from..'(.*?)',.*?to..'(.*?)',.*?subject..'(.*?)',.*?sentDate..(.*?),\n.*?receivedDate..(.*?),.*?hmid..(.*?),\n", re.S) mails = re.findall(pattern, response.text) for mail in mails: mid = mail[0] print('-' * 45) print('id:', mid) print('发件人:', mail[1], '主题:', mail[3], '发送时间:', mail[4]) print('收件人:', mail[2], u'接收时间:', mail[5]) self.message(mid) def message(self, mid): Headers = { 'Accept': "text/javascript", 'Accept-Language': "zh-CN,zh;q=0.9", 'Connection': "keep-alive", 'Host': "mail.163.com", 'Referer': "https://mail.163.com/js6/main.jsp?sid=%s&df=mail163_letter" % self.sid, 'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.2 Safari/605.1.15" } #cookie加上这个，才能获取邮件详情 cookie = { 'Coremail.sid': self.sid, } url = 'https://mail.163.com/js6/read/readhtml.jsp?mid=%s&userType=ud&font=15&color=064977' % mid requests.utils.add_dict_to_cookiejar(self.session.cookies, cookie) response = self.session.get(url, headers=Headers, verify=False) print('邮件详情 =====>') print(response.text) if __name__ == "__main__": mail = MAIL163('*****@163.com', '****') mail.login() mail.messageList()参考文章： 详细总结）python爬取 163收件箱邮件内容，收件箱列表的几种方法(urllib, requests, selenium) [Python解析json之ValueError: Expecting property name enclosed in double quotes: line 1 column 2（char 1）] https://github.com/WYL-BruceLong/parse_attach |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |