教你用Python爬取手机App数据!居然有人说爬不了APP |
您所在的位置:网站首页 › 免费抓包软件苹果手机能用吗 › 教你用Python爬取手机App数据!居然有人说爬不了APP |
最近爬取的数据都是网页端,今天来教大家如何爬取手机端app数据(本文以ios苹果手机为例,其实安卓跟ios差不多)! 本文将以『某乎』为实战案例,手把手教你从配置到代码一步一步的爬取App数据! 2、配置抓包工具 1.安装软件 本文选择的抓包工具:Fiddler 具体的下载安装这里不详细赘述!(网上搜Fiddler安装,一大堆教程),本文以实战为例,就不再这里浪费时间了! 2.配置Fiddler 安装好之后,接下来就开始配置Fiddler工具(这里是关键,仔细阅读!) 配置Connections 打开Fiddler后,点击Tools->Options
点击Connections
勾选上对应的选项 配置HTTPS
勾选上对应的选项 最后抓包工具Fiddler就配置好了 记得重启Fiddler!重启Fiddler!重启Fiddler!不然可能不生效 3、配置手机代理 1.设置代理 准备工作 首先看一下安装Fiddler主机ip(电脑和手机必须处于同一局域网) 查看ip命令
window:ipconfig复制代码 开始配置 目标代理主机信息 ip:192.168.31.195 端口:8888 在wifi无线网处进去,点击配置代理 填写好相关代理信息
2.安装证书 在浏览器输入: http://192.168.31.195:8888 复制代码
点击下载证书后,下面就开始安装(看图操作)
ok,这样手机端就配置完成,下面开始抓取数据!!! 4、抓取数据 1.打开某乎app
2.查看数据包列表 打开app之后,Fiddler就已经抓取到数据了
这里可以看到app发送和接收了哪些数据包 为了更加精准定位到某乎(只看目标的数据包),添加一个过滤条件
这样我们获取的数据包列表就都是过滤条件内的目标网址
3.查找数据包 比如点击热榜
对应的https加密数据包如下:
数据包中的数据如下:
提取出url链接
拿到url之后,接着开始编程爬取保存数据。 4.编写爬虫程序 # -*- coding: utf-8 -*-
|
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |