python爬虫抓取App数据，让你爬APP没有烦恼，没有爬不了的APP，可以代爬虫

2023-04-24 07:25| 来源: 网络整理| 查看: 265

爬虫APP教学，让你没有爬不了的APP，本案例仅供学习交流使用

App中的数据可以用网络爬虫抓取么

答案是完全肯定的：凡是可以看到的APP数据都可以抓取。

下面我就介绍下自己的学习经验和一些方法吧本篇适合有过web爬虫基础的程序猿看

没有的的话学的可能会吃力一些

App接口爬取数据过程

使用抓包工具

手机使用代理，app所有请求通过抓包工具

获得接口，分析接口

反编译apk获取key

突破反爬限制

需要的工具：

夜神模拟器

Fiddler

Pycharm

实现过程

首先下载夜神模拟器模拟手机也可以用真机，然后下载Fiddler抓取手机APP数据包，分析接口完成以后使用Python实现爬虫程序

Fiddler安装配置过程

第一步：下载神器Fiddler

Fiddler下载完成之后，傻瓜式的安装一下！

第二步：设置Fiddler

打开Fiddler, Tools-> Fiddler Options (配置完后记得要重启Fiddler)

选中"Decrpt HTTPS traffic", Fiddler就可以截获HTTPS请求

选中"Allow remote computers to connect". 是允许别的机器把HTTP/HTTPS请求发送到Fiddler上来

记住这个端口号是:8888

夜神模拟器安装配置过程

第一步:下载安装

夜神模拟器下载完成之后，傻瓜式的安装一下！

第二步:配置桥接实现互通

首先将当前手机网络桥接到本电脑网络实现互通

安装完成桥接驱动后配置IP地址，要配成和本机互通的网段，配置完成后打开主机cmd终端ping通ok

第三步:配置代理

打开主机cmd

【本文地址】

今日新闻