之前接了几个私活，很多买方都是想要淘宝某个店铺的商品的数据。 去网上看了看，近期能用的比较少，这才写了一个用来爬取某个店铺的爬虫。

我们先来讨论一下思路，如何获得一个店铺的所有的商品数据呢？ 首先我们可以打开一家店铺的所有商品。注意点开的是所有分类。 我们可以想一下，这既然可以链接到一个个商品，这里也就是可以获取所有商品的商品id了，id可以想成身份证一样的数字代号。

话不多说，F12，开始抓包。

找到类似这个链接的包

这里提示一下，每一页的大小大概为40kb左右，类型是html。 查看响应的数据。 这里是每个商品的基本数据。

你说你没看见id？别急，这个是格式化显示的数据，我们看一下原始数据。 该数据数据是jsonp119()内包含了一个html格式的数据，我们把内部数据放到可以格式化的网站就可以很轻松看出来了。（找不到网站的，百度 html格式化 ） 往下看，有每个商品的名、价格、销量和评价。 这样我们就可以获得每个店家所有商品第一页的商品了。 点开第二页并点击F12检查发现，第二页的URL为：

与第一页的相比：

可以看到，这里一共有两个重要的参数，一个是店铺名，一个是页码。 其他的参数就不需要修改了。

但是我们要如何确定一共有多少页呢？ 我们可以试试看访问这个店家的第三页，我们可以看到除了店家推荐的十个商品就没有商品信息了，我们可以直接判断每页获取的id个数是否等于10，如果等于十就停止爬取。

那这样我们的方向就明确了： 这样我们就可以获取每个商品的id号和其他基本数据了。

代码其实很简单，主要是分析的过程。