携程在手 说走就走。今天来记录一下爬取携程旅行的教程。 首先告诉大家，爬携程还是相对简单的，当然也有难得方法，这里就以实现为最终目标讲解最简单得方法。 我要采集得是携程门票一栏得景点信息。还是照惯例用chrome抓包。首先需要获取每个景点详情页的url，我这边找到了直接贴图。 原来以为拿到这个页面问题就解决了，可实践发现事情并没有我想的那么简单，这是一个post请求。我把参数都带上进行访问，压根拿不到数据。返回的json文件是这样的。 研究了一下，发现参数里有一个变动的加密参数‘traceid’，很明显每次请求都会生成一个一次性的加密参数，一次之后就过期无法复用，如果要走这个方法只能去做js逆向解密破解它，然而我内心是拒绝的，这不符合我的人物设定。 也给看到文章的朋友讲讲，如果你不是专注只做爬虫的话，其实没必要去研究js解密，因为首先你得会js。爬虫这个方向说实话入门的下限很低，但是上限非常高。如果你一心只搞爬虫，那可以花大把时间去研究，像我这种只拿爬虫作为工具的就不想花太多时间在这上面了。所以这里我改用selenium去获取数据，简单实用太香了。

selenium功能还是挺强大的，使用这个方法就可以拿到class值为’right-content-list’标签下的所有内容。然后就是正则匹配出每个景点详情页的url以及标题。拿到详情页的标题之后就可以requests请求详情页数据了。详情页的数据可以直接拿到比较简单。 然后在这里解释一下为什么要用while True死循环，因为携程在换页的时候它的url是不会变化的，所以这里只能用selenium的自动点击功能，让它在采完第一页数据之后自动跳转下一页进行采集，设置好你要爬取的页码，也就是我代码里的self.page的值，达到爬取的页数就跳出循环即可。 到了爬取详情页这一步，就看你想采什么样的数据去写规则了。在这里我只提一点，不难但是麻烦，大家在往下看之前也可以先思考一下。看下图。 图中的内容，有景点介绍 开放时间 优待政策几栏，但不是每个景点都是这几个，有的是只有一个，有的还有一个服务设备栏，而且看它的前端代码，属性标签啥的都是一模一样的，遇到这种情况如果是你会怎么去获取，才能保证不会少拿而且又能正确对应上数据？ 思考令人进步。。。 下面给出我的答案！ 我这里是把这个栏目的标题以及内容分别使用xpath提取形成两个列表，因为不管到底有几个内容，它的标题跟内容都肯定是一一对应上的，而列表是有序的。列表出来之后就是使用dict(zip(desc_title_list, desc_list))，先转json再转字典，标题就是key值，内容就是value值。如果要单独展示就遍历字典就可以了。这一步我代码里没写，大家自己去写吧。 要注意的点大致就这些，下面贴我的完整代码！！！