2019独角兽企业重金招聘Python工程师标准>>>

在记录的上篇，已经大致描述了翻页、取值、follow跟进和文件存储的内容，这次在上半部分的基础上进行调整，爬取广西人才网职位信息数据。

当然了，这里的坑还是有的，记录一下绕坑。 在爬取过程中我是想既拿到职位信息id也拿到企业id，到时候入库，到数据库中进行联合查询就能取到完整的数据信息了。另一个角度讲来，拿到id进行hash后生成唯一字符串，也可以在入库的时候作为去重的判断条件。它的职位信息url有两种格式：

在我取值的页面是第二种，较长的url，包含了企业id和职位id。正则我不是很熟，所以要匹配PositionId的值还是想了半个小时的，快速精准的取到id值，在spider中我直接获取整条url，然后在item中对url字符串进行处理，拿到id并且进行生成固定长度的字符串。

spider代码为：

大概是这样，把url传递过去。

item的代码为：

主要逻辑是在url字符串传递过来后，通过翻转字符串，精准匹配职位id，然后再次翻转字符串，将正确顺序的职位id生成固定长度字符串。

注意： 最后更改setting配置，将之前开启的图片下载pipeline关闭、并且在pipeline代码中也另外生成一个新的json文件，以免覆盖之前的企业信息json文件。

以下是部分数据：