今明两天，由我和@David Qian来给大家介绍一下简单的爬虫软件。适合我们广大的，唔，非专业小白。

注：非商业转载注明作者即可，商业转载请联系作者授权并支付稿费。本人已授权“维权骑士”网站(http://rightknights.com)对我在知乎发布文章的版权侵权行为进行追究与维权。

------------------------萌萌哒的分割线------------------------

如果不想写代码，而且方便快捷的完成数据采集任务，爬虫软件是个不错的选择呢。（对于我们这些小白。。。）现在市面上爬虫软件层出不穷。我们会根据自己的使用经历，简单的介绍几款流行的爬虫软件。（记得刚上手的时候就是出于完全懵逼的状态，大概需要的就是这种介绍啦）下一期我们将具体介绍如何操作。：）

八爪鱼是这几款爬虫软件中最好上手的，这是他的最大优点，完全适合对爬虫不了解的小白们，30分钟就可以学会实现基本的步骤。（最关键是简单啊！！！）免费的情况下，对于基本的采集功能可以胜任，比如说天猫的价格，网页新闻等。但是数据的下载是需要里面的积分的（我会告诉你，任务小的话，送的就会够用）。小任务的话，这是个很好的选择。输入要爬的网页，点击要爬的内容，设置好爬取的规则，就可以开始了。但存在的缺点是速度比较慢。（这其实是通病，相对于自己写的代码来讲。还记得刚开始用它爬天猫一个连衣裙的价格，100页愣是爬了1h，后来自己写的爬虫放到服务器上，几百件商品是1h。。。）^_^

下载的话请到官网（http://www.bazhuayu.com/）

gooseeker是小编最常用的爬虫软件。相对于其他的爬虫，gooseeker在免费的情况下，可以实现基本上所有的爬虫任务。难度的话，刚开始可能没有那么容易上手，需要大家多看视频教程。（其实是操作比较多，很容易就懵逼了）gooseeker可以实现的爬虫任务包括，层级抓取，翻页，动态网页的抓取这些基本的采集方法。同时支持爬虫群，即在同一时间执行多个爬虫，提高速率。O(∩_∩)O~而且有非常完善的社区里面有详细的视频教程，也可以上去就自己的问题进行提问。（其实最关键的是免费的情况下，实现的功能很多，这对于我们项目组来说，简直是天大的福音）（http://www.gooseeker.com/doc/forum-54-1.html）O(∩_∩)O~

需要使用的话首先请到官网上下载（http://www.gooseeker.com/）。使用gooseeker必须使用firefox浏览器（这应该算受限制的一点），初次下载的时候请选择方案一。

火车头是这几款软件里面功能最强大的一款，毕竟是行业里的老大。火车头是这几款中最难上手的，因为有些要直接写正则匹配。（这个着实有难度啊！）但是官网上的视频教程非常的全，初上手的话，学习可能需要一段时间。（这个时间在5天左右 ）火车头的主体功能基本都是收费的。如果有大量的任务和爬虫要求的话，可以选择火车头。个人觉得火车头应该是最贴近爬虫程序的。使用的话要制定网址采集规则，内容采集规则，也就是说要看网页源码，根据源码找爬取内容。（上面两款基本是直接点击要爬的地方就可以了，这个要源码！突然想到刚看源码的时候，一脸懵逼的样子/(ㄒoㄒ)/~~）

火车头的官网下载（http://www.locoy.com/download）。

同时附赠论坛（http://bbs.locoy.com/plugin.php?id=comeing_guide）。

这一款没有前三个使用的频率高，但其实是非常好上手的一款爬虫软件，仅次于八爪鱼，而且功能比八爪鱼强大许多。当然也是一款需要付费的软件。（其实归根到底，都要money啊）跟之前使用过的其他爬虫软件对比发现，ForeSpider爬虫有自己的内置数据库，当然也支持MySQL等主流数据存储系统。

我是下载的官网~\(≧▽≦)/~（http://forenose.com/pannel/prod/crawler_cen.html）。

先介绍这四款软件，选择一个，用熟练了，就可以实现很多功能。（其实没有自己写的功能强大，毕竟自己动手丰衣足食啊！）

上面如果有什么错误，欢迎指正。

明天我们会推送部分爬虫软件的使用教程，希望大家继续关注。O(∩_∩)O~

------------------------萌萌哒的分割线------------------------

更多项目介绍，请关注我们的项目专栏：China's Prices Project - 知乎专栏

项目联系方式：