Web爬取，也称为Web抓取，数据抓取或爬虫，是一种计算机程序技术，用于从网站上抓取大量数据，并将其处理为结构化数据。

Web抓取是常用的：

基本上，网页抓取是互联网的功能。例如，SEO需要创建站点地图并授予其权限，让Google对其网站进行抓取，以便在搜索结果中获得更高的排名。许多顾问公司会雇用专门从事网络抓取的公司来丰富他们的数据库，以便为他们的客户提供专业服务。

在数字化时代，很难确定网页抓取的合法性。

为什么网络抓取具有负面含义：

Web抓取可用于恶意目的，例如：搜集私人或机密信息。

忽略网站的条款和服务，未经所有者许可，将其删除。

滥用数据请求的方式会导致Web服务器在额外的重负载下崩溃。

请务必注意，在以下情况下，负责任的数据服务提供商将拒绝您的请求：数据是私人的，需要用户名和密码

服务条款(TOS)明确禁止进行网页抓取

数据受版权保护

什么情况下爬虫可能会被起诉？

如果网络数据运用不当，可能会导致意想不到的后果。

HiQ vs LinkedIn

您可能听说过2017年的HiQ与Linkedin案。HiQ是一家数据科学公司，为公司人力资源部门抓取数据。Linkedin随后发送了终止函，以停止HiQ的抓取行为。HiQ随后提起诉讼，以阻止Linkedin限制其访问网站。结果，法院裁定对HiQ是有利的。这是因为HiQ无需登录即可从Linkedin上的公共资料中抓取数据。也就是说，抓取在互联网上公开共享的数据是完全合法的。

让我们再举一个例子来