这是本人毕设项目的一部分，也是比较核心的部分。 请自觉遵守相关法律法规，若侵权请联系本人立刻删除。

爬取披露易网站上的港资持股A股详细股东数据。点击搜索栏下方的持股名单我们可以看到港资持股的股份名单。 任务分为三部分：

笔者试过很多的解决方案，但是效果都不佳，常见的问题有：发起请求的时候容易失败，请求速度过快容易被封IP，使用多线程时容易遇到莫名其妙的问题（比如直接卡死也不知道什么原因）。经过无数次的打磨，最终得到一个比较合理的方案。

首先对于股份名单的爬取自不必说，页面是一个表格，相对而言是一个简单的任务，而且只需要爬取一次。所以只需要发起一次请求获取到页面，然后将页面解析得到股份代码即可。

核心问题在于得到股份名单之后，需要将需要爬取的日期和股份代码输入，然后获取详细持股页面，这个过程可以发起一个post请求解决。难点在于股份名单中A股大概有2400支，那么每天需要对每一支股票的前20名股东进行爬取（有的不足20名），那么大概就总共有3万到4万条数据。

之前笔者低估了pymysql的力量，认为一次性插入上万条数据是非常耗时间的，需要采取特别的方案，例如多线程，协程等。但是事实证明，一次性插入上万条数据只不过需要10秒左右，因此对于数据插入的问题不予考虑优化。

现在剩余的唯一问题是，如何向同一个网站发起2400次请求？

当然，若你时间充裕，你用一天的时间来慢慢请求倒是无所谓，但是股票数据涉及到及时性的问题，需要尽快更新以便为用户提供服务。因此，爬虫速度以及不被封IP是一个迫切需要考虑的问题。

这里先贴出爬取股份名单的代码

这一部分的代码比较简单，但是偶尔也会出问题，例如当请求失败了该如何处理并没有考虑。

这里将问题分解为三个任务：

笔者之前的解决方案为将三个任务分开，并且考虑对第3步也做优化（用aiomysql来异步写入数据库），实际上大可不必。对于任务2，笔者尝试过3种方法：

这里先贴出详细持股页面解析的代码

如上述代码所示，我们启动了一个事件循环，并构造了一个任务列表。codes是我们先前爬取的股份名单，failed_code是一个全局变量，存储着请求失败的代码，他们将会在第一次事件循环结束之后重新发起请求，并且有3次机会。启动协程总结如下：

最后就是写入数据库，经过前面的步骤，我们有了一个全局变量datas存储了所有的数据，其内容大致如下：

写入数据库的代码如下：

至此，我们完成了整个任务，总共用时根据网络情况不一，快一点在150秒左右，慢一点400秒左右，但是相对于之前的半个小时，15分钟，速度已经有了很大的提升。

在此记录其他的一些试图但是并未成功或实现不稳定的解决方案。

使用代理爬虫，我们就需要一些代理，这些代理从何而来呢？当然也是爬虫！ 如下记录了一些常见代理网站的解析代码。

然后每次我们随机运行一个函数来获取代理IP。

获取的代理不一定可用，还需要进行验证，验证方法就是向我们的目标网站发起请求看是否可用。

有了这些可用代理之后就可以应用到正式的爬虫任务中了。

该方案在之前一直可行，但是2400支股票使用多线程容易卡死，因此分为了两个任务，每次用多线程爬取1200支股票数据。大概需要400秒。 核心代码如下：