学习py也有不少时间了，老是忘记写博客，我自己也是很无奈呀！作为会为代码而疯狂的啃书君，我都愧对自己的昵称啦！

看到csdn里面那么多的大佬，数十年如一日，从未停歇，也给了我很多的激励。我也想成为你们的榜样呀！我觉得我骄傲了。

作为喜欢读书的我，也是很喜欢打游戏的，之前看到有人爬王者荣耀的皮肤的，我可是王者荣耀的老玩家了，所以我把英雄联盟给爬了。

哈哈哈，没想到吧！

在本次的爬虫教程的过程中，我也会分享给大家一些简单实用的爬虫小技巧。

在爬取的时候，不要猛攻嘛~，啊啊。。人家服务器受不了啊。。。

你要学会停顿，克制一点，该 sleep 就 sleep。

趁着人家睡觉的时候，限制防范程度是最低的，能晚点就晚点爬，没有看过凌晨4点的洛杉矶，但是你还可以看到凌晨4点的爬虫呢。

这样你的IP地址才不会容易被封。

如果你在看别人网站的robots.txt，你就会看到别人的声明，声明什么内容可以爬，什么内容不可以爬。但是，不要忽略了人家的声明，希望给什么搜索引擎爬，比如下面这个

看到没，这个别人定义的robots.txt值得注意的是User-Agent，那么当你在Python构造headers的时候，User-Agent就直接指定它们的robots定义的就好了啊，比如：百度的UA，Google的UA或者是搜狗的UA等等。你再去爬爬看，那叫一个友好啊。

通过开发者模式F12，你就会发现箭头所指的文件了，没有看到的话，刷新一下试试。