静态网站的特点：

静态网站是最初的建站方式，浏览者所看到的每个页面是建站者上传到服务器上的一个 html （ htm ）文件，这种网站每增加、删除、修改一个页面，都必须重新对服务器的文件进行一次下载上传。

网页内容一经发布到网站服务器上，无论是否有用户访问，每个静态网页的内容都是保存在网站服务器上的，也就是说，静态网页是实实在在保存在服务器上的文件，每个网页都是一个独立的文件。

静态网页的内容相对稳定，因此容易被搜索引擎检索。

静态网页没有数据库的支持，在网站制作和维护方面工作量较大，因此当网站信息量很大时完全依靠静态网页制作方式比较困难。

静态网页的交互性较差，在功能方面有较大的限制。

通俗来说，静态网页是指存放在服务器文件系统中实实在在的HTML文件。当用户在浏览器中输入页面的URL，然后回车，浏览器就会将对应的HTML文件下载、渲染并呈现在窗口中。早期的网站通常都是由静态页面制作的。

动态网站的特点：

动态网站在页面里嵌套了程序，这种网站对一些框架相同、更新较快的信息页面进行内容与形式的分离，将信息内容以记录的形式存入网站的数据库中，以便于网站各处的调用。

动态网页是相对于静态网页而言的。当浏览器请求服务器的某个页面时，服务器根据当前时间、环境参数、数据库操作等动态的生成HTML页面，然后在发送给浏览器（后面的处理就跟静态网页一样了)。

很明显，动态网页中的“动态"是指服务器端页面的动态生成，相反，"静态"则指页面是实实在在的、独立的文件。

这里说的动态网页，与网页上的各种动画、滚动字幕等视觉上的 “ 动态效果 ” 没有直接关系，动态网页也可以是纯文字内容的，也可以是包含各种动画的内容，这些只是网页具体内容的表现形式，无论网页是否具有动态效果，采用动态网站技术生成的网页都称为动态网页。

从网站浏览者的角度来看，无论是动态网页还是静态网页，都可以展示基本的文字和图片信息，但从网站开发、管理、维护的角度来看就有很大的差别。 动态网页的特点归纳如下：

动态网页以数据库技术为基础，可以大大降低网站维护的工作量 ;

采用动态网页技术的网站可以实现更多的功能，如用户注册、用户登录、在线调查、用户管理、订单管理等等 ;

动态网页实际上并不是独立存在于服务器上的网页文件，只有当用户请求时服务器才返回一个完整的网页 ;

注意：

动态页面技术是与静态页面技术相对应的，也就是说，网页URL的后缀不是 .htm、.html、.shtml、.xml等静态网页的常见形式，而是以.asp、.jsp、.php、.perl、.cgi等形式为后缀，并且在动态网页网址中有一个标志性的符号——“? "。

这里说的动态网页，与网页上的各种动画、滚动字幕等视觉上的“动态效果"没有直接关系，动态网页也可以是纯文字内容的，也可以是包含各种动画的内容，这些只是网页具体内容的表现形式，无论网页是否具有动态效果，采用动态网站技术生成的网页都称为动态网页。

再下一篇章具体详解如何应对动态页面，这是爬虫最重要也是将来做爬虫最常要面对的

举一个例子，像如下的页面，就是常见的静态页面+动态页面展示 1、红色框内的大部分页面文字展示其实是长期固定的，这里就采用了静态加载 2、蓝色框内的排名变动就是动态加载，后台会每隔一段时间动态变化

① 你要爬取的网站是什么？

首先，我们应该清楚你要爬去的网站是什么？

② 你要爬取页面上的哪些信息？

其次，你要确定你的需求是怎样的，不能盲目地去做所谓的爬虫，这只会浪费时间

③ 页面是 “静态网页”，还是“动态网页”？

我通俗地大白话的直接了当粗暴地说： 如果你请求某个网页，网页的信息是一次性给你的，那么它就是 “静态网页”。 如果你请求某个网页，网页中的信息，随着你鼠标往下滑动，而慢慢展现出来，那么它就是 “动态网页”，即 “Ajax技术”。

那么它们的区别就在于： 静态网页中的数据，是一次性给你。动态网页中的数据，是随着页面一步步加载出来，而逐步呈现的，也就是你用静态网页的爬虫技术，无法获取到里面所有的数据。

首先，我们应该清楚你要爬去的网站是什么？

由于这里我们想要爬取的是 “电视台收视率” 中的数据，因此我们可以打开这个网站看看（如图所示）。

网站链接：www.tvtv.hk/archives/ca…?

页面是由 page/2 表示第二页，当我们把2改为1时，自然跳转到第一页，便于后续爬多页，我们仍然以下链接准

这里是我们要的最终页面链接。👇👇待爬取链接：

www.tvtv.hk/archives/ca…

观察下图，可以清楚看到有哪些数据，下面还有页面信息。我们需要了解这些： 一个页面中共有多少条数据。这个很重要，后面可以帮你检查，是否爬取到了每个页面的所有信息。

这里我们获取的该页面中标题、发布时间、以及跳转链接

如果你请求某个网页，网页的信息是一次性给你的，那么它就是 “静态网页”。

如果你请求某个网页，网页中的信息，随着你鼠标往下滑动，而慢慢展现出来，那么它就是 “动态网页”，即 “Ajax技术”。

那么它们的区别就在于： 静态网页中的数据，是一次性给你。动态网页中的数据，是随着页面一步步加载出来，而逐步呈现的，也就是你用静态网页的爬虫技术，无法获取到里面所有的数据。

这里有一个很好 “检验” 是静态网页还是动态网页的方法，我给大家介绍一下 。

点击 “鼠标右键”，点击 “查看网页源代码”。

最终效果如下（部分截图）：

这其实就是你请求这个网页，最终返回给你的信息。你要爬取的数据，如果在里面都能找到，大致可以判断是 “静态网页”，如果找不到，大致可以考虑是 “动态网页”。 怎么查找呢？ 在上述页面，可以点击 “Ctrl + F”，调出搜索框（如图所示），你将网页中的数据，粘贴进来，看看能否都能被搜索到。

在正式写代码之前，你肯定要知道，你想要用哪种方式，来帮你解析数据。常见的Python爬虫解析数据的方法有：re正则表达式、xpath、beautifulsoup、pyquery等。

本文采用的将会是xpath解析法。

点击 “鼠标右键”，再点击 “审查元素”。【或者直接按电脑上的F12键】

这里我们仅仅讲述a、b两处。

在a处，有两个参数，一个是headers一个是verify。其中headers是一种反反扒的措施，让浏览器认为爬虫不是爬虫，而是人在用浏览器去正常请求网页。verify是忽略安全证书提示，有的网页会被认为是一个不安全的网页，会提示你，这个参数你记住就行。

在b处，我们已经获取到了网页的源码。但是由于网页源代码的编码方式和你所在电脑的解析方式，有可能不一致，返回的结果会导致乱码。此时，你就需要修改编码方式，chardet库可以帮你自动检测网页源码的编码（不懂得再下去研究一下这个库）。

4、翻页操作

随意复制几个不同页面的url，观察它们的区别。这里可以看到，也就page参数后面的数字不同，是第几页，数字就是几。

www.tvtv.hk/archives/ca… www.tvtv.hk/archives/ca… www.tvtv.hk/archives/ca…

目标网站：www.tvtv.hk/archives

目标：只需要通过获取htm文件提取文本内容即可，保存方式建议excel、csv

!! 温馨提示，该项目只作为练习，切勿做出对目标网站有所压力的行为