股吧是东方财富网旗下股票主题社区，用户可进行实时行情评论和个股交流。本文将对股吧中的上证指数吧的帖子信息进行提取，并对帖子标题进行情感分析。

网址：

https://guba.eastmoney.com/list,zssh000001_1.html

一、Python网络爬虫——爬取东方财富网帖子信息

1、观察网页

2、请求数据

3、解析数据

4、存储数据

二、Python情感分析——对爬取的帖子标题进行情感分析

1、snownlp库的简介

2、snownlp库的安装

3、snownlp库的使用

4、snownlp运用实例

(1)谷歌浏览器右键“检查”，点击“Network”，刷新页面。

(2)点击最上面的链接

(3)点击“Preview”或者“Response”，可以发现我们需要的数据在这里。说明这是一个静态网页。

本文的目标是爬取上证指数吧的帖子信息，上证指数的名称代码为zssh000001。

首页： https://guba.eastmoney.com/list,zssh000001_1.html 第二页： https://guba.eastmoney.com/list,zssh000001_2.html 第{i}页： https://guba.eastmoney.com/list,zssh000001_{i}.html

通过观察，可以看出股吧链接后缀主要由三部分组成：list、名称代码、页数。

因此，我们可以构建for循环，爬取多页的数据。

查看Headers，发现为get请求，可通过requests库请求数据。

代码如下：

我们需要获取的是”阅读数”、“评论数”、“标题”、“作者”、“最后更新”这五个信息，这五个信息分别位于行标签内，对应的属性分别是"l1 a1"、"l2 a2"、"l3 a3"、"l4 a4"、"l5 a5"。我们采用BeautifulSoup库解析数据并进行信息提取。

代码如下：

我们可通过pandas的to_csv函数将数据写入到csv中。

代码如下：

存储结果如下：

很多场景下，我们都需要用到情感分析技术。比如，做金融产品分析，需要根据投资者评论数据来分析投资者情绪；电商交易需要根据买家的评论数据来分析商品的预售率等。那么到底什么是文本情感分析，我们又该如何做文本情感分析呢？

情感分析是根据情感倾向来进行的，而情感倾向最常见的就是喜欢、不喜欢、讨厌等。

目前情感倾向分析的方法主要分为两类：一类是基于情感词典的方法，一类是基于机器学习的方法。这两者主要的区别是，前者需要用到标注好的情感词典；后者则需要大量人工标注的语料作为训练集，通过提取文本特征，构建分类器来实现情感的分类。

下面先简单介绍基于snownlp的评论数据情感分析方法。

snownlp是一个基于Python的情感分析工具库，可以进行中文分词、词性标注、情感分析、文本分类、文本关键词提取等。snownlp的情感值取值范围为0到1之间，值越大，说明情感倾向越积极。但snownlp库有一个缺陷，便是其模型的训练语料是商品购物评论语料，用来做金融领域的情感分类效果一般，但目前还并没有关于金融领域的中文自然语言处理的开源库、语料库。所以这里我们暂时使用snownlp库对股吧帖子进行情感分析。

由于Anaconda没有集成snownlp分词库，因此需要安装。安装方式：

打开Anaconda Prompt，选择开始菜单-Anaconda3-Anaconda Prompt。

在命令行中输入：

这里使用清华镜像下载，因为访问官方的pypi不稳定，速度很慢。

（1）根据文本创建一个 SnowNLP 对象

（2）使用相关的方法（如中文分词、词性标注、情感分析、文本分类、文本关键词提取）进行操作

我们在“一、Python网络爬虫——爬取东方财富网帖子信息（以1-10页为例）”获取的帖子信息的基础上，对帖子标题内容进行情感分析，代码如下：

结果如下：

全套代码

Attention：截至发文前，上证指数吧共有8万多页，我们的案例是获取1-10页的，如果是8万多页呢？把10改成8万？

当爬虫频率过高时，会触发东方财富网的反爬机制，如何解决呢？

请听下回分解。