🤵‍♂️ 个人主页：@艾派森的个人主页

✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞👍🏻 收藏 📂加关注+

目录

一、Python分析文本数据的优点

二、Python分析文本常用的第三方库

三、词频分析 

四、词云图分析

五、文末推荐与福利

广泛的库和工具支持：Python拥有丰富的文本分析库，如NLTK（自然语言工具包）、spaCy、TextBlob、Gensim等，这些库提供了各种文本处理和分析功能，使得文本分析任务更容易实现。

易于学习和使用：Python是一门容易学习的编程语言，因此即使是初学者也可以快速上手文本分析任务。Python的简洁语法和清晰的代码结构有助于更好地理解和维护分析代码。

社区支持：Python拥有庞大的开发者社区，这意味着可以轻松找到答案、解决问题，并获得有关文本分析的支持和建议。

跨平台性：Python是一种跨平台的编程语言，可以在Windows、Linux和Mac等操作系统上运行，因此非常适合各种不同环境中的文本分析。

数据处理能力：Python拥有强大的数据处理和操作库，如NumPy和Pandas，这些库使得数据清洗、转换和分析变得更加容易。

可视化能力：Python中的库，如Matplotlib、Seaborn和Plotly，可以用于生成各种数据可视化，帮助用户更好地理解和展示文本数据的分析结果。

机器学习和深度学习支持：Python在机器学习和深度学习方面表现出色，因此可以使用各种机器学习和深度学习模型来进行文本分类、情感分析、命名实体识别等任务。

开源和免费：Python是一种开源的编程语言，可以免费使用，这意味着无需额外费用就可以进行文本分析。

丰富的文档和教程：有大量的在线文档、教程和示例代码可用于帮助用户学习和实践文本分析。

NLTK（Natural Language Toolkit）：NLTK是一款广泛用于自然语言处理的库，提供了文本分词、词性标注、命名实体识别、语法分析等功能，以及大量的语料库和数据集。

spaCy：spaCy是一个高度优化的自然语言处理库，具有出色的性能和功能，支持分词、命名实体识别、词性标注等任务，并支持多语言。

TextBlob：TextBlob是一个简单而易于使用的库，用于执行各种文本分析任务，包括情感分析、文本分类、词性标注等。

Gensim：Gensim是一个用于主题建模和文本向量化的库，特别适用于处理大型文本语料库和文本文档集合。

Scikit-learn：虽然Scikit-learn主要用于机器学习，但它也提供了文本特征提取、文本分类和聚类等文本分析的工具和算法。

Word2Vec：Word2Vec是一个用于词嵌入（word embedding）的库，可以将词汇转换为向量表示，以便进行文本分析和自然语言处理任务。

Pattern：Pattern是一个用于文本挖掘和自然语言处理的库，支持词性标注、情感分析、信息提取等任务。

Spacy-transformers：这是spaCy的一个扩展库，使其能够使用预训练的Transformer模型（如BERT、GPT-2）进行文本分析。

TfidfVectorizer：TfidfVectorizer是Scikit-learn的一部分，用于将文本数据转换为TF-IDF（Term Frequency-Inverse Document Frequency）特征表示，常用于文本分类和信息检索。

NLTK和TextBlob的情感分析模块：这些库提供了用于情感分析的功能，可用于判断文本的情感倾向，如积极、消极或中性。

Matplotlib、Seaborn和Plotly：这些库用于可视化文本数据分析结果，可以生成各种图表和图形，帮助更好地理解文本数据。

        上次批量提取了上市公司主要业务信息，要分析这些文本数据，就需要做文本词频分析。由于中文不同于英文，词是由一个一个汉字组成的，而英文的词与词之间本身就有空格，所以中文的分词需要单独的库才能够实现，常用的是`jieba`。若没安装，直接运行`cmd`，然后输入`pip install jieba`安装即可。然后导入`jieba`库。我们以“华特气体”公司的主要业务进行分词，分词前如下图所示。通过`open`打开华特气体文本文件，使用读模式`r`，为避免编码错误，指定编码类型为`utf-8`。读取出来是一个大字符串，将这个大字符串存入`txt`。然后调用`jieba`进行分词。`lcut`的意思是切分词后再转换成列表("l"即表示`list`的首字母)。将切分后的词存入列表`words`。

        结果如上，可见基本是按照我们的汉字使用习惯来区分词的，不能组成词的字则是按单独一个字符串存放的。然后我们就需要将词和对应出现的次数统计出来。先新建一个字典`wordsDict`用于储存词及其出现的次数。对于单个的字或字符不是我们想要的，所以加了一个`if`语句将其排除在外。`continue`的作用是，`if`后面的条件满足时，让程序回到`for`循环，而不执行`continue`下面的语句。也就是列表中的元素只有一个字符的时候，就马上跳到下一个而不执行任何操作。只有当元素不止一个字符的时候，才执行`else`语句，即将词及其出现的次数加入字典。此处用`setdefault`给词的出现初始值设置为0，每重复出现一次，自动加1。然后我们根据此出现的次数，降序排序，并查看前20个词的情况。

        可以看到，有些词并不是我们想要的，比如“公司”、“行业”、“000”。因此需要把这些意义不大的词删除。先定义一个储存要排除的词的列表`stopWords`，将想排除的词放进去，一般是放出现次数较多，但意义不大的词，可根据实际需要调整。然后遍历这个字典，在检查这些词是否在目标字典`wordsDict`中，如果在，就将字典中这个词对应的数据删除。 

然后将筛选后的数据转换成DataFrame，并增加列名“词”和“次数”，然后导出为Excel文件。

以上，搞定了一个文件的词频收集，那批量操作呢？请看下面分解。

以上，先获取到所有待分析文件的路径。然后逐个进行分析。稍微修改一下上面的程序，很快分析完成。结果如下。

        如果要将上面做好的词频分析可视化，“词云图”是一个很好的选择。它的原理是，将词频高的词显示得相对更大一些。而且可以自定义背景图，让词云显示成个性化的形状。今天我们就来将上次获取的10家上市公司的“主要业务”词频文件批量生成词云图，这样一看词云图就大致了解这家公司的主要业务是什么了，放在PPT里展示也显得高大上。首先，我们导入需要用到库。若显示导入不成功，则需要用`pip install + 库名`进行安装。

        然后获取所有的Excel词频表路径，以便后续逐一读取，并传入词云库生成词云图。再定义词频背景图，`np.array(Image.open())`打开图片后转为数组，存入`maskImage`变量。需要注意词频背景图中想要的形状的背景需要是白色的，不然无法得到想要的词云图形状。比如如下背景图片，左边的图片因为猴子的背景不是白色，做出的词云图会占满整个图片，即是一个矩形的词云图；右边的图片中，猴子的背景是白色的，做出的词云图看起来就是一只猴子的形状。

        然后用`for`循环遍历所有待处理的Excel文件，逐个打开，提取其中的词和词频，存入字典`wordFreq`。然后通过`wordcloud.WordCloud()`定义词云样式。这个函数有很多参数，具体如下。我们只需要关注常用的几个即可，其它可作为了解。

`font_path`：字体路径。字体存在`C:\Windows\Fonts`目录，在想要的字体上点右键，选择“属性”可查看其名称，然后连同路径复制，赋给font_path即可。比如本例使用的黑体。需要注意的是，若是中文词云，需要选中文字体。

        此例中，我们调用`wordcloud`时，设定了字体为“黑体”，使用了背景图为绘图模板，设置了最多显示词数为500，字号最大为100。然后使用`generate_from_frequencies()`从已有词频数据的字典中生成词云图。然后将词云图按公司名保存到指定路径（“词云图”文件夹）。最后用`plt.imshow()`在notebook中显示词云图。结果如下。

《巧用ChatGPT快速搞定数据分析》免费包邮送出3本！

内容简介：

         本书是一本关于数据分析与ChatGPT应用的实用指南，旨在帮助读者了解数据分析的基础知识及利用ChatGPT进行高效的数据处理和分析。随着大数据时代的到来，数据分析已经成为现代企业和行业发展的关键驱动力，本书正是为了满足这一市场需求而诞生。

        本书共分为8章，涵盖了从数据分析基础知识、常见的统计学方法到使用ChatGPT进行数据准备、数据清洗、数据特征提取、数据可视化、回归分析与预测建模、分类与聚类分析，以及深度学习和大数据分析等全面的内容。各章节详细介绍了运用ChatGPT在数据分析过程中解决实际问题，并提供了丰富的实例以帮助读者快速掌握相关技能。

        本书适合数据分析师、数据科学家、研究人员、企业管理者、学生，以及对数据分析和人工智能技术感兴趣的广大读者阅读。通过阅读本书，读者将掌握数据分析的核心概念和方法，并学会运用ChatGPT为数据分析工作带来更高的效率和价值。

编辑推荐：

★超实用 通过30多个实际案例和操作技巧，使读者能够快速上并灵活运用数据分析和ChatGPT技术。

★巨全面 50多种ChatGPT数据分析策略，涵盖从数据预处理到高级分析的全过程。

★真好懂 以通俗易懂的语言解释数据分析和ChatGPT的原理及应用，零门槛，让职场新手也能轻松掌握。

★高回报 学习本书，利用ChatGPT在数据分析过程中的各个环节进行实践操作，可以大大提高工作效率，降低人力成本，从而为企业和个人带来更高的投资回报率。

京东购买链接：https://item.jd.com/13810483.html

当当网购买链接：http://product.dangdang.com/29606385.html

 名单公布时间：2023-09-23 21:00:00