目录

一、 汉语分词介绍1

1.1 中文分词研究背景

1.2 中文分词的技术难点

1.3 中文分词的发展现状

二、 分词工具介绍

2.1 HanLP

2.2 Thulac

2.3 Jieba

三、 分词测试

3.1 数据集介绍

3.2 分词实现过程

3.3 分词量化RPF统计

四、 分词测试对比与总结

五、 附录1

5.1 成员分工

中文分词 (Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，不过在词这一层上，中文比之英文要复杂的多、困难的多。存在中文 分词技术，是由于中文在基本文法上有其特殊性，具体表现在：

中文分词是文本挖掘的基础，对于输入的一段中文，成功的进行中文分词，可以达到电脑自动识别语句含义的效果。中文分词技术属于自然语言处理技术范畴，对于一句话，人可以通过自己的知识来明白哪些是词，哪些不是词，但如何让计算机也能理解？其处理过程就是分词算法。中文分词对于搜索引擎来说，最重要的并不是找到所有结果，因为在上百亿的网页中找到所有结果没有太多的意义，没有人能看得完，最重要的是把最相关的结果排在最前面，这也称为相关度排序。中文分词的准确与否，常常直接影响到对搜索结果的相关度排序。从定性分析来说，搜索引擎的分词算法不同，词库的不同都会影响页面的返回结果。

歧义是指同样的一句话，可能有两种或者更多的切分方法。主要的歧义有两种：交集型歧义和组合型歧义，例如：表面的，因为“表面”和“面的”都是词，那么这个短语就可以分成“表面 的”和“表 面的”。这种称为交集型歧义（交叉歧义）。像这种交集型歧义十分常见，前面举的“和服”的例子，其实就是因为交集型歧义引起的错误。“化妆和服装”可以分成“化妆 和 服装”或者“化妆 和服 装”。由于没有人的知识去理解，计算机很难知道到底哪个方案正确。

交集型歧义相对组合型歧义来说是还算比较容易处理，组合型歧义就必须根据整个句子来判断了。例如，在句子“这个门把手坏了”中，“把手”是个词，但在句子“请把手拿开”中，“把手”就不是一个词；在句子“将军任命了一名中将”中，“中将”是个词，但在句子“产量三年中将增长两倍”中，“中将”就不再是词。这些词计算机又如何去识别?

如果交集型歧义和组合型歧义计算机都能解决的话，在歧义中还有一个难题，是真歧义。真歧义意思是给出一句话，由人去判断也不知道哪个应该是词，哪个应该不是词。例如：“乒乓球拍卖完了”，可以切分成“乒乓 球拍 卖 完 了”、也可切分成“乒乓球 拍卖 完 了”，如果没有上下文其他的句子，恐怕谁也不知道“拍卖”在这里算不算一个词。

命名实体（人名、地名）、新词，专业术语称为未登录词。也就是那些在分词词典中没有收录，但又确实能称为词的那些词。最典型的是人名，人可以很容易理解。句子“王军虎去广州了”中，“王军虎”是个词，因为是一个人的名字，但要是让计算机去识别就困难了。如果把“王军虎”做为一个词收录到字典中去，全世界有那么多名字，而且每时每刻都有新增的人名，收录这些人名本身就是一项既不划算又巨大的工程。即使这项工作可以完成，还是会存在问题，例如：在句子“王军虎头虎脑的”中，“王军虎”还能不能算词？

除了人名以外，还有机构名、地名、产品名、商标名、简称、省略语等都是很难处理的问题，而且这些又正好是人们经常使用的词，因此对于搜索引擎来说，分词系统中的新词识别十分重要。新词识别准确率已经成为评价一个分词系统好坏的重要标志之一。

字符匹配法

最大匹配法的基本思想是先建立一个最长词条字数为6的词典, 然后取句子前6个字查词典，如查不到, 则去掉最后一个字继续查, 一直到找着一个词为止。最大匹配算法以及其改进方案是基于词典和规则的。其优点是实现简单，算法运行速度快，缺点是严重依赖词典，无法很好的处理分词歧义和未登录词。因此，如何设计专门的未登录词识别模块是该方法需要考虑的问题。常用的方法有：正向最大匹配法、逆向最大匹配法、最少切分、双向最大匹配法、复杂最大匹配法。

理解分词

理解性分词的基本思想是分词同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象，理解分词方法需要大量语言知识和信息。

统计分词方法

基于统计的中文分词方法有：隐马尔科夫模型（HMM）、最大熵马尔可夫模型（MEMM）、条件随机场(CRF）。

近些年很多学者都用深度网络模型来对中文进行分词，以下就是较新分词方法的文献列表，它主要分为两类，一个是基于字符的中文分词，一类是基于词的中文分词。近些年很多学者致力于中文分词，对中文分词的方法进行了改进，其中运用到了RNN，CNN，GNN等深度神经网络来自动地获取特征，从而代替传统方法中手工定义的特征。从句子中获取简单的特征改为获取复杂的特征，从单一语料库单一标准的模型改进为可以使用多预料进行分词等等。总体可分为两类，如下：

第一类：基于字符的分词方法：根据字所在词的位置，对每个字打上标签。

第二类：基于词的分词方法。

无论何种API何种开发语言何种自然语言，HanLP的输出统一为json格式兼容dict的Document。在上一个例子中输出结果为：

而在实际分词测试过程中我们并不需要如此多的信息，只需要关注分词功能(tok)即可。同时注意到输出结构为python中的字典类型，而分词结果就是键'tok/fine'和'tok/coarse'的值['我', '爱', '自然', '语言', '处理', '！']和['我', '爱', '自然语言处理', '！']。因此在使用过程中使用 .setdefault(key) 即可筛选出目我们所关注的分词结果。具体操作代码如下：

在本次任务中选择了其分词功能中的fine模式，也就是精细分词模式。使用open操作打开文件，再使用 .readlines() 逐行读出文本内容，再循环逐行进行分词任务，最后使用join()方法将分词结果以“/”连接起来。3.2.2 ThulacTHULAC需要分词和词性标注模型的支持，获取下载好的模型用户可以登录http://thulac.thunlp.org网站填写个人信息进行下载，并放到THULAC的根目录即可，或者使用参数model_path指定模型的位置。使用方式多样（以python为例）：1.接口使用示例

2.接口参数

3.命令行运行(限pip安装使用)

4.fast接口

3.2.3 Jieba我们的任务是对读入文本进行分词工作，因此采用的是Jieba的精确分词模式。精确分词会按照最大可能的分词组合进行分词，不会产生重复分词的问题，使用的函数为jieba.lcut(str)，这个函数可以将str进行分词并返回分词列表。虽然Jieba分词可以对繁体进行分词，但是对于全角数字、字母却不可以合理分词，因此还需要将数据集由全角转换为半角。因此整个分词过程为：① 读入数据集中的一行文本② 对文本进行转换，把所有全角数字、字母转换为半角。③ 利用jieba.lcut函数分词④ 使用join方法连接分词⑤ 将结果写入新的文件具体代码如下：

上图对不同语料库进行定量实验的整体框架流程：即对于每个数据集都要重复以上的流程框架，分别是，先从文件中按行抽取语料库句子，将用分词工具划分好的语料和正确划分的语料进行对比，分别先后计算每个句子的召回率、准确率、F1-测度，最后计算该工具在该语料库的总R、P、F值（取平均），进而将这三者写入csv文件，以便于之后进行实验结果可视化。R、P、F计算流程：R、P、F的计算公式分别如下所示：·Ｐ＝ 准确切分的词语数/切分出的所有词语数；·Ｒ＝ 准确切分的词语数/应该切分的词语数；·Ｆ＝（＋１）Ｐ*Ｒ/（*Ｐ＋Ｒ）；（这里取1，对P、R均等赋权）算法流程：

具体来说对于预测和分词语料的处理步骤是相似的，皆为先用’/’为语料进行分词，记录每个分词的起始和终止位置并且形成集合，调用len()函数分别计算两集合的分词数，即得到“切分出的所有词数”以及“应切分的词语数”，对两集合取交集再次调用len()即得到“准确切分的词语数”。带入公式得到最终计算结果。

四、分词测试对比与总结我们利用类似交叉括号数的方法进行分词结果正确率的计算。针对三个不同数据集，分别获取了每条语句的P，R，F1值，利用期望求解出整个数据集的P，R，F1值作为我们的分词结果。整体数据集的评价指标可以对整个分词工具进行评估，而每条语句的评价指标可以对数据集进行评估。结果可视化与分析如下：

从整体评价指标可以得到，在local数据集和msr数据集中，HanLP的分词指标均为最高，在pku数据集中Thulac的分词指标最高。而Jieba的分词指标在三个数据集中均为最低，可以认为jieba的分词效果不如HanLP和Thulac两个分词工具，但HanLP和Thulac的分词水平还无法区分。从单句的分析结果来看，总体上分词指标较为平稳，precision和recall的变化几乎一致，出现同增同减的情况。无论是哪种分词工具在面对不确定的数据集时都会出现分词指标波动的情况，以pku数据集为例，我们进行抽样后绘制出的图像中，Thulac和jieba甚至会出现指标为0的情况。这一方面说明pku数据集是具有较高挑战性的数据集，另一方面也说明我们的分词工具还有一定的学习和优化的空间。从local中选择分类正确率较低的第6句“一、给予辽宁队和山东队严重警告;”可以看到，这一句中的“一、”作为干扰项对分词产生了影响，所以使得分词指标在此句中有所下降。同时可以注意到在local数据集中的第51句，三个分词工具的指标数据均出现了大幅的下降。该句话为：“我也想过过过儿过过的生活。”可见，分词工具对于一些影视剧和生活中的口语化程度较高的语句分词效果不理想。此外，借助分词指标的波动情况也可以对分词工具进行比较，可以看到HanLP与Thulac的离散程度要小于Jieba，这也说明了Jieba工具在性能上是略差于HanLP和Thulac的。综上所述，我们测试了三种不同的分词工具，使用local、msr、pku三种测试语料进行研究，分词并计算P，R，F1评价指标。从结果上来看，无论是整体分词指标和单句分词指标，HanLP和Thulac的分词指标都要高于Jieba，但是这两个分词工具的指标各有优势，不能简单评价孰优孰劣。可以得出结论：HanLP和Thulac的分词水平相近而Jieba分词的分词水平则略差一些。

五、附录

略