搜索微信公众号:‘AI-ming3526’或者’计算机视觉这件小事’ 获取更多干货 github：https://github.com/aimi-cn/AILearners

在本章中，你将学到 NLP 中的另外两个基础技术一 词性标注和命名实体识识别。

本章的要点包括：

词性是词汇基本的语法属性，通常也称为词类 词性标注是在给定句子中判定每个词的语法范畴，确定其词性井加以标注的过程 例如，表示人、地点、事物以及其他抽象概念的名称即为名词，表示动作或状态变化的词为动词，描述或修饰名词属性、状态的词为形容词。如给定一个句子 “这儿是个非常漂亮的公园”，对其的标注结果应如下：“这儿/代词 是／动词 个/量词 非常/副词 漂亮／形容词 的/结构助词 公园/名词”。

在中文中 ，一个词的词性很很多时候都不是固定的，一般表现为同音同形的词在不同场景下，其表示的语法属性截然不同，这就为词性标注带来很大的困难；但是另外一方面，从整体上看，大多数词语，尤其是实词，一般只有一到两个词性，且其中一个词性的使用频次远远大于另一个，即使每次都将高频词性作为词性选择进行标注， 也能实现80% 以上的准确率。如此，若我们对常用词的词性能够进行很好地识别，那么就能够覆盖绝大多数场景，满足基本准确度要求。

词性标注最简单的方法是从语料库中统计每个所对应的高频词性，将其作为默认词性，但这样显然还有提升空间 。目前较为主流的方法是如同分词一样，将句子词性标注作为一个序列标注问题来解决，那么分词中常用的手段，如隐含马尔可夫模型、条件随机场模型等皆可在词性标注任务中使用。本节将继续介绍如何使用 Jieba 分词来完成 词性标注任务。

词性标注需要有一定的标注规范，如将词分为名词、形容词、动词，然后用“n” “adj” “v” 等来进行表示。中文领域中尚无统一的标注标准，较为主流的主要为北大的词性标注集和宾州词性标注集两大类。两类标注方式各有千秋，一般我们任选一种方式即可。本书中采用北大词性标注集作为标准，其部分标注的词性如表 4-1 所示。

在上节分词中，我们介绍了 Jieba 分词的分词功能，这里将介绍其词性标注功能。类似Jieba分词的分词流程， Jieba 的词性标同样是结合规则和统计的方式，具体为在词性标注的过程中，词典匹配和HMM共同作用。词性标注流程如下。

首先基于正则表达式进行汉字判断，正则表达式如下：

若符合上面的正则表达式， 则判定为汉字，然后基于前缀词典构建有向无环图，再基于有向无环图计算最大概率路径，同时在前缀词典中找出它所分出的词性，若在词典中未找到，则赋予词性为“X”（代表未知） 当然，若在这个过程中，设置使用 HMM且待标注词为未登录词，则会通过 HMM 方式进行词性标注。

若不符合上面的正则表达式，那么将继续通过正则表达式进行类型判断，分别赋予 “X” “M”（数词）和 “eng”（英文）

使用 Jieba 分词进行词性标注的示例如下：

运行结果：（每个词后面跟着其对应的词性，相关词性具体参考上表）

中文/nz 分词/n 是/v 文本处理/n 不可或缺/l 的/uj 一步/m ！/x

之前我们介绍过， Jieba 分词支持自定义词典，其中的词频和词性可以省略然而要注意的是，若在词典中省略词性，那么采用jieba分词进行词性标注后，最终切分词的词性将变成“X ”，这在如语法分析或词性统计等场景下会对结果有一定的影响。因此在使用jieba分词设置向定义词典时，尽量在词典中补充完整的信息。

与自动分词、词性标注 样，命名实体识别也是自然语言处理的一个基础任务，是信息抽取、信息检索、机器翻译、问答系统等多种自然语言处理技术必不可少的组成部分。其目的是识别语料中人名、地名、组织机构名等命名实体 由于这些命名实体数量不断增加，通常不可能在词典中穷尽列出，且其构成方法具有各自的规律性，因此，通常把对这些词的识别在词汇形态处理（如汉语切分）任务中独立处理，称为命名实体识别(Named Entities Recognition, NER）。NER研究的命名实体一般分为3大类（实体类、时间类和数字类）和小类（人名、地名、组织机构名、时间、日期、货币和百分比）。由于数量、时间、日期、货币等实体识别通常可以采用模式匹配的方式获得较好的识别效果，相比之下人名、地名、机构名较复杂，因此近年来的研究主要以这种实体为主。

命名实体识别当前并不是一个大热的研究课题，因为学术界部分认为这是一个已经解决了的问题，但是也有学者认为这个问题还没有得到很好地解决，原因主要有：命名实体识别只是在有限的文本类型（主要是新闻语料）和实体类别（主要是人名、地名）中取得了效果；与其他信息检索领域相比，实体命名评测语料较小，容易产生过拟合；命名实体识别更侧重高召回率，但在信息检索领域，高准确率更重要；通用的识别多种类型的命名实体的系统性很差。

同时·，中文的命名实体识别与英文的相比，挑战更大，目前未解决的难题更多。命名实体识别效果的评判主要看实体的边界是否划分正确以及实体的类型是否标注正确。在英文中，命名实体一般具有较为明显的形式标志（如英文实体中的每个词的首字母要大写），因此其实体边界识别相对容易很多，主要重点是在对实体类型的确定。而在汉语中，相较于实体类别标注子任务，实体边界的识别更加困难。

中文命名实体识别主要有以下难点：

在分词章节，我们介绍了分词主要有三种方式，主要有基于规则的方法、基于统计的方法以及二者的混合方法这在整个NLP的各个子任务基本上也多是同样的划分方式，命名实体识别也不例外：

序列标注方式是目前命名实体识别中的主流方法，鉴于 HMM 在之前的章节已有介绍，本节重点介绍基于条件随机场的方法。

在进入条件随机场的命名实体识别之前，我们先温习下分词章节中介绍到的HMM。HMM将分词作为字标注问题来解决，其中有两条非常经典的独立性假设，一是输出观察值之间严格独立，二是状态的转移过程中当前状态只与前状态有关（ 一阶马尔可夫模型）通过这两条假设，使得HMM的计算成为可能，模型的计算也简单许多但多数场 景下，尤其在大量真实语料中，观察序列更多的是以一种多重的交互特征形式表现出来，观察元素之间广泛存在长程相关性 这样， HMM 的效果就受到了制约。

基于此，在 200 年， Lafferty 等学者们提出了条件随机场，其主要思想来源于HMM ，也是一种用来标记和切分序列化数据的统计模型 不同的是，条件随机场是在给定观察的标记序列下，计算整个标记序列的联合概率，而HMM 是在给定当前状态下，定义下一个状态的分布。

条件随机场的定义为：

这里简单举例说明随机场的概念：现有若干个位置组成的整体，当给某一个位置按照某种分布随机赋予一个值后，该整体就被称为随机场。以地名识别为例，假设我们定义了如表 4-2 所示规则。

现有个由n个字符构成的NER的句子，每个字符的标签都在我们已知的标签集合（“B” “M” “E” “S” 和 “O”）中选择，当我们为每个字符选定标签后，就形成了一个随机场。若在其中加一些约束，如所有字符的标签只与相邻的字符的标签相关，那么就转化成马尔可夫随机场问题。从马尔可夫随机场到条件随机场就好理解很多，其假设马尔可夫随机场中有X和Y两种变量，X一般是给定的，Y是在给定X条件下的输出。在前面的例子中，X是字符，y为标签，P(X|Y)就是条件随机场。

在条件随机场的定义中，我们并没有要求变量X与Y具有相同的结构。实际在自然语言处理中，多假设其结构相同，即

结构如图4-1所示：

一般将这种结构称为线性链条件随机场（ linear-chain Conditional Random Fields linear-chain CRF） 其定义如下：

在图 4-2 可以看到HMM 是一个有向图，而线性链CRF盯是一个无向图，因此，HMM 处理时，每个状态依赖上一个状态，而线性链CRF依赖于当前状态的周围结点状态。

对于线性链CRF的算法思想已经介绍不少，接下来讲解如何将其应用于命名实体识别过程中。

判断标注序列靠谱与否就是我们要解决的问题。就上面的两种分法，显然第二种没有第一种准确，因为其将“牛”和“家”都作为地名首字标成了“B”，一个地名两个首字符，显然不合理，假如给每个标注序列打分，分值代表标注序列靠谱程度，越高代表越靠谱，那么可以定一个规则， 若在标注中出现连续两个“B”结构的标注序列，则给它低分（如负分 、零分等）。

上面说的连续“B”结构打低分就对应一条特征函数。在CRF中，定义一个特征函数集合，然后使用这个特征集合为标注序列进行打分，据此选出最靠谱的标注序列。该序列的分值是通过综合考虑特征集合中的函数得出的。

Z(X)是规范化因子， 其求和操作是在所有可能的输出序列上做的；为转移函数和状态函数对应的权值.

在工程项目中，我们会经常面临日期识别的任务，当针对结构化数据时，日期设置一般有良好的规范，在数据入库时予以类型约束，在需要时能够通过解析还原读取到对应的日期。然而在一些非结构化数据应用场景下，日期和文本混杂在一起，此时日期的识别就变得艰难许多。

非结构数据下的日期识别多是与具体需求有关，本节实战的背景如下：现有一个基于语音问答的酒店预订系统，其根据用户的每句语音进行解析，识别出用户的酒店预订需求，如房间型号、人住时间等；用户的语音在发送给后台进行请求时已经转换成中文文本，然而由于语音转换工具的识别问题，许多日期类的数据并不是严格的数字，会出 现诸如“六月 12 ”“ 2016 年八月”“20160812““后天下午”等形式 这里我们不关注问答系统的具体实现过程，主要目的是识别出每个请求文本可能的日期信息，并将其转换成统一的格式进行输出。例如”我要今天住到明天“（假设今天为2019年5月28日），那么通过日期解析后，应该输出为”2019-05-28“和”2019-05-29“。

模型使用

CRF++提供了Python接口，可以通过该接口加载模型，进行自定义函数（详见locNER.py）

在windows系统下加载接口，此过程在上面安装过程中已完成。

具体代码：

此过程请在命令提示符下运行，在编辑器中运行会报出模块导入失败的错误。

运行结果：

可以看到，该程序针对一些场景能够很好地进行识别，但是在遇到如“回龙观”、“南锣鼓巷”、“北京南站”等词识别效果并不好。这种情况在实际项目中会经常遇到，解决办法是：1、扩展语料，改进模型。2、整理地理位置词库

本章主要讲解了词性标注和命名实体识别技术 对于词性标注，在给出基础概念和技术后，简单讲解了标注的规范， 然后介绍了其在 Jieba 分词中的使用方法 对于命名实体识别，在介绍完基础概念和常用方法后，重点介绍了另一种基于序列标注的模型一条件随机场，随后列举了两个实战一一日期识别和地名识别，分别演示了规则方法和统计方法。

到本章为止，我们已介绍过分同、词性标注和命名实体识别 作为中文信息处理中基础性关键技术，它们是自然语言处理中在词法层面的 姐妹，相互联系和影响。细心的读者会发现，在第3和第4章中 ，我们介绍的方法基本上是互通的，并不限于在某一个具体问题上，尤其是 HMM和CRF。当将分词、词性标注和命名实体识别都作为标注任务来进行处理时 ，采用 HMM和CRF 都是可行的，不同的是标签的区别。当然，HMM和CRF 相互间能够辅助其他任务完成得更好， 如在命名实体识别中，当我们在切完词、标注完词性后，再做识别任务，效果要比单纯的字标注要好很多。

AIMI-CN AI学习交流群【1015286623】 获取更多AI资料 扫码加群：

分享技术，乐享生活：我们的公众号每周推送“AI”系列资讯类文章，欢迎您的关注！