这是一套利用感知机做序列标注任务，并且应用到中文分词、词性标注与命名实体识别这3个问题的完整在线学习框架。该框架利用1个算法解决3个问题，是自治统一的系统。同时三个任务顺序渐进，构成流水线式的系统。

不想训练模型的用户可直接参考 DemoPerceptronLexicalAnalyzer。

需要训练模型的用户不必关心算法细节，只需顺着本文档将【训练】【测试】两个步骤走通，就能解决上述3个问题。

本文档配有示例代码和示例语料，分别位于src/test/java/com/hankcs/hanlp/model/perceptron和OpenCorpus/pku98/199801.txt，欢迎参考。

为了简化语料预处理的工作，无论是中文分词、词性标注还是命名实体识别，本系统都采用同一种语料格式，即人民日报2014语料格式：

训练时将满足上述格式的语料以纯文本txt导出到一个目录下即可。OpenCorpus/pku98/199801.txt即为一个单文档的例子，可供参考。

特别地，考虑到有许多中文分词语料不含词性，这种语料也被分词模块支持。

只需指定输入语料的路径（单文档时为文件路径，多文档时为文件夹路径，灵活处理），以及模型保存位置即可：

事实上，视语料与任务的不同，迭代数、压缩比和线程数都可以自由调整，以保证最佳结果:

单线程时使用AveragedPerceptron算法，收敛较好；多线程时使用StructuredPerceptron，波动较大。关于两种算法的精度比较，请参考下一小节。目前默认多线程，线程数为系统CPU核心数。请根据自己的需求平衡精度和速度。

在sighan2005的msr数据集上的性能评估结果如下：

对任意PerceptronTagger，用户都可以调用准确率评估接口：

目前感知机分词是所有“由字构词”的分词器实现中最快的，比自己写的CRF解码快1倍。新版CRF词法分析器框架复用了感知机的维特比解码算法，所以速度持平。

测试时只需提供分词模型的路径即可：

正常情况下对商品和服务的分词结果为[商品, 和, 服务]。建议在任何语料上训练时都试一试这个简单的句子，当作HelloWorld来测试。若这个例子都错了，则说明语料格式、规模或API调用上存在问题，须仔细排查，而不要急着部署上线。

另外，数据包中已经打包了在人民日报语料1998年1月份上训练的模型，不传路径时将默认加载配置文件中指定的模型。

在本系统中，分词器PerceptronSegmenter的职能更加单一，仅仅负责分词，不再负责词性标注或命名实体识别。这是一次接口设计上的新尝试，未来可能在v2.0中大规模采用这种思路去重构。

词性标注是分词后紧接着的一个任务，训练语料同上，接口如下：

词性标注器接受的输入不再是纯文本，而是分词后的单词数组或列表：

正常情况下输出每个单词的词性：

关于如何组合分词器和词性标注器，使其同时进行分词与词性标注，请参考接下来的章节。

目前本系统默认支持人名（nr），地名（ns），机构名（nt）三种命名实体的识别，用户可以重载NERTrainer的createTagSet来支持任意NER类型。

命名实体识别是词性标注的后续任务，训练语料依然同上，接口如下：

重载NERTrainer的createTagSet来支持自己的NER类型。当然，用户提供的语料必须满足2014人民日报格式。

命名实体识别器的输入不再是纯文本，而是分词结果与词性标注结果：

正常情况下输出：

7个标签代表上述7个词语所属的命名实体成分。

本系统将同时进行中文分词、词性标注与命名实体识别3个任务的子系统称为“词法分析器”。

对应的类为PerceptronLexicalAnalyzer，其构造方法为递增的3个模型地址：

用户根据自己要进行的任务，训练3个模型中的任意个数，然后灵活传入此类构造即可。此处假设训练了3个模型，那么传入这3个模型的路径即可构造词法分析器：

词法分析器的分析接口如下：

正常情况下输出：

Sentence结构是一个对人民日报语料格式的实现，用户可以方便地用for循环去遍历单词，用instanceof来判断单词属于复合词还是简单词。此处演示输出句子中所有复合词内部的简单词：

结果：

通过此结构，我们可以捕捉语言的复合结构（简单词构成复合词）。此结构输出为文本后满足人民日报2014语料格式，形成了一个语料与文本之间的闭环。

本系统依然兼容HanLP的seg接口，与analyze接口比较如下：

输出：

注意上面两个结果中的命名实体有着本质的不同，seg接口无法输出层次结构，而analyze接口可以。

本框架另一个特色功能是“在线学习”，或称“增量训练”。其适用场景如下： 线上系统的统计模型依然会犯错误，但重新训练的代价过大（比如耗时长，没有语料等等）。本系统支持在线学习新知识，实时修正统计模型的错误。这里举一个分词的例子，人民日报1998年1月份训练出来的模型无法分对“下雨天地面积水”这个句子：

输出：

但本系统支持在线学习这个句子的正确分词方式：

通过learn接口，感知机模型学习到了这个句子的正确分词方式，并输出了正确结果：

对于类似的句子，也拥有了举一反三的泛化能力：

输出：

词性标注器和命名实体识别器也有类似的learn接口，用户可举一反三类似地调用，不再赘述。

在线学习或训练后的模型可以序列化到某个路径，其接口是：

比如压缩比为0.1，则压缩后的体积为原来的0.9。此处的“体积”指的是特征数量，并不一定等于文件体积。

如上文所述，本框架中的功能可以通过命令行调用：

当用户按照上文所述训练了1到3个模型后，可以通过命令行接口交互式地观察效果：