最近在学自然语言处理，这是第一个上机实验自然语言处理的分词算法，也是自然语言处理比较入门的算法。和大家分享一下。 首先，自然语言处理，英文是(Nature Language Process)，简称“NLP"。是人工智能发展的的热门方向，也是和人交互最为相关的人工智能的应用方向。因为是和人打交道，那么需要以人的交流方式–语言来进行交互。 下面给大家介绍NLP里面最基础的算法–分词算法。

一个好的NLP系统一定要有完备的词典，用于判断算法分出的词是否是具有实际意义的词。比如，“吃饭”，“睡觉”等。从而过滤掉那些没有实际意义的词。比如，“的是”，“是吃”等。 目前比较熟著名且成熟的词典有： 搜狗实验室发布的互联网词库（SogouW，其中有15万个词条） 清华大学开放中文词库（THUOCL） 码农场千万级巨型汉语词库（千万级词条）

这里介绍常用的切分算法，具体分为完全切分、正向最长匹配、逆向最长匹配、双向最长匹配算法。

完全切分指的是，找出一段文本中的所有有意义单词，不是标准意义上的分词。 具体实现在代码实现部分的fully_segment的函数部分

就是说从前往后，递增查词，优先输出更长的单词。 具体实现在代码实现部分的forward_segment的函数部分

与正向最长匹配相反，从后往前，递减查词，优先输出更长的单词，据统计这种方法更具可靠性。 具体实现在代码实现部分的backward_segment的函数部分

属于对正向最长匹配和逆向匹配的折中方案。属于融合两种匹配方法的复杂规则集，流程如下： 1.同时执行正向最长匹配和逆向最长匹配，若两者的次数不同，则返回次数更少的那一个。 2.如果相等，返回两者中单字更少的那一个，当单子数也相同时，优先返回逆向最长匹配的结果。 具体实现在代码实现部分的all_segment的函数部分

这里引用了几个经典的例子。读者可以自行修改体验。运行代码时，要输入的句子可以是“项目的研究”“商品和服务”“研究生命起源”“当下雨天地面积水”“结婚的和尚未结婚的”“欢迎新老师生前来就餐”。