和机器学习任务一样，自然语言处理任务的第一步工作也是文本（数据）准备或叫文本（数据）预处理。文本预处理的流程如下图所示： 文本预处理工作以分词步骤为界，之前的文本标准化和文本清洗是语料级（篇章级）颗粒度文本处理，之后词的清洗、标准化和文本表示是单词级颗粒度文本处理。

语料级文本处理的作用对象是数据集中的每一篇语料，它比单词级文本处理效率更高，并且可以提前去除影响分词效果的障碍（如：英文中按空格分词，但与单词直接相邻的逗号等标点会产生非标准单词的分词结果（‘word,’ 标准形式应该是’word’））。

单词级文本处理执行在语料分词之后，它的处理对象是每篇语料中的每一个单词，主要执行单词的过滤、单词写法的标准化（如大写数字与阿拉伯数字书写形式的统一、统一英文单词不同时态、语态书写形式的统一等）、拼写纠错和文本表示四大步工作。

在计算机中，所有中文字符都是全角字符，而英文字母、阿拉伯数字及符号有全角和半角两种unicode编码方式。它们的全角字符unicode编码从65281~65374 (十六进制 0xFF01 ~ 0xFF5E)，半角字符unicode编码从33~126 (十六进制 0x21~ 0x7E)；而空格符比较特殊，全角unicode编码为12288 (0x3000)，半角为32 (0x20)。

可见除空格符外，每个全角字符的unicode编码等于其半角字符的unicode编码加65248，因此字符unicode编码标准化实现代码如下：