本系列文章是《编译原理》的读书笔记，并加入了一些个人的理解。本系列的主要内容顺序如下：1）、首先解释什么是词法单元；2）、如何手动识别词法单元；3）、最后是词法分析器如何自动机自动识别词法单元；本文主要是看一下词分析器的词法单元部分。包括一些基本概念，以及词法单元的识别。

首先我们先大体上看一下词法分析器的作用。它的主要任务是读入源程序的输入字符、将它们组成词素，生成并输出一个词法单元的序列。每个词法单元对应一个词素。

这里我们有提到几个专业名词：词素、词法单元。它们的定义马上就会说到，我们可以先看看下面这幅图：

从图中我们可以看出来词法分析器还在和符号表进行交互，其主要作用是从符号表中读取有关标识符种类信息，以确定需要向语法分析器传送的词法单元。

现在我们就先来看看前面提到的一些专业名词：

词法单元是语法分析器处理的输入符号。

词素：源程序中的一个字符序列，它和某个词法单元的模式匹配。它被词法分析器识别为该词法单元的一个实例；

模式：它描述了一个词法单元的词素可能具有的形式；

这儿我大致地解释一下这三个概念之间的关系：词法单元指定的是某一类型的事物，用面向对象来说就是，词法单元类（class）；词素就是指的是该类的具体实例；而模式就是该类的一个属性，它描述了词素所具有的具体特征。

并不是说实际就是这个代码，我只是为了便于理解，而进行的类比。下表给出了一些常见的词法单元：

无符号数是形如5280、0.01234、6.336E4或者1.89E-4的串。下面的正则定义给出了这类符号串的精确定义：

我们可以使用正则表达式的扩展，来把例一的正则表达式进行改写：

现在通过正则表达式，我们可以写出对应词法单元对应的模式来。因此下一步要做的就是读取源代码里面的字符流，搭配对应的词法单元的模式，生成对应的词法单元。

很多情况下，我们需要至少向前看一个字符。比如在c语言中，像-、=或者< 这样单字符运算符也有可能是 -> 、== 或者