词法分析的作用就是解析源代码文件，将文件中的字符串序列转换成 Token 序列，方便后面的处理和解析。执行词法分析的程序称为词法解析器（lexer）。也叫扫描器（scanner）。词法分析器一般以函数的形式存在，供语法分析器调用。

这个 Token 序列，其实就是不包括空格、换行等字符的序列。词法分析器就是将源代码，根据一定的规则，转换解析成字符序列。而 lexer 词法解析器定义了这个规则，例如有如下规则：

这个规则的意思就是，package 关键字翻译成 Token 为 PACKAGE，以此类推，如果一个简单的 main 函数：

那么根据转换规则，lexer 词法解析器会将上面的源代码，转换成 Token 序列为：

生成这个 Token 后，语法分析器会对这个 Token 序列做进一步的转换。

词法分析器 Scanner 源码位置在：

入口文件：（src/cmd/compile/internal/syntax/scanner.go ）

token类型：（src/cmd/compile/internal/syntax/tokens.go ）

2. 语法分析

词法分析器生成 Token 后，语法分析过程就是将这个 Token 按照语言定义好的语法（Grammar）自下而上或者自上而下的进行规约，每一个 Go 的源代码文件最终会被归纳成一个 SourceFile 结构。

所谓的语法分析就是将 Token 转化为可识别的程序语法结构，而 AST 就是这个语法的抽象表示。每一个 AST 都对应着一个单独的 Go 语言文件，这个抽象语法树中包括当前文件属于的包名、定义的常量、结构体和函数等。构造这颗树有两种方法：

抽象语法树（Abstract Syntax Tree、AST），是源代码语法的结构的一种抽象表示，它用树状的方式表示编程语言的语法结构。抽象语法树中的每一个节点都表示源代码中的一个元素，每一棵子树都表示一个语法元素。

作为编译器常用的数据结构，抽象语法树抹去了源代码中不重要的一些字符 – 空格、分号或者括号等等。编译器在执行完语法分析之后会输出一个抽象语法树，这个抽象语法树会辅助编译器进行语义分析，我们可以用它来确定语法正确的程序是否存在一些类型不匹配的问题。

go 语言进行语法分析使用的是自下而上的方式来构造 AST，下面我们就来看一下go语言通过 Token 构造的这颗树是什么样子。

1. 词法分析器

词法分析是将字符序列转换为Tokens（或称Token序列、单词序列）的过程。其工作原理是对输入的代码文本进行词法分析，将一个个字符以从左到右的顺序读入，根据构词规则识别单词，最终得到Token（单词）。Token是语言中的最小单位，它可以是变量、函数、运算符或数字。

例如“x*i+1”文本表达式，通过Lexer词法分析器处理后得到Token序列。Lexer词法分析器解析后的结果为：

1. 语法分析器

通过 Lexer 词法分析器得到 Token 序列以后，它将被传递给 Parser 语法解析器。解析器是编译器的一个阶段，它将 Token 序列转换为抽象语法树（AST，Abstract Syntax Tree）。抽象语法树也被称为语法树（Syntax Tree），是编程语言源码的抽象语法结构的树状表现形式，树上的每个节点都表示源码中的一种结构。

yuroyoro/goast-viewer   就是一个将 golang 源代码转成 AST 可视化的项目。

抽象语法树是源码的结构化表示。在抽象语法树中，我们能够看到程序结构，例如函数和常量声明。将上面 “x*i+1” 表达式的 Token 转成 AST 抽象语法树为：

首先，词法分析和语法分析用到的结构体有：

在 src/compile/internal/gc/noder.go 文件中，定义了 noder 结构体，该结构体中，每一个 noder 对象相当于 AST 语法树中的节点，构成了整个语法树。noder 结构体定义如下，最关键的字段就是：

也就是说，词法解析器的结果会附加到 noder 结构体中的 File 字段中，表示词法分析的结果 Token。下面是 syntax.File 结构体，syntax.File 结构体在 src\cmd\compile\internal\gc\noder.go 文件中，有几个地方需要注意：

gc.noder 和 syntax.File 结构体用于保存解析后的结果，接下来就是怎么解析成这个结果，有两个解析器，一个是词法解析器，一个是语法解析器，先来看语法解析器，因为在语法解析器的结构体中，包含了词法解析器。

parser 结构体位于 src\cmd\compile\internal\syntax\parser.go 文件中，该结构体定义了解析器需要用到的变量，关键属性有：

语法解析器 parse 结构体中包含了词法解析器 scanner，scanner 结构体位于 src\cmd\compile\internal\syntax\scanner.go 文件中，scanner 主要的属性有

在 src\cmd\compile\main.go 的主程序入口文件中，调用 gc.Main 函数，而 gc.Main 函数就是 go build 的主要构建过程。gc.Main 函数位于 src\cmd\compile\internal\gc\main.go 文件。

gc.Main 函数前面的主要内容是分析当前系统架构，根据不同的架构运行不同的参数，并且分析 go build 时用户传入的参数，根据不同的参数执行不同的功能。在 gc.Main 函数中，实现词法分析和语法分析的过程在调用 parseFiles 的函数时。

parseFiles 函数位于 src\cmd\compile\internal\gc\noder.go ，该函数的主要功能及解析过程为：

可以看到上面代码中，解析的过程调用了syntax.Parse() 函数，该函数位于 src\cmd\compile\internal\syntax\syntax.go 文件，该函数就是词法解析的过程。

词法解析器主要有两个主要的步骤：