[编译原理读书笔记][第3章 词法分析] |
您所在的位置：网站首页 › 词法分析器的主要任务 › [编译原理读书笔记][第3章 词法分析] |
[编译原理读书笔记][第3章 词法分析]
|
[编译原理读书笔记][第3章 词法分析]
标签（空格分隔）： 未分类 本章我们主要讨论如何构建一个词法分析器 首先建立起每个词法单元的词法结构图或其他描述. 编写代码识别输入中出现的每个词素,并返回识别到词法单元的有关信息词法分析器生成工具(lexical-analyzer generator) 描述出词素模式,然后将这些模式编译为具有词法分析功能的代码. 程序员只要在抽象很高的层次上描述软件,就能生成代码. 3.5节将介绍一个名为Lex分析器生成工具正则表达式 正则表达式是一种很方便描述词素模式的方法. 我们将介绍正则表达式进行转换: 首先转换为不确定有穷自动机. 然后转换为确定又穷自动机.驱动程序就是模拟这些自动机的代码,使用自动机确定下一个词法单元. 驱动程序和自动机的规约形成词法分析器的核心部分. 3.1 词法分析器的作用词法分析是编译的第一阶段. 词法分析器的主要任务是 1.读入源程序的输入字符 2.将他们组成词素,生成并输出一个词法单元序列,每个词法单元对应一个词素.词法分析,语法分析,符号表的交互
词法分析其余任务 过滤注释和空白 编译器生成的错误信息,和源代码的位置练习起来有时候,词法分析分成两个级联处理 扫描阶段: 不生成词法的单元的简单处理:删除注释和将多个空白压缩成一个 分析极端:处理扫描阶段的输出,返回词法单元 3.1.1 词法分析及语法分析把编译阶段的分析部分化为词法分析和语法分析阶段有如下几个原因: 最重要的考虑是简化编译器设计 提高编译器效率(因为能专精) 增强编译器的可移植性. 3.1.2 词法单元,模式和词素三个相关但有区别的术语.
在很多程序设计语言中,下面类别覆盖了大多数词法单元 每个关键词有一个词法单元. 一个关键词的模式是他本身. 表示运算符的词法单元 表示所有标识符的词法单元 一个或多个表示常量的词法单元 每一个标点符号 有一个词法单元 3.1.3 词法单元的属性 词法单元的属性:如果多个词素可以和一个模式匹配,那么词法分析器必须向编译器的后续阶段提供被匹配词素的附加信息. 一个标识符的属性值是一个指向符号表中该标识符条目的指针.
如果没有其他组件帮助,词法分析器很难发现源代码的错误. 比如: fi(a==f(x)) 词法分析器会当做一个标识符作为词法单元传给语法分析器 这个错误将由语法分析器处理.恐慌模式:所有词法单元都无法和剩余输入的某个前缀相匹配时的策略 我们从剩余的输入不断删除字符,直到词法分析器能够在剩余的开头发现一个正确的词法单元为止. 3.1.5 练习
讨论几种可以加快源程序读入速度的方法. 我们将介绍一种双缓冲区方案 这种方案能安全处理向前看多个符号问题. -,=,,==, |
【本文地址】
今日新闻 |
推荐新闻 |