正则表达式：
正则表达式是当前主流的字符串识别机制之一，另外一种是文法识别。
和文法相比，正则表达式具有构造相对简单，运行效率较高的特点，所以一般的字符串识别会使用正则表达式。
正则表达式有三种主要运算符是我们在构造词法分析器生成器LEX需要用到的：*、|、连接
*代表闭包运算，假如有一个字符串a，那么a*就代表由任意个字符串a组合成的字符串，包括空串（0个字符串a组合成的字符串），...
分类：
编程语言 时间：
2016-07-10 19:15:29
阅读次数：
1695
创建索引 Lucene在进行创建索引时，根据前面一篇博客，已经讲完了大体的流程，这里再简单说下： 1 创建Directory，获取索引目录 2 创建词法分析器，创建IndexWriter对象 3 创建document对象，存储数据 4 关闭IndexWriter，提交 增量添加索引 Lucene拥有 ...
分类：
Web程序 时间：
2016-06-15 10:47:31
阅读次数：
219
词法分析的理论知识不少，包括了正规式、正规文法、它们之间的转换以及确定的有穷自动机和不确定的有穷自动机等等。。。 要自己写一个词法分析器也不会很难，只要给出了最简的有穷自动机，就能很方便实现了，用if、switch-case来写一通所谓的状态转换就可以，我近期会写一个简单的词法分析程序来作为例子。。 ...
分类：
其他好文 时间：
2016-05-30 19:48:39
阅读次数：
165
Second-词法分析编译器阶段
源程序 -> 编译器 -> 目标程序
编译器: 前端 -> 中间表示 -> 后端
前端: 词法分析器 -> 记号 -> 语法分析器
中间表示: 抽象语法树
后端: 语义分析器
词法分析器: 一段程序代码，主要功能是把字符流转变为记号流
词法分析器列子：
字符流输入：if (x > 5)
词法分析结果：IF LPAREN IDENT(x) GT INT(5) RP...
分类：
其他好文 时间：
2016-05-30 15:46:35
阅读次数：
269
一个简单的词法分析器 词法分析（Lexical Analysis) 是编译的第一阶段。词法分析器的主要任务是读入源程序的输入字符、将他们组成词素，生成并输出一个词法单元序列，每个词法单元对应一个词素。这个词法单元序列被输出到语法分析器进行语法分析。 有关原理的介绍参考http://www.cnblo ...
分类：
编程语言 时间：
2016-05-24 20:59:20
阅读次数：
269
这两天都没更, 主要是马上要连着要考三门(16, 18, 20), 都没时间学编译器了, 等过了这段时间应该能有很多时间来搞这个, 之后我准备先把之前写的那个词法分析器生成器改造一下, 弄个最简版的正则引擎出来玩玩, 不过这些都是后话了, 今天似乎也没什么时间, 也就把这单元的作业写了一下... 代 ...
分类：
其他好文 时间：
2016-05-14 20:05:21
阅读次数：
173
首先我们来分析一下语法分析器的任务 : 将由词法分析器返回的Tokens(记号流)经过检查和处理生成根据规定的语法规则来生成抽象语法树... 最终大概是这样 (两个输入 一个输出): 然后是语法树, 大概是这样 : 那么接下来看看在这一阶段所需要学习的内容 : 大概就是这样... ...
分类：
其他好文 时间：
2016-05-11 23:20:14
阅读次数：
159
相关定义： 识别器：可以在字符流中识别特定单词的程序。 有限自动机（FA）：识别器的一种形式化方法，包含一个有限状态集，一个字母表，一个转移函数，一个起始状态和一个或多个接受状态。 正则表达式：有限自动机所接受的单词的集合，形成的语言。eg：n（ew|ot） RE--NFA--DFA--最小DFA- ...
分类：
其他好文 时间：
2016-05-09 23:37:54
阅读次数：
389
今天来讲第一部分Scanner，俗称扫描器，也叫词法分析器。想要了解Scanner究竟做了什么，我们要从整个流程讲起。 首先，计算器得到的输入的是一串字符，如 ”1 + 2“。 如果不学编译原理，应该如何计算出结果呢？可能会利用栈，一个数字栈一个符号栈云云，但这样处理简单运算还好，如果有大于10的数 ...
分类：
其他好文 时间：
2016-05-07 23:34:19
阅读次数：
957
简介本章依然专注于使用yacc实现计算器，主要的特点是给算术运算增加变量支持。模块拆分它主要分为3个模块
1. lex词法分析器
2. yacc语法分析器
3. 符号表功能描述1. lex词法分析器正规式的定义如下：delim [ \t]
ws {delim}+
letter [a-zA-Z]
digit [0-9]
id {letter}({letter}|{digit})*
/...
分类：
其他好文 时间：
2016-05-07 09:52:10
阅读次数：
252
