解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划（Plan）的生成。生成的查询计划存储在HDFS中，并在随后有mapreduce调用执行。 举个例子： 第一步：输入一条HQL查询语句（select * from tab） 第二步：解析器对这条Hql语句进行语法分析 ...
分类：
其他好文 时间：
2016-06-19 14:13:26
阅读次数：
953
众所周知，JVM以前一直采用的是解释执行，但是后来在历代的版本更迭中也加入了编译执行。所以总的来说JVM是包含了解释执行和编译执行。这一部分不属于JVM的范畴了，已经属于编译了，大多数都是进行词法分析之类的，以后有时间会补充。
同时大家都知道现在大体上分为两种指令集架构，第一种就是基于栈的第二种是基于寄存器的，简单点说，基于寄存器的架构速度更快，但是可移植性不强，但是基于栈的指令集架构虽然慢，但...
分类：
其他好文 时间：
2016-06-15 12:48:14
阅读次数：
183
创建索引 Lucene在进行创建索引时，根据前面一篇博客，已经讲完了大体的流程，这里再简单说下： 1 创建Directory，获取索引目录 2 创建词法分析器，创建IndexWriter对象 3 创建document对象，存储数据 4 关闭IndexWriter，提交 增量添加索引 Lucene拥有 ...
分类：
Web程序 时间：
2016-06-15 10:47:31
阅读次数：
219
词法分析的理论知识不少，包括了正规式、正规文法、它们之间的转换以及确定的有穷自动机和不确定的有穷自动机等等。。。 要自己写一个词法分析器也不会很难，只要给出了最简的有穷自动机，就能很方便实现了，用if、switch-case来写一通所谓的状态转换就可以，我近期会写一个简单的词法分析程序来作为例子。。 ...
分类：
其他好文 时间：
2016-05-30 19:48:39
阅读次数：
165
Second-词法分析编译器阶段
源程序 -> 编译器 -> 目标程序
编译器: 前端 -> 中间表示 -> 后端
前端: 词法分析器 -> 记号 -> 语法分析器
中间表示: 抽象语法树
后端: 语义分析器
词法分析器: 一段程序代码，主要功能是把字符流转变为记号流
词法分析器列子：
字符流输入：if (x > 5)
词法分析结果：IF LPAREN IDENT(x) GT INT(5) RP...
分类：
其他好文 时间：
2016-05-30 15:46:35
阅读次数：
269
本文由腾讯WeTest团队提供，未经授权严禁转载！更多资讯可直接戳链接查看：http://wetest.qq.com/lab/
微信号：TencentWeTest
引言
静态代码分析是指无需运行被测代码，通过词法分析、语法分析、控制流、数据流分析等技术对程序代码进行扫描，找出代码隐藏的错误和缺陷，如参数不匹配，有歧义的嵌套语句，错误的递归，非法计算，可能出现的空指针引用等等。统计证明...
分类：
编程语言 时间：
2016-05-30 15:40:30
阅读次数：
294
经过一天的实践, 勉强写完了语法分析部分和词法分析的抽象语法树的生成部分... 但是也发现也昨天规定的词法和文法中出现的一些问题, 同时我根据情况进行了一些改动... 改动1 : 逻辑操作符 ||, && > |, & (主要是方便实现)... 改动2 : expr归入了judge类(关于这一点, ...
分类：
其他好文 时间：
2016-05-29 21:25:33
阅读次数：
269
到这里词法分析模块就接近尾声了, 下面对词法分析模块进行总结 : 递归下降本质上也算是自顶向下的分析算法, 适合手工编码, 它相对来说更加灵活, 能够对于特定的DSL进行更加灵活的处理优化, 但是相对来说比较慢.而自动生成器则恰好相反, 接下来是一个LR(1)语法生成器的实例 -- YACC. 首先 ...
分类：
其他好文 时间：
2016-05-27 18:19:03
阅读次数：
181
一个简单的词法分析器 词法分析（Lexical Analysis) 是编译的第一阶段。词法分析器的主要任务是读入源程序的输入字符、将他们组成词素，生成并输出一个词法单元序列，每个词法单元对应一个词素。这个词法单元序列被输出到语法分析器进行语法分析。 有关原理的介绍参考http://www.cnblo ...
分类：
编程语言 时间：
2016-05-24 20:59:20
阅读次数：
269
02-01 将会为教学用语言COOL编写编译器，把COOL编译成MIPS汇编语言。会分为五个部分讲解，首先是写一个COOL程序，程序本身会是一个解释器。之后是词法分析、语法分析、语义分析、代码生成。这些部分都是分离的。即在我们自己实现语法分析时，我们将自己完成的部分嵌入到一个参考编译器中。参考编译器 ...
分类：
其他好文 时间：
2016-05-22 00:38:52
阅读次数：
205
