ICTCLAS计算所中文分词(当前最好的汉语词法分析器)系统特点：准确度高(98.5%)，性能优越(500KB/s分词速度)，词性标注(POS tagging)且支持多种标注集，支持用户自定义词典，支持用户自定义词性标注，支持多平台，支持模块组合关闭(在Configure.xml中设置)，支持多编码 ...
分类：
其他好文 时间：
2016-04-18 19:00:04
阅读次数：
309
一、编译器前端模型 | >符号表 >| 源程序 （词法分析器） >词法单元 （语法分析器） >语法分析树 （中间代码生成器） >三地址代码 二、语法定义——“上下文无关文法”（context-free grammar） 1.由数位和+、-符号组成 此文法产生式为 组合起来为：expr -> expr ...
分类：
其他好文 时间：
2016-04-17 11:35:34
阅读次数：
306
样例输入：if num > 100 then num2 = 100 else num2 = 0 ; # 样例输出： ...
分类：
其他好文 时间：
2016-04-12 12:27:02
阅读次数：
116
一. 简介 1.JavaCC是一个词法分析器、语法分析器的生成工具，从功能上类似于语法分析器YACC和词法分析器Lex。 2.跨平台 3.使用JavaCC的基本步骤：编写词法分析的语法文件(.jj 用BNF或EBNF描述)->生成语法分析器代码->整合语法规则和语法分析代码。 二. 安装&使用： 1 ...
分类：
编程语言 时间：
2016-04-09 13:49:51
阅读次数：
218
Webkit中。有个词法分析器--HTMLTokenizer，她是怎么工作的呢。网页字节流是她的输入。她的输出是一个个的词语Token，比方div，input，img。script等等HTML文件里的标准元素(Element）。 前一篇文章关于DOM的创建里说过，HTML元字符解析器（HTMLMet ...
分类：
其他好文 时间：
2016-04-04 16:10:49
阅读次数：
158
1. 词法分析词法分析器根据词法规则识别出源程序中的各个记号（token），每个记号代表一类单词（lexeme）。源程序中常见的记号可以归为几大类：关键字、标识符、字面量和特殊符号。词法分析器的输入是源程序，输出是识别的记号流。词法分析器的任务是把源文件的字符流转换成记号流。本质上它查看连续的字符然...
分类：
其他好文 时间：
2015-12-13 18:39:22
阅读次数：
201
一、我们都知道编程语言在执行之前需要先进行编译，这样就可以把代码转换成机器识别的语言，这个过程就是编译。 那么它是怎么编译的呢？ Java在JVM虚拟机中进行编译，javascript在Js引擎中编译。 编译的过程一般是三个步骤： 1.分词/词法分析(Tokenizing/Lexi...
分类：
其他好文 时间：
2015-12-05 12:37:06
阅读次数：
125
这里说的自动机是抽象自动机，是数理语言学当中的自动机。抽象自动机是一种能够识别语言的抽象的装置，即用来识别输入串是不是某种语言中合格的句子的。具体的作用有：1.典型的编译器中的词法分析器，也即把输入串分解成token符号2.扫描文本，用来找出当中我们所需要的某种字符串。---------------...
分类：
其他好文 时间：
2015-11-29 21:28:14
阅读次数：
239
用c语言对一个简单的语言的子集编制一个一遍扫描的编译程序#include #include #include char prog[80],token[8];char ch;int syn,p,m,n,sum=0;char *rwtab[6]={"begin","if","then","while",...
分类：
其他好文 时间：
2015-10-30 16:56:42
阅读次数：
217
