何晗：HanLP：面向生产环境的自然语言处理工具包 清华：THULAC：一个高效的中文词法分析工具包 搜狗：搜狗实验室分词和词性标注 斯坦福：CORENLP 哈工大：LTP：语言技术平台(Language Technology Platform) NLPIR：NLPIR 中科大：科大讯飞 云孚科技 ...
分类：
其他好文 时间：
2020-06-26 22:09:35
阅读次数：
413
词法分析（lexical analysis）：将字符序列转换为单词（Token）序列的过程 分词，命名实体识别，词性标注 并称 汉语词法分析“三姐妹”。 在线演示平台：http://ictclas.nlpir.org/nlpir/ 词性标注（Part-Of-Speech tagging, POS t ...
分类：
其他好文 时间：
2020-06-26 01:03:06
阅读次数：
93
中文词法分析 中文属于分析型语言，词基本上没有专门表示语法意义的附加成分,形态变化很少，语法关系靠词序和虚词来表示 中文词法分析难点 重叠词，离合词，词缀 中文词语的切分歧义 中文未定义词 词性标注 解决方法： 基于词典的机械切分算法 基于规则的切分算法 基于统计的切分算法 对于未登录词的处理。未登 ...
分类：
其他好文 时间：
2020-06-25 19:54:40
阅读次数：
51
词法分析（lexical analysis）：将字符序列转换为单词（Token）序列的过程 分词；词性标注；实体识别 这一部分是NLP的基础，应该是入门就要了解的内容。 所谓分词，就是断句，把一条句子断开；要求断的比较碎，每个词都断开；要断的正确，也就是每个词都是有意义的，符合逻辑。 有个注明分词工 ...
分类：
其他好文 时间：
2020-06-25 19:24:50
阅读次数：
59
词法分析的任务和功能 任务 功能 输出形式 词法分析器设计 超前搜索 状态转换图 正则文法与状态转换图 引例 构造状态转换图 应用状态转换图来识别句子 状态转换图与文法的转换 正则式&正则集 RE → NFA NFA → DFA LEX DFA的代码表示 ...
分类：
其他好文 时间：
2020-06-21 13:39:55
阅读次数：
45
作用域是什么？ 总结：作用域是为了存储变量，并且之后可以方便的找到这些变量而设计的规则，也可以说它是根据名称查找变量的一套规则 编译原理： 分词/词法分析（Tokenizing/Lexing）-> 解析/语法分析（Parsing）-> 代码生成 LHS 和RHS: 总结：如果查找的目的是对变量进行赋 ...
分类：
其他好文 时间：
2020-06-21 12:05:55
阅读次数：
60
12.toString 为什么会报错。 中间涉及到许多的词法分析，具体可以去看 winter 老师的重学前端、前端进阶训练营，再具体你可以直接去啃 ECMA-262去。 对于 12.toString 为什么会报错？ 我们来看，我们写一个 NumberLiteral 的时候，有这些写法。 12 Num ...
分类：
编程语言 时间：
2020-06-18 16:03:38
阅读次数：
63
最近在看《你不知道的js》书中讲到 js的词法作用域。通过网上查找整理如下: 作用域: 管理引擎如何在当前作用域以及嵌套的子作用域中根据标识符名称进行变量查找。 词法作用域 词法作用域是由你在写代码时将变量和块作用域写在哪里来决定的，因此当词法分析器处理代码时会保持作用域不变。 注意点: 无论函数在 ...
分类：
Web程序 时间：
2020-06-09 09:26:22
阅读次数：
76
MySQL 是单进程多线程的 MySQL执行过程 连接器，管理连接，权限验证 查询缓存 分析器，词法分析，语法分析，语法树，检查语法是否有错误 预处理器，进一步检查解析树是否合法，如表名是否存在等 优化器，选择索引，生成执行计划 执行器，操作引擎，返回结果，并将结果缓存 如果查询中包含任何用户自定义 ...
分类：
数据库 时间：
2020-05-27 20:53:34
阅读次数：
109
1.概述 Lexical Analysis of Chinese，简称 LAC，是一个联合的词法分析模型，在单个模型中完成中文分词、词性标注、专名识别任务。我们在自建的数据集上对分词、词性标注、专名识别进行整体的评估效果。主要通过标注来完成这些任务。 2.预测和损失函数 标注问题一般用crf来作为损 ...
分类：
其他好文 时间：
2020-05-21 00:32:49
阅读次数：
74
