Wording Embedding 1. word2vec 基于只含有一个隐层的神经网络，隐层的节点数就是embedding的维度。并提出了CBOW和Skip Grams这两种语言模型。并针对词典过大而导致计算softmax分母复杂度太高的问题提出了Hierarchical Softmax和 Neg ...
分类：
编程语言 时间：
2018-11-03 11:21:45
阅读次数：
162
"1. 语言模型" "2. Attention Is All You Need（Transformer）原理小结" "3. ELMo解析" "4. OpenAI GPT解析" "5. BERT解析" 1. 前言 在本文之前我们已经介绍了ELMo和GPT的两个成功的模型，今天给大家介绍google新发 ...
分类：
其他好文 时间：
2018-11-03 02:10:00
阅读次数：
310
一、训练语言模型 词与词之间存在着合乎句法与否的约束，语言模型就是用来表示这些约束的，它可以提供字与字之间的上下文信息和语义信息。N-gram模型，即对训练音频文件所对应的文本文件进行统计，提取不同字词之间先后发生的统计关系。 如果你的语言模型较小（例如小的语音指令集或者任务），而且是英文的，那就可 ...
分类：
编程语言 时间：
2018-11-01 22:38:02
阅读次数：
280
n-gram 介绍语言模型 什么是N-gram模型 N-Gram模型详解 应用n-gram模型语言来评估 n-gram 模型其他应用举例 总结 介绍语言模型 什么是语言模型？简单地说，语言模型就是用来计算一个句子的概率的模型，也就是判断一句话是否合理的概率？说说其应用，一直以来，如何让计算机可以理解... ...
分类：
其他好文 时间：
2018-10-26 22:14:03
阅读次数：
299
自然语言处理中的语言模型预训练方法 最近，在自然语言处理（NLP）领域中，使用语言模型预训练方法在多项NLP任务上都获得了不错的提升，广泛受到了各界的关注。就此，我将最近看的一些相关论文进行总结，选取了几个代表性模型（包括ELMo [1]，OpenAI GPT [2]和BERT [3]）和大家一起学 ...
分类：
编程语言 时间：
2018-10-21 11:21:38
阅读次数：
223
1.前言 在自然语言处理过程中，经常会涉及到如何度量两个文本之间的相似性，我们都知道文本是一种高维的语义空间，如何对其进行抽象分解，从而能够站在数学角度去量化其相似性。 有了文本之间相似性的度量方式，我们便可以利用划分法的K means、基于密度的DBSCAN或者是基于模型的概率方法进行文本之间的聚 ...
分类：
其他好文 时间：
2018-10-14 13:55:19
阅读次数：
270
从基于规则到基于统计的语言模型的转变 基于马尔科夫假设，即任意一个词出现的概率只与它前面的词有关，可得到一个二元模型。乃至基于一个N-1阶马尔科夫假设，对应的语言模型是N元模型。一般N取值非常小，通常为2，可取到3或者4。 对于样本中未出现的零概率问题，使用古德-图灵估计方法进行平滑处理。对于出现频 ...
分类：
编程语言 时间：
2018-09-04 10:37:27
阅读次数：
177
一、N-Gram的原理(这个词出现在句子中出现的概率) N-Gram是基于一个假设：第n个词出现与前n-1个词相关，而与其他任何词不相关。（这也是隐马尔可夫当中的假设。）整个句子出现的概率就等于各个词出现的概率乘积。各个词的概率可以通过语料中统计计算得到。假设句子T是有词序列w1,w2,w3...w ...
分类：
其他好文 时间：
2018-09-03 20:56:10
阅读次数：
187
一、为什么会出现循环神经网络？ 传统的语言模型中，计算特定序列中多个单词出现概率的公式为（以下式子），P(w1,…,wm)一般只考虑前 n 个单词而不是考虑全部之前的单词。 上式对语音、翻译系统中判断一个词序列是否是输入句子的准确翻译起了重要作用。这些只依赖前面1个词（bigram）、依赖前面2个词 ...
分类：
其他好文 时间：
2018-08-21 21:48:00
阅读次数：
247
N-gram语言模型 考虑一个语音识别系统，假设用户说了这么一句话：“I have a gun”，因为发音的相似，该语音识别系统发现如下几句话都是可能的候选：1、I have a gun. 2、I have a gull. 3、I have a gub. 那么问题来了，到底哪一个是正确答案呢？ 一般 ...
分类：
编程语言 时间：
2018-08-20 10:33:39
阅读次数：
156
