1.概述 bert是文本生成向量的一种方式，相较于以前的模型，bert将双向 Transformer 用于语言模型。 2.用途 在分类任务中，例如情感分析等，只需要在 Transformer 的输出之上加一个分类层 在问答任务（例如SQUAD v1.1）中，问答系统需要接收有关文本序列的 quest ...
分类：
其他好文 时间：
2020-05-14 01:26:57
阅读次数：
86
在2017年之前，语言模型都是通过RNN，LSTM来建模，这样虽然可以学习上下文之间的关系，但是无法并行化，给模型的训练和推理带来了困难，因此有人提出了一种完全基于attention来对语言建模的模型，叫做transformer。transformer摆脱了NLP任务对于RNN，LSTM的依赖，使用 ...
分类：
其他好文 时间：
2020-05-06 19:36:59
阅读次数：
53
中文情感分类任务如何对bert语言模型微调，微调后的模型如何使用 ...
分类：
编程语言 时间：
2020-05-04 21:44:40
阅读次数：
127
[TOC] 自回归语言模型与自编码语言 自回归语言模型 通过给定文本的上文，对下一个字进行预测 优点：对文本序列联合概率的密度估计进行建模，使得该模型更适用于一些生成类的NLP任务，因为这些任务在生成内容的时候就是从左到右的，这和自回归的模式天然匹配。 缺点：联合概率是按照文本序列从左至右进行计算的 ...
分类：
其他好文 时间：
2020-03-29 01:14:20
阅读次数：
104
单词纠错 需要生成所有候选集合 读取语料库 构建语言模型:bigram 用户打错的概率 后续未完待续..... ...
分类：
其他好文 时间：
2020-03-20 22:34:08
阅读次数：
88
介绍 在本次将学习另一个有着优秀表现的预训练模型：GPT 2 模型，以及使用它进行文本生成任务实践。 知识点 GPT 2 的核心思想 GPT 2 模型结构详解 GPT 2 进行文本生成 OpenAI 在论文 "Improving Language Understanding by Generativ ...
分类：
其他好文 时间：
2020-03-16 14:36:26
阅读次数：
155
RNN 的前提补充 - 介绍 n-gram 和 fixed 窗口这两种方式的, 词预测原理. ...
分类：
编程语言 时间：
2020-03-13 01:29:07
阅读次数：
88
1.概述 循环神经网络是一种能对序列数据进行精确建模的有力工具。实际上，循环神经网络的理论计算能力是图灵完备的。自然语言是一种典型的序列数据（词序列），近年来，循环神经网络及其变体在自然语言处理的多个领域，如语言模型、句法解析、语义角色标注（或一般的序列标注）、语义表示、图文生成、对话、机器翻译等任 ...
分类：
其他好文 时间：
2020-03-07 09:29:08
阅读次数：
72
在构建语言模型中，我们需要理解n元模型以及网络架构。 一、 n元语法 n元语法通过马尔可夫假设简化模型，马尔科夫假设是指一个词的出现只与前面n个词相关，即n阶马尔可夫链（Markov chain of order n）。 来看以下几个例子，下面分别是1元，2元，3元语法模型的结果。 $P\left( ...
分类：
编程语言 时间：
2020-03-06 17:27:51
阅读次数：
63
摘要 人类知识提供了对世界的认知理解。表征实体间结构关系的知识图谱已经成为认知和人类智能研究的一个日益流行的方向。在本次综述论文中，我们对知识图谱进行了全面的综述，涵盖了知识图谱表示学习、知识获取与补全、时序知识图谱、知识感知应用等方面的研究课题，并总结了最近的突破和未来的研究方向。我们提出对这些主 ...
分类：
其他好文 时间：
2020-02-29 20:27:14
阅读次数：
187
