概述： UniLM是微软研究院在Bert的基础上，最新产出的预训练语言模型，被称为统一预训练语言模型。它可以完成单向、序列到序列和双向预测任务，可以说是结合了AR和AE两种语言模型的优点，Unilm在抽象摘要、生成式问题回答和语言生成数据集的抽样领域取得了最优秀的成绩。 一、AR与AE语言模型 AR ...
分类：
其他好文 时间：
2019-12-29 00:23:06
阅读次数：
319
import numpy as np import tensorflow as tf # 1.设置参数。 TRAIN_DATA = "F:\TensorFlowGoogle\\201806-github\\TensorFlowGoogleCode\\Chapter09\\ptb.train" # 训... ...
分类：
编程语言 时间：
2019-12-19 18:48:42
阅读次数：
107
文本自然语言处理的一个最最最基本的一个问题：如何用数学符号或公式表示一段文本？如何计算一段文本在某种语言下出现的概率？ 语言模型(用概率论的专业术语表示)：为长度为m的字符串确定其概率分布P(w1，w2，...wm)，其中w1到wm依次表示文本中的各个词语。概率值计算公式如下， 但是有个问题发现没有 ...
分类：
编程语言 时间：
2019-12-01 11:29:27
阅读次数：
104
[toc] 本文提出了一个基于神经网络的语音识别系统List, Attend and Spell（LAS），能够将语音直接转录为文字。 进步性：LAS将声学、发音和语言模型融合为一个神经模型，因此可以实现端到端。LAS只包含两部分：收听器（listener）和拼写器（speller）。收听器是一个金 ...
分类：
Web程序 时间：
2019-11-26 23:08:46
阅读次数：
144
word2vec作为神经概率语言模型的输入，其本身其实是神经概率模型的副产品，是为了通过神经网络学习某个语言模型而产生的中间结果。具体来说，“某个语言模型”指的是“CBOW”和“Skip-gram”。具体学习过程会用到两个降低复杂度的近似方法——Hierarchical Softmax或Negati ...
分类：
其他好文 时间：
2019-11-17 12:53:08
阅读次数：
117
论文通过实现RNN来完成了文本分类。 论文地址：88888888 模型结构图： 原理自行参考论文，code and comment: 1 # -*- coding: utf-8 -*- 2 # @time : 2019/11/9 15:12 3 4 import numpy as np 5 impo ...
分类：
编程语言 时间：
2019-11-09 17:51:24
阅读次数：
99
what is graph embedding. embedding 在数学上是一个映射函数: f: X >Y, 一个空间点到另一个空间的映射,通常为高维到低维的映射. 而计算机和神经网络善于处理低纬度信息. statistical language model: 统计语言模型 是用来计算一个句子的 ...
分类：
其他好文 时间：
2019-10-15 18:54:20
阅读次数：
83
文章目录1. 什么是XLNet2. 自回归语言模型（Autoregressive LM）3. 自编码语言模型（Autoencoder LM）4. XLNet模型4.1 排列语言建模（Permutation Language Modeling）4.2 Transformer XL4.2.1 vanil... ...
分类：
Web程序 时间：
2019-09-30 11:14:41
阅读次数：
106
(1)用对抗性的源实例攻击翻译模型; (2)使用对抗性目标输入来保护翻译模型，提高其对对抗性源输入的鲁棒性。 生成对抗输入：基于梯度 （平均损失） -> AdvGen 我们的工作处理由白盒NMT模型联合生成的扰动样本 -> 知道受攻击模型的参数 ADVGEN包括encoding, decoding: ...
分类：
系统相关 时间：
2019-09-25 12:17:56
阅读次数：
131
在大数据的今天，世界上任何一台单机都无法处理大数据，无论cpu的计算能力或者内存的容量。必须采用分布式来实现多台单机的资源整合，来进行任务的处理，包括离线的批处理和在线的实时处理。 鉴于上次开会讲了语言模型的发展，从规则到后来的NNLM。本章的目的就是锻炼动手能力，在知道原理的基础上，通过采用MR范 ...
分类：
编程语言 时间：
2019-09-11 10:14:07
阅读次数：
114
