使用Embedding的原因： 使用One-hot 方法编码的向量会很高维也很稀疏。假设我们在做自然语言处理（NLP）中遇到了一个包含2000个词的字典，当时用One-hot编码时，每一个词会被一个包含2000个整数的向量来表示，其中1999个数字是0，要是我的字典再大一点的话这种方法的计算效率岂不 ...
分类：
其他好文 时间：
2019-10-03 15:56:43
阅读次数：
100
1.Contextualized Word Embedding 同样的单词有不同的意思，比如下面的几个句子，同样有 “bank” ，却有着不同的意思。但是用训练出来的 Word2Vec 得到 “bank” 的向量会是一样的。向量一样说明 “word” 的意思是一样的，事实上并不是如此。这是 Word ...
分类：
其他好文 时间：
2019-10-01 20:24:58
阅读次数：
121
要搞清楚embeding先要弄明白他和one hot encoding的区别，以及他解决了什么one hot encoding不能解决的问题，带着这两个问题去思考，在看一个简单的计算例子 以下引用 YJango的Word Embedding–介绍https://zhuanlan.zhihu.com/ ...
分类：
其他好文 时间：
2019-10-01 11:23:56
阅读次数：
131
Object Linking and Embedding，对象连接与嵌入，简称OLE技术。OLE 不仅是桌面应用程序集成，而且还定义和实现了一种允许应用程序作为软件“对象”（数据集合和操作数据的函数）彼此进行“连接”的机制，这种连接机制和协议称为组件对象模型（COM）。OLE可以用来创建复合文档，复 ...
分类：
数据库 时间：
2019-09-29 12:45:23
阅读次数：
139
Keras主要关注tf.keras，同时继续支持Theano/CNTK 此版本附带了许多API更改，以使多后端Keras API与TensorFlow的高级API tf.keras“同步”。但是，有些TensorFlow 2.0功能不受支持。这就是团队建议开发人员在TensorFlow 2.0中将他 ...
分类：
其他好文 时间：
2019-09-28 23:19:19
阅读次数：
128
word2vec
负采样
目标函数
反向梯度
层次softmax
NPLM的目标函数和反向梯度
目标函数
反向梯度
GNN(图神经网络)
deepwalk
node2vec
附录 ...
分类：
其他好文 时间：
2019-09-28 10:32:30
阅读次数：
132
1. Paper Reading $ \lfloor ab/p \rfloor p$ 我是根据 "ICSE2019" schedule上的不同方向的论文来读的，打算一个主题读一篇来确定方向。 目前读的是 Automated Program Repair 方向的 Learning to Spot an ...
分类：
其他好文 时间：
2019-09-27 16:27:36
阅读次数：
85
原文链接：https://arxiv.org/abs/1901.10444 发表在：ICLR 2019 介绍了3中sentence嵌入的结构（RANDOM SENTENCE ENCODERS）， 思路：利用预训练的word embedding作为输入，然后句子的encoder不进行训练（i.e., ...
分类：
Web程序 时间：
2019-09-26 10:04:19
阅读次数：
159
https://www.faxiang.site/ 转 近年来，从计算机视觉到自然语言处理再到时间序列预测，神经网络、深度学习的应用越来越广泛。在深度学习的应用过程中，Embedding 这样一种将离散变量转变为连续向量的方式为神经网络在各方面的应用带来了极大的扩展。该技术目前主要有两种应用，NLP ...
分类：
其他好文 时间：
2019-09-26 00:27:37
阅读次数：
150
(1)用对抗性的源实例攻击翻译模型; (2)使用对抗性目标输入来保护翻译模型，提高其对对抗性源输入的鲁棒性。 生成对抗输入：基于梯度 （平均损失） -> AdvGen 我们的工作处理由白盒NMT模型联合生成的扰动样本 -> 知道受攻击模型的参数 ADVGEN包括encoding, decoding: ...
分类：
系统相关 时间：
2019-09-25 12:17:56
阅读次数：
131
