下文中的模型都是以Skip-gram模型为主。 1、论文发展 word2vec中的负采样(NEG)最初由 Mikolov在论文《Distributed Representations of Words and Phrases and their Compositionality》中首次提出来，是No ...
分类：
其他好文 时间：
2018-06-02 18:41:10
阅读次数：
399
DNS（Domain Name System）域名服务系统 DNS定义 DNS is a hierarchical decentralized naming system for computers, services, or other resources connected to the Int ...
分类：
其他好文 时间：
2018-05-31 11:29:19
阅读次数：
165
Softmax Regression算法实践 有了上篇博客的理论知识，我们可以利用实现好的函数，来构建Softmax Regression分类器，在训练分类器的过程中，我们使用多分类数据作为训练数据：如图 1、利用训练数据对模型进行训练： 完整代码为： 1 # -*- coding: UTF-8 - ...
分类：
编程语言 时间：
2018-05-29 19:02:57
阅读次数：
308
借着上一篇对sigmoid的理解，将sotfmax替换成sigmoid即可！区别在于sotfmax解决的是多分类问题。 先来看几个重要的关键点： 1、sotfmax 是在一堆数值里面取最大数的概率。如tf.nn.softmax([1.0, 3.0, 4.2, 2.6])，返回的结果是[0.02640 ...
分类：
其他好文 时间：
2018-05-29 12:32:53
阅读次数：
412
CS231N-线性回归+svm多分类+softmax多分类计算机视觉这一部分比较基础，没有太多视觉相关的。。 1.线性回归假定在著名的 CIFAR10数据集上，包含10类数据。每类数据有10000条？目标是输入一个图片，通过模型给出一个label。线性回归的思想就是得到到F(x)作为某个类别的分数。... ...
分类：
其他好文 时间：
2018-05-29 01:41:30
阅读次数：
451
1.在阅读tensorflow源码的softmax实现过程中，可以看到它的实现有两个特殊地方： ①计算e指数的时候，所有logits都减去了每行的最大值 ②其softmax_op_functor.h中，可以看到根据传入的log参数不同分别有两种不同计算方法。log为true时，计算LogSoftma ...
分类：
其他好文 时间：
2018-05-26 17:51:55
阅读次数：
2058
基于PaddlePaddle框架利用RNN（循环神经网络）生成古诗句 在本项目中，将使用PaddlePaddle实现循环神经网络模型（即RNN模型，以下循环神经网络都称作RNN）,并实现基于RNN语言模型进行诗句的生成。 本项目利用全唐诗数据集对RNN语言模型进行训练，能够实现根据输入的前缀诗句，自 ...
分类：
其他好文 时间：
2018-05-26 01:13:56
阅读次数：
297
Softmax交叉熵损失函数(Softmax cross-entropy loss)是作用于非归一化的输出结果只针对单个目标分类的计算损失。通过softmax函数将输出结果转化成概率分布，然后计算真值概率分布的损失： 输出：[ 1.16012561] 稀疏Softmax交叉熵损失函数(Sparse ...
分类：
其他好文 时间：
2018-05-25 21:05:23
阅读次数：
170
链接：https://mp.weixin.qq.com/s/BEjj5zJG3QmxvQiqs8P4-w softmax CRF主要用于序列标注问题，可以简单理解为是给序列中的每一帧，既然是分类，很自然想到将这个序列用CNN或者RNN进行编码后，接一个全连接层用softmax激活，如下图所示 逐帧s ...
分类：
其他好文 时间：
2018-05-22 17:18:18
阅读次数：
6543
#TensorFlow函数 ce = -tf.reduce_mean(y_* tf.log(tf.clip_by_value(y, 1e-12, 1.0))) #Tensorflow代码 ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logi... ...
分类：
其他好文 时间：
2018-05-21 01:02:49
阅读次数：
185
