训练网络时，通常先对网络的初始权值按照某种分布进行初始化，如：高斯分布。初始化权值操作对最终网络的性能影响比较大，合适的网络初始权值能够使得损失函数在训练过程中的收敛速度更快，从而获得更好的优化结果。但是按照某类分布随机初始化网络权值时，存在一些不确定因素，并不能保证每一次初始化操作都能使得网络的初 ...
分类：
其他好文 时间：
2018-05-14 19:03:19
阅读次数：
193
一、训练误差与测试误差 统计学习的目的就是利用已经学到的模型对已知数据和未知数据进行预测，因此在损失函数确定的情况下，基于损失函数的训练误差和测试误差就成了我们对模型进行评价的一个标准。 注意：在统计学习中使用的损失函数未必和评估中使用的损失函数一样。 训练误差的大小对于判断给定问题是否容易学习是有 ...
分类：
其他好文 时间：
2018-05-14 10:25:56
阅读次数：
142
机器学习中往往需要刻画模型与真实值之间的误差，即损失函数，通过最小化损失函数来获得最优模型。这个最优化过程常使用梯度下降法完成。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。 1. 梯度 解释梯度之前需要解释导数与偏导数。导数与偏导数的公式如下： ... ...
分类：
其他好文 时间：
2018-05-13 23:43:13
阅读次数：
1171
TensorFlow入门 入门用法 1.首先载入Tensorflow库,并创建InteractiveSession,接下来创建Placeholder,即输入数据的地方 2.然后定义系数W and b 3.实现算法（以softmax为例） 4.定义损失函数（loss Function)描述模型对分类的 ...
分类：
其他好文 时间：
2018-05-13 12:03:22
阅读次数：
149
神经元模型 常用的激活函数（激励函数）： 神经网络（NN）复杂度：多用神经网络层数和神经网络参数个数来表示 层数 = 隐藏层层数+1个输出层 参数个数 = 总W（权重） + 总B（偏置） 比如 损失函数（loss）：预测值y 和已知答案y_ 的差距 神经网络优化目标：使损失函数loss 达到最小 常 ...
分类：
其他好文 时间：
2018-05-12 23:07:38
阅读次数：
234
深层神经网络 线性模型的局限性 激活函数实现去线性化 经典损失函数 如果你有一个Tensor t，在使用t.eval()时，等价于：tf.get_default_session().run(t). ...
分类：
其他好文 时间：
2018-05-12 20:35:13
阅读次数：
307
一、模型输入输出 输入是2组词向量，中心词向量W和上下文词向量W波浪线，输出是Xij的对数值 二、模型设计思想 1.W和W波浪线实际上应该是平等的，因为1个词在某些样本中是中心词，而在别的样本中是上下文词，都是同一个词 2.i,j,k3个词的词向量，应该能决定这个ratio，因为ratio是有意义的 ...
分类：
其他好文 时间：
2018-05-12 20:29:25
阅读次数：
547
1、LR和SVM有什么相同点 （1）都是监督分类算法； （2）如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的； （3）LR和SVM都是判别模型。 2、LR和SVM有什么不同点 （1）本质上是其loss function不同； 逻辑回归损失函数： SVM损失函数： ...
分类：
其他好文 时间：
2018-05-12 03:02:16
阅读次数：
140
梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函 ...
分类：
其他好文 时间：
2018-05-09 22:43:33
阅读次数：
221
1、我们将要实现一种更强大的方法来解决图像分类问题，该方法可以自然地延伸到神经网络和卷积神经网络上。这种方法主要有两部分组成：一个是评分函数（score function），它是原始图像数据到类别分值的映射。另一个是损失函数（loss function），它是用来量化预测分类标签的得分与真实标签之间 ...
分类：
其他好文 时间：
2018-05-09 21:04:28
阅读次数：
125
