损失函数是对数损失函数 对损失函数求导：和线性回归的求导结果一样： ...
分类：
其他好文 时间：
2016-06-29 20:24:10
阅读次数：
125
损失函数(loss function) = 误差部分(loss term) + 正则化部分(regularization term)
1. 误差部分
1.1 gold term,0-1损失函数,记录分类错误的次数
1.2 Hinge loss, 折叶损失,关于0的阀值
定义:E(z)=max(0,1-z)
应用: SVM中的最大化间隔分类,max-margin loss最大边界损...
分类：
其他好文 时间：
2016-06-21 07:56:01
阅读次数：
343
作者：杜客链接：https://zhuanlan.zhihu.com/p/20945670来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 SVM的损失函数定义如下： 举例：用一个例子演示公式是如何计算的。假设有3个分类，并且得到了分值。其中第一个类别是正确类别，即。同 ...
分类：
其他好文 时间：
2016-06-15 15:37:54
阅读次数：
964
前面几章已经介绍了神经网络的结构、数据初始化、激活函数、损失函数等问题，现在我们该讨论如何让神经网络模型进行学习了。1 梯度检验权重的更新梯度是否正确决定着函数是否想着正确的方向迭代，在UFLDL中我们提到过，计算时梯度公式如果计算错误是不容被察觉的，我们需要比较分析法得到梯度与数值法得到的梯度是否相似，下面是一些技巧：1.1 centered formula高等数学中我们知道导数的近似公式：
d...
分类：
其他好文 时间：
2016-05-30 15:16:30
阅读次数：
354
1 数据处理
首先注明我们要处理的数据是矩阵X，其shape为[N x D] (N =number of data, D =dimensionality).
1.1 Mean subtraction 去均值
去均值是一种常用的数据处理方式.它是将各个特征值减去其均值，几何上的展现是可以将数据的中心移到坐标原点，Python中的代码是 X -= np.mean(X, axis = 0). 对于...
分类：
其他好文 时间：
2016-05-28 06:41:22
阅读次数：
642
linear classification上节中简单介绍了图像分类的概念，并且学习了费时费内存但是精度不高的knn法，本节我们将会进一步学习一种更好的方法，以后的章节中会慢慢引入神经网络和convolutional neural network。这种新的算法有两部分组成：
1. 评价函数score function，用于将原始数据映射到分类结果
2. 损失函数loss function， 用于定...
分类：
Web程序 时间：
2016-05-27 12:17:33
阅读次数：
368
本文所讲述的是怎么样去在实践中更好的应用机器学习算法，比如如下经验风险最小化问题： 当求解最优的 时，发现他的误差非常之大，接下来如何处理来使得当前的损失函数值尽可能的小呢？这里给出以下几个选项，下面介绍的是如何在一下这些应对策略中选择正确的方法来助力以上问题。 当模型的variance比较大时，可 ...
分类：
其他好文 时间：
2016-05-24 13:31:31
阅读次数：
323
一、原理
梯度提升树（GBT，Gradient Boosted Trees，或称为梯度提升决策树）算法是由Friedman于1999年首次完整的提出，该算法可以实现回归、分类和排序。GBT的优点是特征属性无需进行归一化处理，预测速度快，可以应用不同的损失函数等。
从它的名字就可以看出，GBT包括三个机器学习的优化算法：决策树方法、提升方法和梯度下降法。前两种算法在我以前的文章中都有详细的...
分类：
其他好文 时间：
2016-05-20 19:43:21
阅读次数：
276
问题的引入： 考虑一个典型的有监督机器学习问题，给定m个训练样本S={x(i),y(i)}，通过经验风险最小化来得到一组权值w，则现在对于整个训练集待优化目标函数为： 其中为单个训练样本（x(i),y(i)）的损失函数，单个样本的损失表示如下： 引入L2正则，即在损失函数中引入，那么最终的损失为： ...
分类：
其他好文 时间：
2016-05-13 08:47:25
阅读次数：
207
交叉熵损失函数交叉熵损失函数的简单介绍的链接
下面我们就介绍一下caffe里面实现交叉熵的流程：
首先：下面这个式子就是交叉熵的损失表达式
E=?1n∑n=1n[pnlogp^n+(1?pn)log(1?p^n)]E = -\frac{1}{n}\sum\limits_{n=1}^n \left[p_n\log\hat{p}_n+(1-p_n)\log(1-\hat{p}_n)\right]...
分类：
其他好文 时间：
2016-05-12 17:27:44
阅读次数：
1298
