统计学习方法由三个要素组成：方法=模型+策略+算法 模型是针对具体的问题做的假设空间，是学习算法要求解的参数空间。例如模型可以是线性函数等。 策略是学习算法学习的目标，不同的问题可以有不同的学习目标，例如经验风险最小化或者结构风险最小化。 经验风险最小化中常见的损失函数有：0-1损失函数、残差损失函 ...
分类：
其他好文 时间：
2017-08-31 16:46:53
阅读次数：
168
损失函数的定义是在region_layer.c文件中，关于region层使用的参数在cfg文件的最后一个section中定义。 首先来看一看region_layer 都定义了那些属性值： 注1: 这里的30应该是限制了每帧图像中目标的最大个数，个人认为应该和 注2 相关，但这里设为了定值 注2: 应 ...
分类：
其他好文 时间：
2017-08-25 20:32:04
阅读次数：
3757
上一章中我们遗留了一个问题，就是在神经网络的学习过程中，在更新参数的时候，如何去计算损失函数关于参数的梯度。这一章，我们将会学到一种快速的计算梯度的算法：反向传播算法。 这一章相较于后面的章节涉及到的数学知识比较多，如果阅读上有点吃力的话也可以完全跳过这一章，把反向传播当成一个计算梯度的黑盒即可，但 ...
分类：
编程语言 时间：
2017-08-25 15:56:17
阅读次数：
207
http://www.cnblogs.com/Belter/p/6653773.html 注：代价函数（有的地方也叫损失函数，Loss Function）在机器学习中的每一种算法中都很重要，因为训练模型的过程就是优化代价函数的过程，代价函数对每个参数的偏导数就是梯度下降中提到的梯度，防止过拟合时添加 ...
分类：
其他好文 时间：
2017-08-23 20:43:47
阅读次数：
2033
Spark中定义的损失函数及梯度，在看源代码之前，先回想一下机器学习中定义了哪些损失函数，毕竟梯度求解是为优化求解损失函数服务的。监督学习问题是在如果空间F中选取模型f作为决策函数。对于给定的输入X，由f(X)给出对应的输出Y,这个输出的预測值f(X)与真实值Y可能一致也可能不一致，用一个损失函数( ...
分类：
编程语言 时间：
2017-08-17 12:55:56
阅读次数：
315
这篇博客主要记录了Andrew Ng课程第二章逻辑回归的笔记，主要介绍了梯度下降法，逻辑回归的损失函数，多类别分类等等 ...
分类：
其他好文 时间：
2017-08-15 14:10:11
阅读次数：
163
2017-08-13 Loss functiuon and opetimization 这节课主要介绍了损失函数的概念，和如何对损失函数进行优化，从而找到最优的参数值W； 损失函数介绍了两种，SVM - multi class calssifier: 对SVM的一个扩展，可以分类多个类别； mult ...
分类：
其他好文 时间：
2017-08-13 16:18:23
阅读次数：
130
2017-08-12 Logistic 回归，作为分类器： 分别用了梯度上升，牛顿法来最优化损失函数： # -*- coding: utf-8 -*-'''function: 实现Logistic回归，拟合直线，对数据进行分类；利用梯度上升，随机梯度上升，改进的随机梯度上升，牛顿法分别对损失函数优化 ...
分类：
编程语言 时间：
2017-08-13 00:18:32
阅读次数：
347
Cost Function: 前向传播（Forward propagation） 反向传播（Back propagation） 对于反向传播算法最直观的表示就是对于每个节点都计算这样一项（误差项）： 计算完每个节点的误差之后我们便可以得到损失函数对于所有参数的偏导数： 注：这里忽略了正则化项。（aj ...
分类：
其他好文 时间：
2017-07-26 00:09:59
阅读次数：
269
SoftMax实际上是Logistic的推广，当分类数为2的时候会退化为Logistic分类 其计算公式和损失函数如下， 梯度如下， 1{条件} 表示True为1，False为0，在下图中亦即对于每个样本只有正确的分类才取1，对于损失函数实际上只有m个表达式（m个样本每个有一个正确的分类）相加， 对 ...
分类：
其他好文 时间：
2017-07-22 12:14:47
阅读次数：
249
