反向传播算法 参考：[http://neuralnetworksanddeeplearning.com/chap2.html][0] BP 算法所关注的是损失函数 C 关于神经网络每一个权重 _w_ 和偏置 _b_ 的偏导。BP 算法向我们展示权值和偏置对损失值的影响。BP 不仅仅是一个快速的算法， ...
分类：
编程语言 时间：
2019-08-25 19:54:21
阅读次数：
298
相比于L2损失函数，smooth对离群点、异常值（outlier）不敏感，可控制梯度的量级使训练时不容易跑飞。 ...
分类：
其他好文 时间：
2019-08-25 16:20:45
阅读次数：
205
对网络中所有权重计算损失函数的梯度 Ref. https://zh.wikipedia.org/wiki/%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD%E7%AE%97%E6%B3%95 ...
分类：
其他好文 时间：
2019-08-24 17:06:08
阅读次数：
84
这是关于人脸模型应用的一些论文和代码库。其中主要分析了人脸模型的发展过程，其中很多对损失函数的改进，可以借鉴到各个cv的任务中。 ...
分类：
其他好文 时间：
2019-08-18 17:47:16
阅读次数：
136
一、流程 基函数线性加权和得到最终的强分类器。每轮迭代得到一个弱分类器，这个分类器是在上一轮的残差基础上得到的。本轮就是要找一个cart树，使得本轮的损失函数值更加的小。 二、如何选择特征（就是如何生成cart树） 回归树：平方误差和最小化，对于特征A=a时，集合D的误差最小时，就选择这个特征值最为 ...
分类：
其他好文 时间：
2019-08-11 23:24:44
阅读次数：
94
梯度下降法 [TOC] 梯度下降法，是一种基于搜索的最优化方法，最用是最小化一个损失函数。 一、什么是梯度下降？ ? 机器学习算法都需要最大化或最小化一个函数，这个函数被称为"目标函数"，其中我们一般把最小化的一类函数，称为"损失函数"。它能根据预测结果，衡量出模型预测能力的好坏。在求损失函数最小化 ...
分类：
其他好文 时间：
2019-08-08 19:42:49
阅读次数：
125
梯度下降法（Gradient Descent） 优化思想：用当前位置的负梯度方向作为搜索方向，亦即为当前位置下降最快的方向，也称“最速下降法”。越接近目标值时，步长越小，下降越慢。 如下图所示，梯度下降不一定能找到全局最优解，可能寻找到的是局部最优解。（当损失函数是凸函数时，梯度下降得到的解一定是全 ...
分类：
其他好文 时间：
2019-08-07 22:28:45
阅读次数：
186
1 Box-constrained L-BFGS Szegedy[22] 等人首次证明了可以通过对图像添加小量的人类察觉不到的扰动误导神经网络做出误分类。他们首先尝试求解让神经网络做出误分类的最小扰动的方程。但由于问题的复杂度太高，他们转而求解简化后的问题，即寻找最小的损失函数添加项，使得神经网络做 ...
分类：
其他好文 时间：
2019-07-31 18:40:10
阅读次数：
395
1.梯度的理解 在机器学习过程中，经常使用梯度下降方法求解损失函数的最小值。梯度的值为函数在某一点，沿着各向量方向的偏导数。沿着梯度相反的方向，函数减小最快，更容易找到函数的最小值。 2.梯度下降法的矩阵表示 函数的表达式为$h_\theta(X)=X\theta$，损失函数的表达式为$J(\the ...
分类：
其他好文 时间：
2019-07-31 16:45:16
阅读次数：
131
