损失函数综述 https://zhuanlan.zhihu.com/p/36503849 简单的交叉熵损失函数，你真的懂了吗？ https://zhuanlan.zhihu.com/p/38241764 损失函数 - 交叉熵损失函数 https://zhuanlan.zhihu.com/p/3570 ...
分类：
其他好文 时间：
2019-10-23 18:20:47
阅读次数：
77
造成梯度爆炸的原因是求导得到的值大于1，造成导数很大，损失函数的值沿着梯度的方向呈下降趋势，然而，如果梯度（偏导数）很大话，就会出现函数值跳来跳去，收敛不到最小值。这个时候可以用梯度裁剪来解决问题。 梯度裁剪：对梯度进行裁剪，论文提出对梯度的L2范数进行裁剪，也就是所有参数偏导数的平方和再开方。主要 ...
分类：
其他好文 时间：
2019-10-13 11:08:42
阅读次数：
88
感知机(Perceptron)是一种二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别，取+1和-1值。感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型，感知机学习旨在求出将训练数据进行线性划分的分离超平面，基于五分类的损失函数，利用梯度下降法对损失函数进行极小化，求得... ...
分类：
其他好文 时间：
2019-10-09 14:05:35
阅读次数：
137
浅谈人脸识别中的loss 损失函数 2019-04-17 17:57:33 liguiyuan112 阅读数 641更多 分类专栏： AI 人脸识别 浅谈人脸识别中的loss 损失函数 2019-04-17 17:57:33 liguiyuan112 阅读数 641更多 分类专栏： AI 人脸识别 ...
分类：
其他好文 时间：
2019-10-03 12:59:59
阅读次数：
89
MART概念，即 GBDT： 决策树 cart 的回归应用（连续值，区别于分类），以及拟合负梯度(实际上就是残差)的组合 第t轮的第i个样本的损失函数的负梯度为： 选用不同的损失函数会得到不同的负梯度，GBDT求解过程中使用平方损失作为损失函数： 求解得到负梯度： 可以发现，负梯度其实就是残差，回归 ...
分类：
其他好文 时间：
2019-10-03 12:14:42
阅读次数：
97
相对于自适应神经网络、感知器，softmax巧妙低使用简单的方法来实现多分类问题。 功能上，完成从N维向量到M维向量的映射 输出的结果范围是[0, 1]，对于一个sample的结果所有输出总和等于1 输出结果，可以隐含地表达该类别的概率 softmax的损失函数是采用了多分类问题中常见的交叉熵，注意 ...
分类：
编程语言 时间：
2019-09-29 19:53:57
阅读次数：
74
最优化方法介绍提到最优化方法，常见的有梯度下降法（衍生出来的有批梯度下降，随机梯度下降）、牛顿法（衍生出来了拟牛顿）等。我们知道，最优化在机器学习中，是为了优化损失函数，求得其最小值，即为(mathop {min }limits_theta f({x_theta }))，其中 (theta) 为损失... ...
分类：
编程语言 时间：
2019-09-29 13:01:53
阅读次数：
91
再谈最小平方问题 有了矩阵求导工具后，我们可以寻找最小化损失函数的参数值的闭式解（closed form solution）。首先我们先把这个损失函数表达成向量的形式。 把每个训练样本放在矩阵一行，可以得到一个$m \times n$ 设计矩阵$X$ （design matrix） ，即 $$ X= ...
分类：
其他好文 时间：
2019-09-23 15:24:17
阅读次数：
126
[TOC] 目标函数 目标函数，或称损失函数，是网络中的性能函数，也是编译一个模型必须的两个参数之一。由于损失函数种类众多，下面以keras官网手册的为例。 在官方keras.io里面，有如下资料： 1. mean_squared_error或mse 2. mean_absolute_error或m ...
分类：
其他好文 时间：
2019-09-14 23:03:54
阅读次数：
1023
分类损失函数 一、LogLoss对数损失函数（逻辑回归，交叉熵损失） 有些人可能觉得逻辑回归的损失函数就是平方损失，其实并不是。平方损失函数可以通过线性回归在假设样本是高斯分布的条件下推导得到，而逻辑回归得到的并不是平方损失。在逻辑回归的推导中，它假设样本服从伯努利分布（0-1分布），然后求得满足该 ...
分类：
其他好文 时间：
2019-09-14 18:42:40
阅读次数：
374
