1.MSE（均方误差） MSE是指真实值与预测值（估计值）差平方的期望，计算公式如下： MSE = 1/m (Σ(ym-y'm)2)，所得结果越大，表明预测效果越差，即y和y'相差越大 y = tf.constant([1,2,3,0,2]) y = tf.one_hot(y,depth=4) y ...
分类：
其他好文 时间：
2020-01-27 15:40:00
阅读次数：
100
BP 4 大核心公式推导, 即损失函数对 输出层, 中间层, 偏置, 权值 的梯度(误差) ...
分类：
编程语言 时间：
2020-01-26 20:47:42
阅读次数：
136
[TOC] 所谓正则化是在代价函数的基础上进行的 为了使costfunction尽快的取得最小值 当参数过多时，会存在过拟合现象，假如我们在损失函数中加入一项作为惩罚，如加入$1000 \theta_{3}^{2}$，当参数$\theta_{3}$过大时，会使得损失函数变大，而我们的目标是损失函数最 ...
分类：
其他好文 时间：
2020-01-26 20:47:24
阅读次数：
70
1、卷积神经网络(CNN) 和 递归神经网络(RNN) 2、损失函数在反向传播中的作用 - 简书.html（https://www.jianshu.com/p/f987103ec046） 可以看出损失函数基本都是由真实值和预测值两部分组成，正确的损失函数，可以起到让预测值一直逼近真实值的效果，当预测 ...
分类：
其他好文 时间：
2020-01-26 14:36:41
阅读次数：
62
一、建立神经网络：Net(nn.Module) 1、创建层：__init__ 2、创建层关系：forward 二、创建神经网络：net = Net(1, 2, 1) 三、创建优化器：torch.optim.SGD(net.parameters(), lr=0.2) 四、创建损失函数：torch.nn ...
分类：
其他好文 时间：
2020-01-26 14:31:45
阅读次数：
85
1. 感知机模型 输入为实例的特征向量， 输出为实例的类别， 取+1和-1；感知机对应于输入空间中将实例划分为正负两类的分离超平面， 属于判别模型；导入基于误分类的损失函数；利用梯度下降法对损失函数进行极小化；感知机学习算法具有简单而易于实现的优点， 分为原始形式和对偶形式；1957年由Rosenb ...
分类：
其他好文 时间：
2020-01-26 11:40:01
阅读次数：
130
1. softmax 损失函数：归一化指数函数，可以将一个K维向量z“压缩”到另一个K维实向量σ(z)中，使每一个元素的范围在(0,1)之间，并且所有元素的和为1。 softmax loss包含三个部分：指数化、归一化、取-log(x) ①指数化：是指将一个样本中各个分类的得分指数化，使得各分类的得 ...
分类：
其他好文 时间：
2020-01-22 23:57:32
阅读次数：
245
1. SVM 损失：在一个样本中，对于真实分类与其他每各个分类，如果真实分类所得的分数与其他各分类所得的分数差距大于或等于安全距离，则真实标签分类与该分类没有损失值；反之则需要计算真实分类与该分类的损失值； 真实分类与其他各分类的损失值的总和即为一个样本的损失值 ①即真实标签分类所得分数大于等于该分 ...
分类：
其他好文 时间：
2020-01-22 21:45:54
阅读次数：
189
前面在mnist中使用了三个非线性层来增加模型复杂度，并通过最小化损失函数来更新参数，下面实用最底层的方式即张量进行前向传播（暂不采用层的概念）。 主要注意点如下： · 进行梯度运算时，tensorflow只对tf.Variable类型的变量进行记录，而不对tf.Tensor或者其他类型的变量记录 ...
分类：
其他好文 时间：
2020-01-22 20:05:16
阅读次数：
121
代价函数：又称损失函数，我的理解是用于更好地拟合样本，得到更合适模型的一个方法。 在线性回归中，假设函数为 hθ(x) = θ0 + θ1 * x ，其中θ0和θ1的变化会引起假设函数的变化，参数的选择决定了我们得到的直线相对于训练集的准确度。 为了让预测值和真实值的误差尽可能小和最小化θ0和θ1， ...
分类：
其他好文 时间：
2020-01-19 12:37:13
阅读次数：
69
