对于分类问题的神经网络最后一层的函数做如下知识点总结： sigmoid函数的定义：令p(y=1)=x，p(y=0)=1-x，f =ln( x/(1-x))，推导出x=ef/(1-ef)，即输出的是y=1的概率，这一点与softmax函数不同. 常用损失函数介绍： MSE：均方误差一遍用于回归问题的损 ...
分类：
其他好文 时间：
2018-09-27 14:21:54
阅读次数：
523
? 神经网络中权重 $w^{(l)}_{ij}$ 的改变将影响到接下来的网络层，直到输出层，最终影响损失函数 ? $\color{red}{公式推导符号说明}$ 符号|说明 | $n_l$| 网络层数 $y_j$| 输出层第 $j$ 类 标签 $S_l$| 第 $l$ 层神经元个数（不包括偏置） $ ...
分类：
编程语言 时间：
2018-09-26 17:48:05
阅读次数：
249
一、损失函数(loss) [前向传播的预测值y与已知答案y_的差距]： 1.优化目标：使loss达到最小值。 2.优化方法：均方误差（mse） 交叉熵（ce） 自定义 详解： 1.均方误差mse： 公式： 函数：loss_mse = tf.reduce_mean(tf.square(y_ - y)) ...
分类：
其他好文 时间：
2018-09-25 17:27:00
阅读次数：
225
转自：打开链接 Bounding Box regression 最近一直看检测有关的Paper, 从rcnn， fast rcnn, faster rcnn, yolo, r fcn, ssd，到今年cvpr最新的yolo9000。这些paper中损失函数都包含了边框回归，除了rcnn详细介绍了，其 ...
分类：
其他好文 时间：
2018-09-24 17:06:05
阅读次数：
325
推导过程 如图中所示我们规定$W_{ij}^k$表示第k层与第k+1层之间神经元的权重值，$z^k$表示对应输入第k层的值，$o^k$表示对应第k层输出的值 定义 损失函数 为： $l = \frac{1}{2}(y \widehat{y})^2$($y$表示预期输出) 比如图中 第2层和第3层 的 ...
分类：
其他好文 时间：
2018-09-24 00:30:00
阅读次数：
239
梯度下降 梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路。 随机梯度下降Stochastic gradient descent） 随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样 ...
分类：
其他好文 时间：
2018-09-22 23:47:08
阅读次数：
199
一.前言 在做神经网络的训练学习过程中，一开始，经常是喜欢用二次代价函数来做损失函数，因为比较通俗易懂，后面在大部分的项目实践中却很少用到二次代价函数作为损失函数，而是用交叉熵作为损失函数。为什么？一直在思考这个问题，这两者有什么区别，那个更好？下面通过数学的角度来解释下。 思考：我们希望我们损失函 ...
分类：
其他好文 时间：
2018-09-15 20:05:46
阅读次数：
468
tensorFlow 基础见前博客 逻辑回归广泛应用在各类分类，回归任务中。本实验介绍逻辑回归在 TensorFlow 上的实现 理论知识回顾 逻辑回归的主要公式罗列如下： 激活函数（activation function）： 损失函数（cost function）： 其中 损失函数求偏导（deri ...
分类：
其他好文 时间：
2018-09-14 16:06:31
阅读次数：
181
对抗生成网络，通过对分别两个矛盾的函数，进行各自的训练，已达到两个函数都能实现各自的最优化，得到的参数就是一个较好的参数 两个对抗函数： 函数一：是判别损失函数，使得判别式的准确率越来越大, 及self.D1被判断为1， self.D2被判断为0 self.loss_d = tf.reduce_me ...
分类：
编程语言 时间：
2018-09-09 22:11:24
阅读次数：
394
原文链接：https://www.mlpod.com/mlbase/66.html 1. 训练误差与测试误差 当损失函数给定时，基于损失函数的模型训练误差和魔性的测试误差就自然成为学习方法评估的标准。注意，统计学习方法具体采用的损失函数未必是评估时所使用的损失函数。 2. 过拟合与模型选择 当假设空 ...
分类：
其他好文 时间：
2018-09-02 02:08:11
阅读次数：
367
