反向传播原理比较简单，先定义损失函数，然后使用梯度下降算法找到最小化损失函数的W和b，梯度下降算法需要计算损失函数对w和b的偏导，求偏导只使用了一个链式法则。 1、反向转播 2、参数更新 η是学习率 ...
分类：
其他好文 时间：
2018-12-10 13:54:50
阅读次数：
318
假设函数： 更为一般的表达式： （1） 似然函数： （2） 对数似然函数： 如果以上式作为目标函数，就需要最大化对数似然函数，我们这里选择最小化负的对数似然函数 （3） 对J(w)求极小值，对求导 （4） 上述中 表示第i个样本的第j个属性的取值。 于是的更新方式为： （5） 将（5）式带入（4）式 ...
分类：
编程语言 时间：
2018-12-03 01:01:55
阅读次数：
1561
这几天一直在用Pytorch来复现文本检测领域的CTPN论文，本文章将从数据处理、训练标签生成、神经网络搭建、损失函数设计、训练主过程编写等这几个方面来一步一步复现CTPN。CTPN算法理论可以参考 "这里" 。 训练数据处理 我们的训练选择天池ICPR2018和MSRA_TD500两个数据集，天池 ...
分类：
其他好文 时间：
2018-12-02 18:34:22
阅读次数：
3417
在深度学习中，批量归一化（batch normalization）以及对损失函数加一些正则项这两类方法，一般可以提升模型的性能。这两类方法基本上都属于权重约束，用于减少深度学习神经网络模型对训练数据的过拟合，并改善模型对新数据的性能。 目前，存在多种类型的权重约束方法，例如最大化或单位向量归一化，有 ...
分类：
其他好文 时间：
2018-11-30 14:16:31
阅读次数：
191
1.目标函数（objective function）或准则（criterion） 要最小化或最大化的函数 最小化时，我们也把它称为代价函数（cost function）、损失函数（loss function）或误差函数（error function） 一个上标 ? 表示最小化或最大化函数的 x 值。 ...
分类：
其他好文 时间：
2018-11-28 12:21:45
阅读次数：
235
一、神经网络1.为了进行梯度下降，误差函数不能是离散的，而必须是连续的。误差函数必须是可微分的。同时，要将离散预测变成连续预测，方法是将激活函数从阶跃函数变成S函数。 2.最大似然法：选出实际发生的情况所对应的概率更大的模型。 3.交叉熵(损失函数)：将得到的概率取对数，对它们的相反数进行求和。准确 ...
分类：
其他好文 时间：
2018-11-26 22:09:27
阅读次数：
260
1.导入必备的包 2.定义mnist数据的格式变换 3.下载数据集，定义数据迭代器 4.定义全连接神经网络（多层感知机） 5.定义损失函数和优化器 6.开始训练和测试 7.测试结果 8.训练损失和训练精度曲线 ...
分类：
其他好文 时间：
2018-11-17 19:20:15
阅读次数：
454
普通最小二乘法 损失函数： 权重计算： 1、对于普通最小二乘的系数估计问题，其依赖于模型各项的相互独立性。 2、当各项是相关的，且设计矩阵 X的各列近似线性相关，那么，设计矩阵会趋向于奇异矩阵，这会导致最小二乘估计对于随机误差非常敏感，产生很大的方差。 例如，在没有实验设计的情况下收集到的数据，这种 ...
分类：
其他好文 时间：
2018-11-16 22:35:22
阅读次数：
626
一、项目简介 手动实现mini深度学习框架，主要精力不放在运算优化上，仅体会原理 相关博客 『TensorFlow』卷积层、池化层详解 『科学计算』全连接层、均方误差、激活函数实现 文件介绍 Layer.py 层 class，已实现：全连接层，卷积层，平均池化层 Loss.py 损失函数 class ...
分类：
其他好文 时间：
2018-11-15 15:33:22
阅读次数：
218
Reference: https://blog.csdn.net/marsjhao/article/details/72630147 分类问题损失函数-交叉熵（crossentropy) 交叉熵描述的是两个概率分布之间的距离，分类中广泛使用的损失函数，公式如下 在网络中可以通过Softmax回归将前 ...
分类：
其他好文 时间：
2018-11-10 16:42:35
阅读次数：
306
