整理自Adrew Ng 的 machine learning课程week3 目录： 二分类问题 模型表示 decision boundary 损失函数 多分类问题 过拟合问题和正则化 什么是过拟合 如何解决过拟合 正则化方法 模型表示 decision boundary 什么是过拟合 如何解决过拟合 ...
分类：
系统相关 时间：
2018-04-09 17:13:59
阅读次数：
292
https://blog.csdn.net/jinping_shi/article/details/52433975 https://blog.csdn.net/zouxy09/article/details/24971995 一、概括： L1和L2是正则化项，又叫做罚项，是为了限制模型的参数，防止 ...
分类：
其他好文 时间：
2018-04-04 18:21:33
阅读次数：
197
在深度学习应用中训练数据往往不够，可以通过添加噪声、裁剪等方法获取更多的数据。另外，考虑到噪声的多样性，可以通过添加不同种类的噪声获取更多类型的数据，比如裁剪、旋转、扭曲、拉伸等不同的方法生成不同的数据。 主要方法有：修改图片尺寸、按比例缩放、加噪声、反转、旋转、平移、缩放变换、剪切、对比度变换、随 ...
分类：
其他好文 时间：
2018-04-03 10:57:36
阅读次数：
174
提前终止 在对模型进行训练时，我们可以将我们的数据集分为三个部分，训练集、验证集、测试集。我们在训练的过程中，可以每隔一定量的step，使用验证集对训练的模型进行预测，一般来说，模型在训练集和验证集的损失变化如下图所示： 可以看出，模型在验证集上的误差在一开始是随着训练集的误差的下降而下降的。当超过 ...
分类：
其他好文 时间：
2018-04-02 18:06:27
阅读次数：
211
一 批标准化 (batch normalization) 部分内容来自： Batch Normalization 批标准化 深度学习Deep Learning(05):Batch Normalization(BN)批标准化 参考论文：http://jmlr.org/proceedings/paper ...
分类：
其他好文 时间：
2018-03-30 12:13:56
阅读次数：
189
比对 The raw Drop-seq data was processed with the standard pipeline (Drop-seq tools version 1.12 from McCarroll laboratory). Reads were aligned to the E ...
分类：
其他好文 时间：
2018-03-26 13:08:54
阅读次数：
237
请查看以下 泛化曲线 ，该曲线显示的是训练集和验证集相对于训练迭代次数的损失。 图 1 显示的是某个模型的训练损失逐渐减少，但验证损失最终增加。换言之，该泛化曲线显示该模型与训练集中的数据过拟合。根据 "奥卡姆剃刀定律" ，或许我们可以通过降低复杂模型的复杂度来防止过拟合，这种原则称为正则化。 也就 ...
分类：
其他好文 时间：
2018-03-25 12:11:09
阅读次数：
261
模型开发者通过以下方式来调整正则化项的整体影响：用正则化项的值乘以名为 lambda（又称为正则化率）的标量。也就是说，模型开发者会执行以下运算： 执行 L2 正则化对模型具有以下影响: 使权重值接近于 0（但并非正好为 0） 使权重的平均值接近于 0，且呈正态（钟形曲线或高斯曲线）分布。 增加 l ...
分类：
其他好文 时间：
2018-03-25 12:05:51
阅读次数：
622
正则化 定义： 正则化就是在计算损失函数时，在损失函数后添加权重相关的正则项。 作用： 减少过拟合现象 正则化有多种，有L1范式，L2范式等。一种常用的正则化公式 $$J_{regularized} = \small \underbrace{ \frac{1}{m} \sum\limits_{i = ...
分类：
其他好文 时间：
2018-03-24 17:27:50
阅读次数：
210
