一、什么是正则化 正则化即为对学习算法的修改，旨在减少泛化误差而不是训练误差。正则化的策略包括： （1）约束和惩罚被设计为编码特定类型的先验知识 （2）偏好简单模型 （3）其他形式的正则化，如：集成的方法，即结合多个假说解释训练数据 在实践中，过于复杂的模型不一定包含数据的真实的生成过程，甚至也不包 ...
分类：
其他好文 时间：
2018-07-14 20:03:37
阅读次数：
331
3.1调试处理 （1）不同超参数调试的优先级是不一样的，如下图中的一些超参数，首先最重要的应该是学习率α（红色圈出），然后是Momentum算法的β、隐藏层单元数、mini-batch size（黄色圈出）、再之后是Layer、learning rate decay（紫色圈出）、最后是Adam算法中 ...
分类：
其他好文 时间：
2018-07-14 14:48:34
阅读次数：
169
一、岭回归和 LASSO 回归的推导过程 1）岭回归和LASSO回归都是解决模型训练过程中的过拟合问题 具体操作：在原始的损失函数后添加正则项，来尽量的减小模型学习到的 θ 的大小，使得模型的泛化能力更强； 2）比较 Ridge 和 LASSO 名词 Ridge、LASSO：衡量模型正则化； MSE ...
分类：
其他好文 时间：
2018-07-13 20:23:20
阅读次数：
241
一、XGBoost的优势 XGBoost算法可以给预测模型带来能力的提升。当我对它的表现有更多了解的时候，当我对它的高准确率背后的原理有更多了解的时候，我发现它具有很多优势： 1 正则化 标准GBDT 的实现没有像XGBoost这样的正则化步骤。正则化对减少过拟合也是有帮助的。 实际上，XGBoos ...
分类：
其他好文 时间：
2018-07-05 10:19:27
阅读次数：
245
9.1代价函数 （1）假设神经网络的训练样本有m个，每一个包含一组输入x和一组输出信号y，L表示神经网络的层数，Sl表示每一层的神经元个数，SL代表最后一层中处理单元的个数。 则代价函数为（同样不对θ0正则化）： 9.2反向传播算法 前向传播算法： 用δ表示误差，则δ（4）=a(4)-y 前一层的误 ...
分类：
其他好文 时间：
2018-07-02 20:22:50
阅读次数：
149
7.1过拟合的问题 训练集表现良好，测试集表现差。鲁棒性差。以下是两个例子（一个是回归问题，一个是分类问题） 解决办法： （1）丢弃一些不能帮助我们正确预测的特征。可以使用工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（PCA）； （2）正则化。保留素有的特征，但是减少参数的大小。 7.2代价 ...
分类：
其他好文 时间：
2018-07-02 00:03:49
阅读次数：
105
用户评分矩阵R利用MF可得： （1） 加入正则化，防止过拟合 迭代过程 1.随机生成X、Y。（相当于对迭代算法给出一个初始解。） Repeat until convergence { 2.固定Y，使用公式3更新xu。 3.固定X，使用公式4更新yi。 } ...
分类：
其他好文 时间：
2018-07-01 17:52:32
阅读次数：
138
在总结正则化（Regularization）之前，我们先谈一谈正则化是什么，为什么要正则化。 个人认为正则化这个字眼有点太过抽象和宽泛，其实正则化的本质很简单，就是对某一问题加以先验的限制或约束以达到某种特定目的的一种手段或操作。在算法中使用正则化的目的是防止模型出现过拟合。一提到正则化，很多同学可 ...
分类：
其他好文 时间：
2018-06-30 17:43:02
阅读次数：
277
什么是过拟合？在训练假设函数模型h时，为了让假设函数总能很好的拟合样本特征对应的真实值y，从而使得我们所训练的假设函数缺乏泛化到新数据样本能力。怎样解决过拟合过拟合会在变量过多同时过少的训练时发生，我们有两个选择，一是减少特征的数量，二是正则化，今天我们来重点来讨论正则化，它通过设置惩罚项让参数θ足够小，要让我们的代价函数足够小，就要让θ足够小，由于θ是特征项前面的系数，这样就使特征项趋近于零。岭
分类：
其他好文 时间：
2018-06-27 23:05:49
阅读次数：
303
什么是过拟合？ 在训练假设函数模型h时，为了让假设函数总能很好的拟合样本特征对应的真实值y，从而使得我们所训练的假设函数缺乏泛化到新数据样本能力。 怎样解决过拟合 过拟合会在变量过多同时过少的训练时发生，我们有两个选择，一是减少特征的数量，二是正则化，今天我们来重点来讨论正则化，它通过设置惩罚项让参 ...
分类：
其他好文 时间：
2018-06-27 22:15:45
阅读次数：
160
