前言 以下内容是个人学习之后的感悟，如果有错误之处，还请多多包涵~ 正则化 一、过拟合 过拟合是一种现象。当我们提高在训练数据上的表现时，在测试数据上反而下降，这就被称为过拟合，或过配。过拟合发生 的本质原因，是由于监督学习问题的不适定：在高中数学我们知道，从n个（线性无关）方程可以解n个变量，解n ...
分类：
其他好文 时间：
2017-08-26 21:31:34
阅读次数：
220
过拟合的定义：过拟合是指模型过度拟合训练集, 学到训练集中过多的噪音或随机波动，导致模型泛化能力差的情况。它表现为在训练集上表现良好，在测试集上表现差。 解决方法：1.重新清洗数据,导致过拟合的一个原因也有可能是数据不纯导致的,如果出现了过拟合就需要我们重新清洗数据。 2.数据集扩增（data au ...
分类：
其他好文 时间：
2017-08-23 23:09:16
阅读次数：
611
原理 逻辑回归的推理过程能够參考这篇文章：http://blog.csdn.net/zouxy09/article/details/20319673，当中包括了关于逻辑回归的推理，梯度下降以及python源代码，讲的有点多。能够直接看核心部分 对于这篇文章补充一个就是其缺少的正则化内容： 能够查看知 ...
分类：
其他好文 时间：
2017-08-13 20:45:52
阅读次数：
188
一、基本形式 通过属性的线性组合来进行预测， 许多非线性模型可以在线性模型的基础上，引入层级结构或高维映射而得。 二、线性回归 最小二乘法：求解ω和b； 多元线性回归：样本由多个属性描述，即x为多维向量； 若矩阵不满秩产生多个解，解决方法：引入正则化项； 三、对数/逻辑线性回归 广义线性模型： g( ...
分类：
其他好文 时间：
2017-08-09 16:50:33
阅读次数：
140
来源知乎： dropout 的过程好像很奇怪，为什么说它可以解决过拟合呢？（正则化） 取平均的作用： 先回到正常的模型（没有dropout），我们用相同的训练数据去训练5个不同的神经网络，一般会得到5个不同的结果，此时我们可以采用 “5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。（例如 ...
分类：
其他好文 时间：
2017-08-09 00:09:11
阅读次数：
207
我们可以规范logistic回归以类似的方式，我们对线性回归。作为一个结果，我们可以避免过拟合。下面的图像显示了正则化函数，用粉红色的线显示出来，是不太可能过度拟合非正则的蓝线表示功能： 成本函数 我们可以使这个方程的最后添加一个项： 第二个和，意思是明确排除二次项。 ...
分类：
其他好文 时间：
2017-08-08 23:05:29
阅读次数：
217
正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出 ...
分类：
其他好文 时间：
2017-07-29 10:14:15
阅读次数：
162
Cost Function: 前向传播（Forward propagation） 反向传播（Back propagation） 对于反向传播算法最直观的表示就是对于每个节点都计算这样一项（误差项）： 计算完每个节点的误差之后我们便可以得到损失函数对于所有参数的偏导数： 注：这里忽略了正则化项。（aj ...
分类：
其他好文 时间：
2017-07-26 00:09:59
阅读次数：
269
1、引言 2017年CVPR上有不少关于跟踪的paper。CF方面最引人瞩目的应该是ECO了，CNN方面也有一些新的进展。Branchout是一个基于CNN用bagging集成的在线跟踪方法。 contributions: （1）提出了一种简单有效的正则化技术branchout，减少了集成学习方法在 ...
分类：
其他好文 时间：
2017-07-25 15:40:28
阅读次数：
137
如果XTX不可逆：常见的原因可能是： 1.冗余特征，其中两个特征是非常密切相关的（即它们是线性相关的）。 2.太多的变量（例如M≤N）。在这种情况下，删除某些特性或使用“正则化”（后面的课中将对此进行解释）。 解决上述问题的方法包括删除一个与另一个线性相关的特性，或者在有太多特性时删除一个或多个特性 ...
分类：
其他好文 时间：
2017-07-23 18:04:55
阅读次数：
152
