L0：是指向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话，就是希望W的大部分元素都是0，即让参数W是稀疏的L1：实现稀疏（选择重要特征，结果容易解释）,即适用于特征选择L2：防止过拟合，可以让优化求解变得稳定和快速L1会趋向于产生少量的特征，而其他的特征都是0，而L2会选择更多...
分类：
其他好文 时间：
2015-07-11 21:19:56
阅读次数：
430
训练神经网络时，使用dropout技术来防止网络的过拟合。我们这里且不谈这个技术的细节，但就这项技术的有趣的生物进化论解释了解下。自然界的高等生物进化出了两性繁殖，其原因可以解释为使得变异的基因能散播到整个种族中去。但是，dropout认为两性繁殖并不仅是为了让基因更容易地散播，两性繁殖的策略还提高...
分类：
其他好文 时间：
2015-07-08 12:44:49
阅读次数：
159
继上一篇基本最小二乘法和带部分空间约束的最小二乘法，它们要么易过拟合，要么不易求解，下面介绍 l2约束的最小二乘法，又叫正则化最小二乘法，岭回归。
一个模型的复杂程度与系数有关，最简单的模型是直接给所有系数赋值为0，则该模型总会预测出0值，模型虽然足够简单，但是没有意义，因为它不能有效预测。
定义模型的复杂度为：
由于我们的目的是使模型不要过于复杂，所以让上述值小是有意义的，因此新的目标...
分类：
其他好文 时间：
2015-07-06 12:25:59
阅读次数：
2146
这一节讲的是overfitting，听完对overfitting的理解比以前深刻多了。 先介绍了过拟合，后果就是Ein很小，而Eout很大。然后分别分析了造成过拟合的原因。 首先是对横型复杂度对过拟合的探讨。模型越复杂，越可能产生过拟合。然后给出了造成这一结果的原因：样本数量太小。这是...
分类：
其他好文 时间：
2015-06-28 16:52:26
阅读次数：
183
在训练集上有个好的效果不见得在测试集中效果就好，因为可能存在过拟合(over-fitting)的问题。如果训练集的数据质量很好，那我们只需对这些有效数据训练处一堆模型，或者对一个模型给定系列的参数值，然后再根据测试集进行验证，选择效果最好的即可；大多数情况下，数据集大小是有限的或质量不高，那么需要有...
分类：
其他好文 时间：
2015-06-16 16:33:09
阅读次数：
210
特征选取是机器学习领域非常重要的一个方向。主要有两个功能：（1）减少特征数量、降维，使模型泛化能力更强，减少过拟合（2）增强度特征和特征值之间的理解几种常用的特征选取方法一、去掉取值变化小的特征考察某个特征下，样本的方差值，可以人为给定一个阈值，抛开那些小于这个阈值的特征。二、单变量特征选择单变量特...
分类：
编程语言 时间：
2015-06-11 18:49:59
阅读次数：
256
目前学了几个ML的分类的经典算法，但是一直想着是否有一种能将这些算法集成起来的，今天看到了AdaBoost，也算是半个集成，感觉这个思路挺好，很像人的训练过程，并且对决策树是一个很好的补充，因为决策树容易过拟合，用AdaBoost可以让一棵很深的决策树将其分开成多棵矮树，后来发现原来这个想法和ran...
分类：
编程语言 时间：
2015-06-11 12:36:24
阅读次数：
421
线性回归容易出现过拟合或欠拟合的问题。局部加权线性回归是一种非参数学习方法，在对新样本进行预测时，会根据新的权值，重新训练样本数据得到新的参数值，每一次预测的参数值是不相同的。权值函数：t用来控制权值的变化速率（建议对于不同的样本，先通过调整t值确定合适的t）不同t值下的权值函数图像：局部加权线性回...
分类：
其他好文 时间：
2015-06-07 18:41:19
阅读次数：
4194
在机器学习中，无论是分类还是回归，都可能存在由于特征过多而导致的过拟合问题。当然解决的办法有
（1）减少特征，留取最重要的特征。
（2）惩罚不重要的特征的权重。
但是通常情况下，我们不知道应该惩罚哪些特征的权重取值。通过正则化方法可以防止过拟合，提高泛化能力。
先来看看L2正则化方法。对于之前梯度下降讲到的损失函数来说，在代价函数后面加上一个正则化项，得到...
分类：
其他好文 时间：
2015-05-30 13:35:15
阅读次数：
183
1.本次课程大纲
局部加权回归： 线性回归的变化版本
Probability interpretation：另一种可能的对于线性回归的解释
Logistic回归： 基于2的一个分类算法
感知器算法： 对于3的延伸，简要讲
牛顿方法（用来对logistic进行拟合的算法，这节课没讲）
2.过拟合与欠拟合的距离评估房子的价格，假设三种拟合算法：
（1）X1=size, 拟合出一条线性曲线；
（2）x...
分类：
其他好文 时间：
2015-05-29 23:16:50
阅读次数：
333
