一、引言
在机器学习以及优化组合问题中，最常用的方法就是梯度下降法。比如BP神经网络，多层感知器的神经元(units)越多，对应的权矩阵也就越大，每个权可视为一个自由度或者变量。我们知道自由度越高，变量越多，模型越复杂，模型的能力越强。但是模型能力越强，模型就越容易过拟合，对噪声太敏感。另一方面，使用梯度下降进行最优解搜寻时，多变量的误差曲面很像是连绵起伏的山峰一样，变量越多，山峰和山谷也越多，...
分类：
其他好文 时间：
2015-08-10 12:02:38
阅读次数：
261
一、引言
在机器学习以及优化组合问题中，最常用的方法就是梯度下降法。比如BP神经网络，多层感知器的神经元(units)越多，对应的权矩阵也就越大，每个权可视为一个自由度或者变量。我们知道自由度越高，变量越多，模型越复杂，模型的能力越强。但是模型能力越强，模型就越容易过拟合，对噪声太敏感。另一方面，使用梯度下降进行最优解搜寻时，多变量的误差曲面很像是连绵起伏的山峰一样，变量越多，山峰和山谷...
分类：
其他好文 时间：
2015-08-08 10:31:01
阅读次数：
270
本文主要讲解局部加权(线性)回归。在讲解局部加权线性回归之前，先讲解两个概念：欠拟合、过拟合，由此引出局部加权线性回归算法。欠拟合、过拟合 如下图中三个拟合模型。第一个是一个线性模型，对训练数据拟合不够好，损失函数取值较大。如图中第二个模型，如果我们在线性模型上加一个新特征项，拟合结果就会好一些.....
分类：
其他好文 时间：
2015-08-05 20:20:46
阅读次数：
312
转载文章：机器学习中的范数规则化之（一）L0、L1与L2范数zouxy09@qq.comhttp://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。.....
分类：
其他好文 时间：
2015-08-05 14:36:16
阅读次数：
131
特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。
特征选择主要有两个功能：
减少特征数量、降维，使模型泛化能力更强，减少过拟合增强对特征和特征值之间的理解
拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，我们经常不管三七二十一，选择...
分类：
其他好文 时间：
2015-08-04 19:29:04
阅读次数：
312
为什么会产生过拟合，有哪些方法可以预防或克服过拟合？
什么是过拟合：
所谓过拟合（Overfit），是这样一种现象：一个假设在训练数据上能够获得比其他假设更好的拟合，但是在训练数据外的数据集上却不能很好的拟合数据。此时我们就叫这个假设出现了overfit的现象。
过拟合产生的原因：
出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。
预防或克服措施：...
分类：
其他好文 时间：
2015-08-04 19:20:03
阅读次数：
646
1、优化模型的两种策略：1）基于残差的方法 残差其实就是真实值和预测值之间的差值，在学习的过程中，首先学习一颗回归树，然后将“真实值-预测值”得到残差，再把残差作为一个学习目标，学习下一棵回归树，依次类推，直到残差小于某个接近0的阀值或回归树数目达到某一阀值。其核心思想是每轮通过拟合残差来降低损失....
分类：
编程语言 时间：
2015-08-01 17:07:36
阅读次数：
4624
下面主要总结线性回归与逻辑回归下的过拟合问题。【过拟合问题的定义】【过拟合问题的解决方法】
怎样解决过拟合问题呢？两个方法：
1. 减少feature个数（人工定义留多少个feature、算法选取这些feature）
2. 正则化（留下所有的feature，但对于部分feature定义其parameter非常小）
下面我们将对线性回归与逻辑回归的正则化进行详细的讲解。【一、线性回归的正则化...
分类：
其他好文 时间：
2015-07-26 11:09:25
阅读次数：
191
参考NB：高效、易实现；性能不一定高LR：对数据的假设少，适应性强，可用于在线学习；要求线性可分决策树：易解释，对数据线性与否无关；易过拟合，不支持在线RF：快速并且可扩展，参数少；可能过拟合SVM:高准确率、可处理非线性可分数据（可处理高维数据）；内存消耗大，难于解释，运行和调参麻烦
分类：
编程语言 时间：
2015-07-24 20:21:23
阅读次数：
136
处理过拟合的方法：1、去噪（数据清洗）；2、增加训练数据集（收集或构造新数据）3、正则化（L1、L2）4、减少特征数目5、对于决策树可以采用剪枝法6、采用组合分类器（装袋或随机森林）7、选择合适的迭代停止条件8、迭代过程中进行权值衰减（以某个小因子降低每个权值）
分类：
其他好文 时间：
2015-07-11 22:41:55
阅读次数：
478
