深度学习的特点:1)建立、模仿人脑学习的机制2)含多隐层的多层感知器;组合底层特征形成更加抽象的高层特征3)发现数据的分布性特征4)源于人工神经网络人工神经网络的低潮:1)容易过拟合、参数难tune,需要不少trick2)训练速度比较慢,在层次比较少(小于等于3)的情况下效果并不比其它方法更优人工神...
分类:
其他好文 时间:
2015-10-18 15:19:19
阅读次数:
366
预训练的用处:规则化,防止过拟合;压缩数据,去除冗余;强化特征,减小误差;加快收敛速度。标准的sigmoid输出不具备稀疏性,需要用一些惩罚因子来训练出一大堆接近0的冗余数据来,从而产生稀疏数据,例如L1、L1/L2或Student-t作惩罚因子。因此需要进行无监督的预训练。而ReLU是线性修正,公...
分类:
其他好文 时间:
2015-10-06 18:11:11
阅读次数:
809
Log-Linear 模型(也叫做最大熵模型)是 NLP 领域中使用最为广泛的模型之中的一个。其训练常採用最大似然准则。且为防止过拟合,往往在目标函数中增加(能够产生稀疏性的) L1 正则。但对于这样的带 L1 正则的最大熵模型,直接採用标准的随机梯度下降法(SGD)会出现效率不高和...
分类:
其他好文 时间:
2015-09-30 19:35:31
阅读次数:
237
1.如果一味追求提高对训练数据的预测能力,所选模型的复杂度则往往会比真模型更高,这种现象称为过拟合(over-fitting ). 2.过拟合是指学习时选择的模型所包含的参数过多,以致于出现这一模型对已知数据预测得很好,但对未知数据预测很差的现象.3.可以说模型选择旨在避免过拟合并提高模型的预测能力...
分类:
其他好文 时间:
2015-09-23 13:12:23
阅读次数:
126
原文:http://blog.csdn.net/u012162613/article/details/44261657本文是《Neural networks and deep learning》概览中第三章的一部分,讲机器学习/深度学习算法中常用的正则化方法。(本文会不断补充)正则化方法:防止过拟合...
分类:
其他好文 时间:
2015-09-07 00:19:30
阅读次数:
256
首先说交叉验证。
交叉验证(Cross validation)是一种评估统计分析、机器学习算法对独立于训练数据的数据集的泛化能力(generalize), 能够避免过拟合问题。
交叉验证一般要尽量满足:
1)训练集的比例要足够多,一般大于一半
2)训练集和测试集要均匀抽样
交叉验证主要分成以下几类:
1)Double cross-validation
Double cross...
分类:
其他好文 时间:
2015-08-27 23:03:09
阅读次数:
814
本文主要讲解局部加权(线性)回归。在讲解局部加权线性回归之前,先讲解两个概念:欠拟合、过拟合,由此引出局部加权线性回归算法。
欠拟合、过拟合
如下图中三个拟合模型。第一个是一个线性模型,对训练数据拟合不够好,损失函数取值较大。如图中第二个模型,如果我们在线性模型上加一个新特征项,拟合结果就会好一些。图中第三个是一个包含5阶多项式的模型,对训练数据几乎完美拟合。
...
分类:
其他好文 时间:
2015-08-17 08:48:14
阅读次数:
183
机器学习中的范数规则化之(一)L0、L1与L2范数zouxy09@qq.comhttp://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇.....
分类:
其他好文 时间:
2015-08-15 14:47:53
阅读次数:
124
训练样本大小选取的问题模型学习的准确度与数据样本大小有关,那么如何展示更多的样本与更好的准确度之间的关系呢?我们可以通过不断增加训练数据,直到模型准确度趋于稳定。这个过程能够很好让你了解,你的系统对样本大小及相应调整有多敏感。所以,训练样本首先不能太少,太少的数据不能代表数据的整体分布情况,而且容易过拟合。数据当然也不是越多越好,数据多到一定程度效果就不明显了。不过,这里假设数据是均匀分布增加的。然...
分类:
编程语言 时间:
2015-08-12 14:38:42
阅读次数:
200