一、weight decay（权值衰减）的使用既不是为了提高你所说的收敛精确度也不是为了提高收敛速度，其最终目的是防止过拟合。在损失函数中，weight decay是放在正则项（regularization）前面的一个系数，正则项一般指示模型的复杂度，所以weight decay的作用是调节模型复杂 ...
分类：
其他好文 时间：
2017-12-07 13:26:09
阅读次数：
125
引子 对于一个特征数比较大的非线性分类问题，如果采用先前的回归算法，需要很多相关量和高阶量作为输入，算法的时间复杂度就会很大，还有可能会产生过拟合问题，如下图： 这时就可以选择采用神经网络算法。 神经网络算法最早是人们希望模仿大脑的学习功能而想出来的。 一个神经元，有多个树突(Dendrite)作为 ...
分类：
Web程序 时间：
2017-12-03 21:47:44
阅读次数：
292
最近看了一下深度学习的表征学习，总结并记录与一下学习笔记。 1.在标签数据集中做的监督学习容易导致过拟合，半监督学习由于可以从无标签数据集中学习，可以有一定概率化解这种情况。 2.深度学习所使用的算法不能太复杂，否则会加大计算复杂度和工作量。 3.逐层贪婪的无监督预训练有这几个特点： （1）贪婪：基 ...
分类：
其他好文 时间：
2017-11-28 15:40:12
阅读次数：
154
Decision Trees （DT）是用于分类和回归的非参数监督学习方法。 目标是创建一个模型，通过学习从数据特征推断出的简单决策规则来预测目标变量的值。 例如，在下面的例子中，决策树从数据中学习用一组if-then-else决策规则逼近正弦曲线。 树越深，决策规则越复杂，模型也越复杂。 决策树的 ...
分类：
其他好文 时间：
2017-11-27 00:10:48
阅读次数：
201
1. 过拟合 overfitting 问题什么是过拟合呢？用实际生活中的一个例子来比喻一下过拟合现象. 说白了, 就是机器学习模型于自信. 已经到了自负的阶段了. 那自负的坏处, 大家也知道, 就是在...
分类：
其他好文 时间：
2017-11-16 14:21:06
阅读次数：
413
原文：http://blog.csdn.net/ZhikangFu/article/details/50885045 http://blog.csdn.net/heyongluoyao8/article/details/49429629 防止过拟合的处理方法 过拟合 我们都知道，在进行数据挖掘或者机 ...
分类：
其他好文 时间：
2017-11-15 23:29:49
阅读次数：
386
本博客内容来自 Stanford University CS231N 2017 Lecture 3 - Loss Functions and Optimization 课程官网：http://cs231n.stanford.edu/syllabus.html 从课程官网可以查询到更详细的信息，查看视 ...
分类：
其他好文 时间：
2017-11-13 00:21:35
阅读次数：
520
TensorFlow正则化经常被用于Deep-Learn中，泛化数据模型，解决过拟合问题。再深度学习网络只有在有足够大的数据集时才能产生惊人的学习效果。当数据量不够时，过拟合的问题就会经常发生。然而，只选取我们需要的数据量的模型，就会非常难以继续进行泛化和优化。所以正则化技术孕育而生~~~~~~~ ...
分类：
其他好文 时间：
2017-11-12 21:50:58
阅读次数：
344
我的理解：应该是只是针对性的去针对了那个问题的情况 出处： (1 条消息)用简单易懂的语言描述「过拟合 overfitting」？ - 知乎https://www.zhihu.com/question/32246256 指知乎上对过拟合的例子： 不知道大家在学车的时候教练教倒库和侧方停车的时候有没有 ...
分类：
其他好文 时间：
2017-11-11 21:26:11
阅读次数：
132
我们介绍了过拟合和欠拟合出现的原因以及解决方案；然后我们对正则化进行了详细的说明，其中重点讨论了L1、L2正则的特性，以及出现该特性的原因 ...
分类：
其他好文 时间：
2017-11-04 19:42:19
阅读次数：
131
