在进行数据挖掘或者机器学习模型建立的时候，因为在统计学习中，假设数据满足独立同分布，即当前已产生的数据可以对未来的数据进行推测与模拟，因此都是使用历史数据建立模型，即使用已经产生的数据去训练，然后使用...
分类：
其他好文 时间：
2016-09-07 21:13:40
阅读次数：
220
在深度学习中，当数据量不够大时候，常常采用下面4中方法： 1. 人工增加训练集的大小. 通过平移, 翻转, 加噪声等方法从已有数据中创造出一批"新"的数据.也就是Data Augmentation2. Regularization. 数据量比较小会导致模型过拟合, 使得训练误差很小而测试误差特别大. ...
分类：
其他好文 时间：
2016-09-05 11:53:54
阅读次数：
482
第一章 归纳（induction）：特殊到一般的“泛化”过程，generalization，从具体的事实归纳出一般性规律 演绎（deduction）：从一般到特殊的“特化”过程，specialization，从基础原理推演出具体情况。 有归纳偏好：满足条件的模型很多，选择哪个呢？ 第二章 过拟合ov ...
分类：
其他好文 时间：
2016-09-01 16:23:04
阅读次数：
162
今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。 监 ...
分类：
其他好文 时间：
2016-08-17 10:20:17
阅读次数：
175
前面两章中讲到的SVM的求解方式都是基于这样一个前提:我们最终求得的直线或者曲线都能把两种不同的分完完全全得区分开来,就是所谓的Hard-Margin,但是这样的方式有时候就会造成过拟合,如上图所示,因为这样的方式并不能把那些所谓的噪声给屏蔽掉. 为了抵消这些噪声的影响,我们在Hard-Margin ...
分类：
其他好文 时间：
2016-08-12 14:58:20
阅读次数：
953
目的： 提升深度神经网络的性能。 一般方法带来的问题： 增加网络的深度与宽度。 带来两个问题： （1）参数增加，数据不足的情况容易导致过拟合 （2）计算资源要求高，而且在训练过程中会使得很多参数趋向于0，浪费计算资源。 解决方法： 使用稀疏连接替代稠密结构。 理论依据（Arora）：一个概率分布可以 ...
分类：
Web程序 时间：
2016-08-01 21:19:18
阅读次数：
666
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）
正则化方法：防止过拟合，提高泛化能力
在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程，网络在training data上的error渐渐减...
分类：
其他好文 时间：
2016-07-19 10:39:32
阅读次数：
138
第2章 模型评估与选择 2.1 经验误差与过拟合 学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称为“泛化误差”；过拟合一般是由于学习能力过于强大，以至于把训练样本所包含的不太一般的特性都学到了，而欠拟合则通常是由学习能力低下而造成的。欠拟合比较容易克服，例如在决策树学习中扩 ...
分类：
其他好文 时间：
2016-07-19 09:11:33
阅读次数：
622
前言： 本节主要是练习regularization项的使用原则。因为在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少的话，这样训练出来的模型很容易产生过拟合现象。因此在模型的损失函数中，需要对模型的参数进行“惩罚”，这样的话这些参数就不会太大，而越小的参数说明模型越简单，越简单的模型则越... ...
分类：
其他好文 时间：
2016-07-04 11:47:41
阅读次数：
256
Coursera公开课笔记: 斯坦福大学机器学习第七课“正则化”
NLPJob
斯坦福大学机器学习第七课”正则化“学习笔记，本次课程主要包括4部分：
1)
The Problem of Overfitting(过拟合问题)
2) Cost Function(成本函数)
3) Regularized Linear Regression(线性回归的正则化...
分类：
其他好文 时间：
2016-07-03 01:50:44
阅读次数：
202
