一、间隔与支持向量 给定训练样本集D={(x1,y1),(x2,y2),...,(xm,ym)},yi∈{-1,+1}，分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。在众多划分超平面之间，我们需要找出一个泛化能力最强的。直观上看，我们应该找位于两类训练样本 ...
分类：
其他好文 时间：
2016-12-09 08:22:25
阅读次数：
317
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）
正则化方法：防止过拟合，提高泛化能力
在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程，网络在training data上的error渐渐减...
分类：
其他好文 时间：
2016-07-19 10:39:32
阅读次数：
138
特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。
特征选择主要有两个功能：
减少特征数量、降维，使模型泛化能力更强，减少过拟合增强对特征和特征值之间的理解...
分类：
其他好文 时间：
2016-06-12 03:17:06
阅读次数：
324
Geoffery Hinton教授的Neuron Networks for Machine Learning的第八讲为可选部分，好像很难，这里就先跳过了，以后有用的时候再回来补。第九讲介绍了避免过拟合，提高模型的泛化能力。...
分类：
其他好文 时间：
2016-05-22 12:36:36
阅读次数：
1840
正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出 ...
分类：
其他好文 时间：
2016-05-13 20:37:39
阅读次数：
174
支持向量机(SVM)是90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。...
分类：
其他好文 时间：
2016-05-13 03:23:11
阅读次数：
376
华夏35度 Data Mining 径向基函数（RBF）神经网络 RBF网络能够逼近任意的非线性函数，可以处理系统内的难以解析的规律性，具有良好的泛化能力，并有很快的学习收敛速度，已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。 简单说明 ...
分类：
其他好文 时间：
2016-05-05 09:42:44
阅读次数：
221
ZF-net
摘要：
1、这篇文章的motivation 是 ：CNN性能良好，但是我们不知道它为何性能良好，也不知道它怎么可以被提高？
2、本文介绍了一种新方法实现中间层和分类器的可视化
3、采用消融学习，来得到中间层的作用
4、我们的模型具有很好的泛化能力，当分类器重新训练时，在calteck-101和calteck-256等数据集上性能非常好。
引...
分类：
Web程序 时间：
2016-04-10 15:06:25
阅读次数：
265
误差模型：过拟合，交叉验证,偏差-方差权衡作者Natasha Latysheva;Charles Ravarani
发表于cambridgecoding介绍??在本文中也许你会掌握机器学习中最核心的概念:偏差-方差权衡.其主要想法是,你想创建尽可能预测准确并且仍能适用于新数据的模型(这是泛化).危险的是,你可以轻松的在你制定的数据中创建过度拟合本地噪音的模型,这样的模型是无用的,并且导致弱泛化能力...
分类：
其他好文 时间：
2016-03-26 06:57:59
阅读次数：
4042
本文是《Neural networks and deep learning》概览 中第三章的一部分。讲机器学习/深度学习算法中经常使用的正则化方法。（本文会不断补充） 正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，经常会导致overfitting（过拟合）
分类：
其他好文 时间：
2016-03-12 14:48:24
阅读次数：
1173
