在卷积神经网络中，我们经常会碰到池化操作，而池化层往往在卷积层后面，通过池化来降低卷积层输出的特征向量，同时改善结果（不易出现过拟合）。
为什么可以通过降低维度呢？
因为图像具有一种“静态性”的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值...
分类：
其他好文 时间：
2015-01-06 00:56:15
阅读次数：
339
学习排序算法简介
学习排序（Learning to Rank, LTR）是一类基于机器学习方法的排序算法。
传统经典的模型，例如基于TFIDF特征的VSM模型，很难融入多种特征，也就是除了TFIDF特征之外，就无法融入其他种类的特征了。
而机器学习的方法很容易融合多种特征，而且有成熟深厚的理论基础，参数也是通过迭代计算出来的，有一套成熟理论来解决稀疏、过拟合等问题。
LTR方法大致可以分成三类：
1） Pointwise 单文档方法
2） Pairwise 文档对方法...
分类：
编程语言 时间：
2014-12-24 10:01:56
阅读次数：
350
理解随机森林
随机森林利用随机的方式将许多决策树组合成一个森林，每个决策树在分类的时候投票决定测试样本的最终类别。下面我们再详细说一下随机森林是如何构建的。
随机森林主要包括4个部分：随机选择样本；随机选择特征；构建决策树；随机森林投票分类。...
分类：
其他好文 时间：
2014-12-11 14:11:30
阅读次数：
235
机器学习中的范数规则化之（一）L0、L1与L2范数
zouxy09@qq.com
http://blog.csdn.net/zouxy09
今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。...
分类：
其他好文 时间：
2014-12-10 21:20:55
阅读次数：
3211
当我们成功实现一个机器学习算法并将其用于解决实际问题时，常常会发现它的性能（分类、回归准确度）达不到我们足够满意的状态。在这种情况下，我们有以下六种选项来提高当前算法的性能1 增加training set的数目 这种方法适合模型发生过拟合的情况2 减小feature的数量（使用更少featur...
分类：
编程语言 时间：
2014-12-03 19:01:49
阅读次数：
234
Machine Learning：Neural Network---Representation
Non-Linear Classification
如果还采取简单的线性分类手段，那么会面临着过拟合以及效率低下的问题(如图所示)，然而neural network则可以很好的解决非线性分类问题。
Model representation
第一层称为input la...
分类：
Web程序 时间：
2014-11-18 00:30:10
阅读次数：
290
本文基本按照《统计学习方法》中第一章的顺序来写，目录如下：1. 监督学习与非监督学习2. 统计学习三要素3.过拟合与正则化（L1、L2）4.交叉验证5. 泛化能力6. 生成模型与判别模型7. 机器学习主要问题8. 提问正文：1. 监督学习与非监督学习 从标注数据中学习知识的规律以及训练模型的方法叫....
分类：
其他好文 时间：
2014-11-16 21:18:33
阅读次数：
281
在使用k近邻法进行分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决的方式进行预测。由于k近邻模型的特征空间一般是n维实数向量，所以距离的计算通常采用的是欧式距离。关键的是k值的选取，如果k值太小就意味着整体模型变得复杂，容易发生过拟合，即如果邻近的实例点恰巧是噪声，预测就会出错，极...
分类：
其他好文 时间：
2014-11-15 20:10:25
阅读次数：
420
本节课主要介绍了关于机器学习中的过拟化问题。作者指出，区别一个专业级玩家和业余爱好者的方法之一就是他们如何处理过拟化问题。通过该课程，我们可以知道样本数据的拟合并不是越高越好，因为噪声的存在将使得过拟化问题的出现。最后简介了处理过拟合的两种方法。...
分类：
其他好文 时间：
2014-11-07 23:29:28
阅读次数：
273
L0、L1与L2范数、核范数 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在.....
分类：
其他好文 时间：
2014-10-25 21:26:03
阅读次数：
443
