卷积神经网络(Convolutional Neural Networks, CNN)
?卷积神经网络是前馈神经网络(BP)的扩展
?1962年Hubel提出的感受野(Receptive Field)概念;
?1980年日本学者Fukushima提出神经认知机(Neocognition)，是卷积神经网络的第一个实现网络，并将其应用于手写体字符识别;
?1988年YannLeCun等提出反向传播算法，极大地推动了卷积神经网络的发展。
?1998年YannLeCun等提出LeNet-5网络结构，并应用于文档识别，...
分类：
其他好文 时间：
2015-01-20 13:44:12
阅读次数：
325
本文禁止任何爬虫爬取!来源：http://www.cnblogs.com/sciencefans/ 一直都持有一个观点，思考是最佳的学习途径（当然信息的获取是必不可少的），就像神经网络里，看书就是训练set的训练，思考则是最重要的求梯度BP的过程。2014年是一个神奇的一年，在这一年中发生了很多事....
分类：
其他好文 时间：
2015-01-20 06:11:37
阅读次数：
191
卡尔曼滤波器简介
近来发现有些问题很多人都很感兴趣。所以在这里希望能尽自己能力跟大家讨论一些力所能及的算法。现在先讨论一下卡尔曼滤波器，如果时间和能力允许，我还希望能够写写其他的算法，例如遗传算法，傅立叶变换，数字滤波，神经网络，图像处理等等。
因为这里不能写复杂的数学公式，所以也只能形象的描述。希望如果哪位是这方面的专家，欢迎讨论更正。
卡尔曼滤波器 – Kalman Fil...
分类：
编程语言 时间：
2015-01-15 09:24:02
阅读次数：
511
最近深度学习如日中天，虽然很强大，但其训练起来却是昂贵的，费时费力。最新发布的GraphLab Create 1.1 及1.2使深度学习变得超级简单。它不需要你自己在选择模型和调参上成为专家，就可以玩转神经网络。基于输入数据，neuralnet_classifier.create()函数会自动选择一个网络架构并设置合理的参数值。其实并非所有问题都得从头开始去训练一个深度模型，通过简单移除已训练好的DNN的输出层，将传播到输出层的信号作为特征喂给任何一种分类器便可完成我们的一些分类任务。...
分类：
其他好文 时间：
2015-01-12 11:04:23
阅读次数：
267
一．问题：1.Svm是什么2.什么是支持向量3.什么是最优间隔分类法4.最优间隔分类法与最小二乘、最大似然法的比較5.什么是拉格朗日6.什么是对偶7.为什么要做对偶8.什么是KKT条件9.为什么满足KKT条件强对偶成立10.Svm怎样解决非线性问题？神经网络呢？11.什么是核函数12.Svm怎样面对...
分类：
其他好文 时间：
2015-01-11 10:58:19
阅读次数：
715
在有监督学习中，训练样本是有类别标签的。现在假设我们只有一个没有带类别标签的训练样本集合 ，其中 。自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值，比如 。下图是一个自编码神经网络的示例。通过训练，我们使输出 接近于输入 。当我们为自编码神经网络加入某些限制，比如限定...
分类：
编程语言 时间：
2015-01-07 23:22:05
阅读次数：
1196
聚类是一种无监督的学习（无监督学习不依赖预先定义的类或带类标记的训练实例），它将相似的对象归到同一个簇中，它是观察式学习，而非示例式的学习，有点像全自动分类。说白了，聚类（clustering）是完全可以按字面意思来理解的——将相同、相似、相近、相关的对象实例聚成一类的过程。机器学习中常见的聚类算法包括 k-Means算法、期望最大化算法（Expectation Maximization，EM，参考“EM算法原理”）、谱聚类算法（参考机器学习算法复习-谱聚类）以及人工神经网络算法，本文阐述的是K-均值聚类算...
分类：
编程语言 时间：
2015-01-07 16:49:33
阅读次数：
245
前段时间一直在关注 CNN 的实现，查看了 caffe 的代码以及 convnet2 的代码。目前对单机多卡的内容比较感兴趣，因此特别关注 convnet2 关于 multi-GPU 的支持。
其中 cuda-convnet2 的项目地址发布在：Google Code：cuda-convnet2
关于 multi-GPU 的一篇比较重要的论文就是：One weird trick for parallelizing convolutional neural networks
本文也将针对这篇文章给出分析。...
分类：
Web程序 时间：
2015-01-06 11:54:57
阅读次数：
234
在卷积神经网络中，我们经常会碰到池化操作，而池化层往往在卷积层后面，通过池化来降低卷积层输出的特征向量，同时改善结果（不易出现过拟合）。
为什么可以通过降低维度呢？
因为图像具有一种“静态性”的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值...
分类：
其他好文 时间：
2015-01-06 00:56:15
阅读次数：
339
第一眼看到逻辑回归（Logistic Regression）这个词时，脑海中没有任何概念，读了几页后，发现这非常类似于神经网络中单个神经元的分类方法。书中逻辑回归的思想是用一个超平面将数据集分为两部分，这两部分分别位于超平面的两边，且属于两个不同类别（和SVM的想法有些相似），如下图：因此，一般的逻...
分类：
其他好文 时间：
2015-01-05 21:47:02
阅读次数：
553
