前言：最近学习深度学习，有感写一点总结。
我们常常所说的神经网络，一般是指原始的多层感知机，简称MLP，它是在原始感知机堆叠多层而成的，MLP完全由全连接层组成（当然也有激活函数），即Caffe里的IP层。MLP的最大的缺点在于参数众多，比如说我们的网络层为1000--1000--500--20，那么它的总的参数为：1000*1000+1000*500+500*20. 参数过多不好训练，...
分类：
其他好文 时间：
2014-12-04 06:27:32
阅读次数：
295
以前用Caffe用的好好的，今天重装后居然报了很多这样的错误/usr/lib/libopencv_highgui.so.2.4: undefined reference to TIFFRGBAImageOK@LIBTIFF_4.0' 1> /usr/lib/libopencv_highgui.so....
分类：
其他好文 时间：
2014-12-03 21:06:58
阅读次数：
222
自今年七月份以来，一直在实验室负责卷积神经网络（Convolutional Neural Network，CNN），期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用，特写此博文，以其与人交流，互有增益。正文之前，先说几点自己对于CNN的感触。先明确一点就是，Deep Learning是全部深度学习算法的总称，CNN是深度学习算法在图像处理领域的一个应用。
第一点，在学习Deep learning和CNN之前，总以为它们是很了不得的知识，总以为它们...
分类：
其他好文 时间：
2014-11-29 17:37:54
阅读次数：
249
稀疏自编码器的学习结构:稀疏自编码器Ⅰ：神经网络反向传导算法梯度检验与高级优化稀疏自编码器Ⅱ：自编码算法与稀疏性可视化自编码器训练结果Exercise: Sparse Autoencoder自编码算法与稀疏性已经讨论了神经网络在有监督学习中的应用，其中训练样本是有类别标签的（x_i，y_i）。自编码...
分类：
其他好文 时间：
2014-11-28 21:22:29
阅读次数：
588
本文是论文Deep Learning Face Representation by Joint Identification-Verification的阅读笔记。
这篇论文使用deep learning学习特征，使用联合贝叶斯模型作为分类器，选取七组特征分别训练分类器，得到的结果使用SVM进行组合，得到的最终模型在LFW（Labeled Face in the Wild）数据集上的人脸验证任务中，达到了99.15%的准确率，目前排名第一。...
分类：
其他好文 时间：
2014-11-26 01:27:52
阅读次数：
282
在上一篇《DeepLearning 的挑战： Extreme Learning Machine（超限学习机）？》 中介绍了一些ELM与DL 的一些比较，这篇主要介绍ELM的原理。
首先，ELM的核心就是将复杂的迭代过程转变为隐层参数随机产生。
其次，ELM 是一个神经网络，有输入层、隐藏层，输出层。
最后，ELM 的多分类效果优于SVM。
对于训练样本集{xi,ti} i=1-N,...
分类：
其他好文 时间：
2014-11-25 12:48:37
阅读次数：
226
来自 http://www.valleytalk.org/wp-content/uploads/2014/11/深度学习的昨天、今天和明天.pdf
分类：
其他好文 时间：
2014-11-24 12:10:13
阅读次数：
200
CuDNN是专门针对Deep Learning框架设计的一套GPU计算加速方案，目前支持的DL库包括Caffe，ConvNet, Torch7等。CuDNN可以在官网免费获得，注册帐号后即可下载。官网没有找到安装说明，下载得到的压缩包内也没有Readme. 不过google一下就会找到许多说明。基本...
分类：
其他好文 时间：
2014-11-24 11:34:49
阅读次数：
202
首先声明我是一个linux大菜鸟，之所以学这个，一个是好玩，另外做DL的一些软件如Caffe要在这个平台上运行，所以没事就鼓捣鼓捣。linux是一种内核，市场上支持这种内核的操作系统有ubantu，red hat，fedoracore等等。在这些linux发型版本中，ubantu绝对是佼佼者，那么....
官方Tutorial地址：http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/...
分类：
其他好文 时间：
2014-11-20 20:24:03
阅读次数：
289
