稀疏自编码器效果不错，但是有个固有缺陷：必须对输入数据的范围缩放到(0,1)。
设想一个图像如果不经预处理，直接把大于1的值输入稀疏自编码器，那么被sigmoid一下，就成了（0,1）的范围了，再被sigmoid一下，还是在（0,1）范围。这样残差根本没办法算，因为经过了sigmoid变换之后的数据已经不可能与输入数据相等了。
但是如果我们把第三层，原先的sigmoid函数换成恒等...
分类：
其他好文 时间：
2014-08-16 15:12:00
阅读次数：
302
自我学习就是稀疏编码器串联一个Softmax分类器，上一节看到，训练400次，准确率为98.2%
在此基础上，我们可以搭建我们的第一个深度网络：栈式自编码（2层）+Softmax分类器
简单地说，我们把稀疏自编码器的输出作为更高一层稀疏自编码器的输入。
和自我学习很像，似乎就是新加了一层，但是其实不然：
新技巧在于，我们这里有个微调的过程，让残差从最高层向输入层传递，微调整个网络权重...
分类：
其他好文 时间：
2014-08-16 12:37:40
阅读次数：
220
学习笔记之《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》...
分类：
Web程序 时间：
2014-08-15 17:50:59
阅读次数：
899
linger博客原创性博文导航
http://blog.csdn.net/lingerlanlan
大学研究游戏外挂技术开始了此博客，断断续续写了些博文。后来，开始机器学习和深度学习的研究工作，由于喜欢和热爱，业余时间也经常性学习，并写博文总结。因此，博文越来越多，由于博文是根据时间排序的，看起来有点乱，所以在此处写个导航。
UFLDL学习笔记和编程
ufldl...
分类：
其他好文 时间：
2014-08-15 00:01:26
阅读次数：
372
学习笔记之《Multi-Scale Orderless Pooling of Deep Convolutional Activation Features》...
分类：
其他好文 时间：
2014-08-14 20:48:29
阅读次数：
393
学习笔记之《CNN: Single-label to Multi-label》...
分类：
其他好文 时间：
2014-08-13 19:03:37
阅读次数：
502
自我学习就是把稀疏自编码器与Softmax回归分类器串联起来。
稀疏编码器是用来无监督学习的，使用无标签数据。
Softmax回归分类器是有监督学习，使用标签数据。
实际生活中，我们能轻松获得大量无标签数据（如从网上随机下载海量图片）
难以获得大量有标签数据（有标签的数据库通常不会太大，而且很贵）
如果我们手头上只有少量标签数据，但是有大量的无标签数据，这是就可以采用自我...
分类：
其他好文 时间：
2014-08-13 13:03:36
阅读次数：
493
jQuery 核心 - noConflict() 方法，运行这个函数将变量 $ 的控制权让渡给第一个实现它的那个库。这有助于确保jQuery不会与其他库的$对象发生冲突。 noConflict() 方法源码： noConflict: function( deep ) { i...
分类：
Web程序 时间：
2014-08-13 00:42:54
阅读次数：
258
学习笔记之《Some Improvements on Deep Convolutional Neural Network Based Image Classif ication》...
分类：
Web程序 时间：
2014-08-12 17:20:15
阅读次数：
334
Softmax回归就是推广版本的逻辑回归。
只不过逻辑回归是个2分类问题，而Softmax是多分类问题，仅此而已。
Softmax回归在2分类情况下就蜕化成了逻辑回归。
逻辑回归的代价函数
考虑到权重衰减，修改一下就是Softmax回归的代价函数了
这里的权重衰减项是必须的，因为原先的代价函数不是严格凸函数，有无穷个极小值。现在加了这个权重衰减项，函数变成了严格凸函数。L...
分类：
数据库 时间：
2014-08-12 17:10:34
阅读次数：
502
