这里所谓的自学习，其实就是利用稀疏自编码器对无标签样本学习其特征准备工作（1）下载Yann Lecun的MNIST数据集用到了如下的两个数据集：程序开始第0步：设置神经网络的结构该神经网络包括三层：输入层的神经元个数（数字识别，则设置输入的图像大小）输出端的神经元个数（也就是类别数）隐藏层神经元个数...
分类：
其他好文 时间：
2015-08-27 22:35:50
阅读次数：
220
神经网络模型
简单的神经网络
前向传播
代价函数
对于单个样例 ，其代价函数为：
给定一个包含m个样例的数据集，我们可以定义整体代价函数为：
以上公式中的第一项 是一个均方差项。第二项是一个规则化项（也叫权重衰减项），其目的是减小权重的幅度，防止过度拟合。
反向传播算法
反向传播算法，它是计算偏导数的一种有效方法。
批量梯...
分类：
其他好文 时间：
2015-08-21 15:45:36
阅读次数：
203
此次主要由自我学习过度到深度学习，简单记录如下：
(1)深度学习比浅层网络学习对特征具有更优异的表达能力和紧密简洁的表达了比浅层网络大的多的函数集合。
(2)将传统的浅层神经网络进行扩展会存在数据获取、局部最值和梯度弥散的缺点。
(3)栈式自编码神经网络是由多层稀疏自编码器构成的神经网络(最后一层采用的softmax回归或者logistic回归分类)，采用逐层贪婪的训练方法得到初始的参数，这...
分类：
其他好文 时间：
2015-06-11 14:41:24
阅读次数：
594
最近想研究下深度学习，一开始就看UFLDL(unsuprisedfeature learning and deep learning)教程了，特将课后习题答案放在这里，作为一个笔记。
笔记：
1：自编码算法是一个无监督学习算法，它通过学习hw,b(x) = x,
因此最后的outputlayer单元数与inputlayer单元数量相等，而中间的hiddenlayer可以很大，这是加个稀疏惩罚...
分类：
其他好文 时间：
2015-06-07 21:39:08
阅读次数：
521
今天来做UFLDL的第二个实验，向量化。我们都知道，在matlab里面基本上如果使用for循环，程序是会慢的一逼的（可以说基本就运行不下去）所以在这呢，我们需要对程序进行向量化的处理，所谓向量化就是将matlab里面所有的for循环用矩阵运算的方法实现，在这里呢，因为之前的实验我已经是按照向量化的形...
分类：
其他好文 时间：
2015-05-13 18:35:31
阅读次数：
607
UFLDL即（unsupervised feature learning & deep learning）。这是斯坦福网站上的一篇经典教程。顾名思义，你将在这篇这篇文章中学习到无监督特征学习和深度学习的主要观点。 UFLDL全文出处在这：http://ufldl.stanford.edu/wiki/...
分类：
其他好文 时间：
2015-05-12 22:46:35
阅读次数：
336
我们前面已经讲了如何训练稀疏自编码神经网络，当我们训练好这个神经网络后，当有新的样本输入到这个训练好的稀疏自编码器中后，那么隐藏层各单元的激活值组成的向量就可以代表（因为根据稀疏自编码，我们可以用来恢复），也就是说就是在新的特征下的特征值。每一个特征是使某一个取最大值的输入。假设隐藏层单元有200个...
分类：
其他好文 时间：
2015-02-03 16:48:23
阅读次数：
460
稀疏自编码器的学习结构:稀疏自编码器Ⅰ：神经网络反向传导算法梯度检验与高级优化稀疏自编码器Ⅱ：自编码算法与稀疏性可视化自编码器训练结果Exercise: Sparse Autoencoder自编码算法与稀疏性已经讨论了神经网络在有监督学习中的应用，其中训练样本是有类别标签的（x_i，y_i）。自编码...
分类：
其他好文 时间：
2014-11-28 21:22:29
阅读次数：
588
Self-taught 自我学习器实验报告1.Self-taught 自我学习实验描述 自我学习是无监督特征学习算法，自我学习意味着算法能够从未标注数据中学习，从而使机器学习算法能够获得更大数量的数据，因而更有可能取得更好的性能。在本实验中，我们将按照自我学习的步骤，使用稀疏自编码器和softmax...
分类：
其他好文 时间：
2014-10-17 00:23:43
阅读次数：
371
Sparse Autoencoder稀疏自编码器实验报告1.Sparse Autoencoder稀疏自编码器实验描述 自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值，比如 。自编码神经网络尝试学习一个 的函数。换句话说，它尝试逼近一个恒等函数，从而使得输出 接近于.....
分类：
Web程序 时间：
2014-10-17 00:19:13
阅读次数：
583
