前言: 最近打算稍微系统的学习下deep learing的一些理论知识，打算采用Andrew Ng的网页教程UFLDL Tutorial，据说这个教程写得浅显易懂，也不太长。不过在这这之前还是复习下machine learning的基础知识，见网页：http://openclassroom.stan... ...
分类：
其他好文 时间：
2016-07-04 11:31:27
阅读次数：
108
对于深度学习，新手我推荐先看UFLDL，不做assignment的话，一两个晚上就可以看完。而cs231n这个是一个完整的课程，内容就多了点，虽然说课程是computer vision的，但80%还是深度学习的内容。这门课基本上完了，做了些笔记。感觉相当赞，推荐大家也学习。...
分类：
其他好文 时间：
2016-07-03 07:06:36
阅读次数：
285
最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总 ...
分类：
其他好文 时间：
2016-06-30 17:52:03
阅读次数：
514
http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=MachineLearning http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial http ...
分类：
其他好文 时间：
2016-06-04 00:26:30
阅读次数：
238
本系列文章都是关于UFLDL Tutorial的学习笔记Neural Networks
对于一个有监督的学习问题，训练样本输入形式为(x(i),y(i))。使用神经网络我们可以找到一个复杂的非线性的假设h(x(i))可以拟合我们的数据y(i)。我们先观察一个神经元的机制：
每个神经元是一个计算单元，输入为x1,x2,x3，输出为：
其中f()是激活函数，常用的激活函数是S函数：
S函数的形状如下，它...
分类：
Web程序 时间：
2016-06-02 14:26:24
阅读次数：
524
前面几章已经介绍了神经网络的结构、数据初始化、激活函数、损失函数等问题，现在我们该讨论如何让神经网络模型进行学习了。1 梯度检验权重的更新梯度是否正确决定着函数是否想着正确的方向迭代，在UFLDL中我们提到过，计算时梯度公式如果计算错误是不容被察觉的，我们需要比较分析法得到梯度与数值法得到的梯度是否相似，下面是一些技巧：1.1 centered formula高等数学中我们知道导数的近似公式：
d...
分类：
其他好文 时间：
2016-05-30 15:16:30
阅读次数：
354
重点分析了普通bp网络梯度弥散等不稳定现象，建立了分类用自编码深度网络。...
分类：
其他好文 时间：
2016-05-12 12:05:47
阅读次数：
357
摘自UFLDL教程，链接：http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B 一. 概述 以监督学习为例，假设我们有训练样本集 ，那么神经网络算法能够提供一种复杂且非线性的假设模型 ，它具有参数 ，可以以此参 ...
分类：
其他好文 时间：
2016-05-08 19:34:26
阅读次数：
461
所谓softmax regression 是在logistic regression基础上的升级版。
logistics是二分类，而softmax可以多分类。1 logistic regression学习softmax regression之前 我们先回归一下 logistic regression的相关知识。
（参见http://blog.csdn.net/bea_tree/article/d...
分类：
其他好文 时间：
2016-05-06 16:15:13
阅读次数：
129
这是一篇学习UFLDL反向传导算法的笔记，按自己的思路捋了一遍，有不对的地方请大家指点。首先说明一下神经网络的符号：
1. nln_l 表示神经网络的层数。
2. sls_l 表示第 ll 层神经元个数，不包含偏置单元。
3. z(l)iz_i^{(l)} 表示第 ll 层第 ii 个神经元的输入；a(l)ia_i^{(l)} 表示第 ll 层第 ii 个神经元的输出。
4. W(l)ijW...
分类：
编程语言 时间：
2016-05-06 15:21:22
阅读次数：
274
