本系列文章都是关于UFLDL Tutorial的学习笔记Neural Networks
对于一个有监督的学习问题，训练样本输入形式为(x(i),y(i))。使用神经网络我们可以找到一个复杂的非线性的假设h(x(i))可以拟合我们的数据y(i)。我们先观察一个神经元的机制：
每个神经元是一个计算单元，输入为x1,x2,x3，输出为：
其中f()是激活函数，常用的激活函数是S函数：
S函数的形状如下，它...
分类：
Web程序 时间：
2016-06-02 14:26:24
阅读次数：
524
这个是实现卷积的基类。
base_conv_layer.hpp
#ifndef CAFFE_BASE_CONVOLUTION_LAYER_HPP_
#define CAFFE_BASE_CONVOLUTION_LAYER_HPP_
#include
#include "caffe/blob.hpp"
#include "caffe/layer.hpp"
#include "caffe...
分类：
其他好文 时间：
2016-06-02 13:58:43
阅读次数：
222
台大林轩田·机器学习基石记要昨天开始看林轩田的机器学习基石，从今天起开始去粗取精
本文在差不多是随堂笔记，可读性不好。。第一讲比较基础，一些概念自己早已经理解了，所以不再做笔记，有点印象的是讲到了ML、DL、AI的一些联系与区别，ML主要是想从数据中学习/逼近一个理想的函数f(x)第二讲讲到了PLA，感知器学习算法，并且证明了线性可分时感知器收敛定理（与Haykin的Neural Networks...
分类：
其他好文 时间：
2016-06-02 13:54:14
阅读次数：
1817
linear classification上节中简单介绍了图像分类的概念，并且学习了费时费内存但是精度不高的knn法，本节我们将会进一步学习一种更好的方法，以后的章节中会慢慢引入神经网络和convolutional neural network。这种新的算法有两部分组成：
1. 评价函数score function，用于将原始数据映射到分类结果
2. 损失函数loss function， 用于定...
分类：
Web程序 时间：
2016-05-27 12:17:33
阅读次数：
368
Cost Function and BackpropagationCost Function
假设有样本m个。x(m)x^{(m)}表示第m个样本输入，y(m)y^{(m)}表示第m个样本输出，LL表示网络的层数，sls_l表示在ll层下，神经但愿的总个数（不包括偏置bias units），SLS_L表示输出单元的个数
当遇到二分问题时，SL=1，y=0or1S_L=1，y=0 or 1，...
分类：
Web程序 时间：
2016-05-23 15:30:45
阅读次数：
326
A guide to convolution arithmetic for deep learning 的原文链接地址：http://pan.baidu.com/s/1pKUd5vP 以下内容是自己的理解和翻译，其中有错误的地方希望大家指正。同时很乐意与大家进行讨论。 未完待续...... ...
分类：
编程语言 时间：
2016-05-15 18:12:50
阅读次数：
2803
具体请参考：http://lab.fs.uni-lj.si/lasin/wp/IMIT_files/neural/nn05_narnet/ ...
分类：
Web程序 时间：
2016-05-13 21:56:58
阅读次数：
889
因为本人数学水平比较差劲，所以看东西要求通俗易懂，下面记录的资源都是自己觉得讲解的比较容易理解的，供大家参考，同时也为自己回头复习， 1、细说卷积神经网络 2、循环神经网络(RNN, Recurrent Neural Networks)介绍 ...
分类：
其他好文 时间：
2016-05-13 08:56:05
阅读次数：
170
一、学习清单
1、综合类
(1)收集了各种最新最经典的文献，神经网络的资源列表：https://github.com/robertsdionne/neural-network-papers 里面包含了深度学习领域经典、以及最新最牛逼的算法，如果把这个列表学过一遍，基本已然达到了大神级别。
(2)机器学习学习清单：https://github.com/ujjwalkarn/Machine-L...
分类：
其他好文 时间：
2016-05-13 04:30:20
阅读次数：
140
“Xavier”初始化方法是一种很有效的神经网络初始化方法，方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》，可惜直到近两年，这个方法才逐渐得到更多人的应用和认可。为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等。基于这个目标，现在我们就去推导一下：每一层的权...
分类：
其他好文 时间：
2016-05-13 04:15:31
阅读次数：
591
