参考文章：
A Unified Architecture for Natural Language Processing：Deep Neural Networks with Multitask Learning ICML08
A convolutional neural network for modelling sentences ACL14...
分类：
Web程序 时间：
2015-04-10 22:09:45
阅读次数：
178
Sparse Autoencoder Recap:Because we used a sigmoid activation function for f(z(3)), we needed to constrain or scale the inputs to be in the range [0,1], since the sigmoid function outputs numbers in th...
分类：
其他好文 时间：
2015-04-10 18:02:06
阅读次数：
345
代码参考：http://deeplearning.net/tutorial/lenet.html#lenet
代码学习：http://blog.csdn.net/u012162613/article/details/43225445
本节实验代码下载：Github
2015/4/9
Experiment 1: 使用Tutorial推荐的CNN结构实验
learnin...
分类：
其他好文 时间：
2015-04-09 19:51:45
阅读次数：
413
When should we use fine-tuning?It is typically used only if you have a large labeled training set; in this setting, fine-tuning can significantly improve the performance of your classifier. However, if...
分类：
其他好文 时间：
2015-04-09 09:00:30
阅读次数：
172
最近在复习经典机器学习算法的同时，也仔细看了一些深度学习的典型算法。深度学习是机器学习的“新浪潮”，它的成功主要得益于深度“神经网络模型”的优异效果。这个小系列打算深入浅出地记录一下深度学习中常用的一些算法。第一篇先写一下“受限玻尔兹曼机“RBM。...
分类：
其他好文 时间：
2015-04-06 21:52:38
阅读次数：
346
这是UFLDL的编程练习。Weight decay（Softmax 回归有一个不寻常的特点：它有一个“冗余”的参数集）后的cost function和梯度函数：
cost function：J(θ)=?1m??∑i=1m∑j=1k1{y(i)=j}logeθTjx(i)∑kl=1eθTlx(i)??+λ2∑i=1k∑j=0nθ2ij\begin{align}
J(\theta) = - \frac{...
分类：
其他好文 时间：
2015-04-04 16:47:26
阅读次数：
402
Case 1:
使用推荐的配置
learning_rate = 0.01
L1_reg = 0.00
L2_reg=0.0001
n_epoches=1000
batch_size=20
n_hidden=500
实验结果:
实验耗时：
Case 2:
自己中间加入两个隐含层，分别为400 和 300 个节点。实验配置如下：
learn...
分类：
其他好文 时间：
2015-04-03 19:29:53
阅读次数：
218
这是UFLDL的编程练习。具体教程参照官网。PCAPCA will find the priciple direction and the secodary direction in 2-dimention examples.
then
x~(i)=x(i)rot,1=uT1x(i)∈R.\begin{align}
\tilde{x}^{(i)} = x_{{\rm rot},1}^{(i)}...
分类：
其他好文 时间：
2015-04-03 09:31:01
阅读次数：
326
广度优先搜索(Breadth-First-Search)和深度优先搜索(Deep－First－Search)是搜索策略中最经常用到的两种方法,特别常用于图的搜索.
BFS的思想：
从一个图的某一个顶点V0出发，首先访问和V0相邻的且未被访问过的顶点V1、V2、……Vn，然后依次访问与V1、V2……Vn相邻且未被访问的顶点。如此继续，找到所要找的顶点或者遍历完整个图。我们采用...
分类：
其他好文 时间：
2015-04-01 15:27:10
阅读次数：
211
