background:rgba(0,0,0,0.5);filter: progid:DXImageTransform.Microsoft.gradient(startcolorstr=#7F000000,endcolorstr=#7F000000); ...
分类：
其他好文 时间：
2016-04-01 23:21:20
阅读次数：
249
梯度下降实用技巧II之学习率 Gradient descent in practice II -- learning rate
梯度下降算法中的学习率（learning rate）很难确定，下面介绍一些寻找的实用技巧。首先看下如何确定你的梯度下降算法正在正常工作：一般是要画出代价函数 和迭代次数之间的图像，如下图所示。如果随着迭代次数的增加不断下降，那么说明梯度下降算法工作的很好，当到达...
分类：
其他好文 时间：
2016-04-01 18:44:54
阅读次数：
235
课程主页：http://cs231n.stanford.edu/Introduction to neural networks-Training Neural Network_______________________________________________________________... ...
分类：
Web程序 时间：
2016-03-31 21:39:29
阅读次数：
307
net定义网络， 整个网络中含有很多layers， net.cpp负责计算整个网络在训练中的forward, backward过程， 即计算forward/backward 时各layer的gradient。
看一下官网的英文描述：
The forward and backward passes are the essential computations of a
Net.
L...
分类：
Web程序 时间：
2016-03-27 01:57:43
阅读次数：
2786
原文链接：http://sebastianruder.com/optimizing-gradient-descent
博文地址：
梯度下降是最流行的优化算法之一并且目前为止是优化神经网络最常见的算法。与此同时，每一个先进的深度学习库都包含各种算法实现的梯度下降（比如lasagne's, caffe's,
和 keras'的文档）。然而，这些算法经常作为黑盒优化程序使用，所以难以感受...
分类：
编程语言 时间：
2016-03-26 07:54:03
阅读次数：
2330
使用滤镜功能 filter:progid:DXImageTransform.Microsoft.gradient(startColorstr=#BF000000,endColorstr=#BF000000); 我们需要留意的是StartColorStr和EndColorStr的值，前两位是十六进制的
分类：
其他好文 时间：
2016-03-20 19:22:21
阅读次数：
112
In the last chapter we saw how neural networks can learn their weights and biases using the gradient descent algorithm. There was, however, a gap in o
分类：
编程语言 时间：
2016-03-20 14:21:05
阅读次数：
367
BP算法很难调试，一般情况下会隐隐存在一些小问题，比如（off-by-one error），即只有部分曾德权重得到训练，或者忘记计算bais unit，这虽然会得到一个正确的结果，但效果差于准确BP得到的结果。 有了cost function，目标是求出一组参数W，b，这里以表示，cost func
分类：
Web程序 时间：
2016-03-20 11:37:20
阅读次数：
135
http://www.cnblogs.com/fanyf/archive/2012/12/20/2826483.html
分类：
其他好文 时间：
2016-03-16 12:25:07
阅读次数：
744
前段时间整理了CSS3中的渐变Gradient、透明度RGBA、边框圆角box-radius三个新属性的使用方法，这几次继续整理了有关于CSS3的text-shadow的使用方法。今天特意花了点时间贴上来与有共同爱好的朋友一起分享这个新属性的应用。 text-shadow还没有出现时，大家在网页设计
分类：
Web程序 时间：
2016-03-16 12:04:40
阅读次数：
282
