SGD, BGD初步描述 （原文来自：http://blog.csdn.net/lilyth_lilyth/article/details/8973972，@熊均达@SJTU 做出解释及说明） 梯度下降（GD）是最小化风险函数、损失函数（注意Risk Function和Cost Function在本... ...
分类：
其他好文 时间：
2016-10-19 07:40:19
阅读次数：
195
一、参数更新策略 1.SGD 也就是随机梯度下降，最简单的更新形式是沿着负梯度方向改变参数（因为梯度指向的是上升方向，但是我们通常希望最小化损失函数）。假设有一个参数向量x及其梯度dx，那么最简单的更新的形式是： x += - learning_rate * dx 其中learning_rate是一 ...
分类：
其他好文 时间：
2016-08-14 14:26:50
阅读次数：
683
本文是专栏文章（SpringMVC深度探险）系列的文章之一，博客地址为：http://downpour.iteye.com/blog/1341459。 在上一篇文章中，我们给出了构成SpringMVC应用程序的三要素以及三要素的设计过程。让我们来归纳一下整个设计过程中的一些要点： SpringMVC ...
分类：
编程语言 时间：
2016-08-07 20:07:00
阅读次数：
301
本文是专栏文章（SpringMVC深度探险）系列的文章之一，博客地址为：http://downpour.iteye.com/blog/1389285。 在上一篇文章中，我们从DispatcherServlet谈起，最终为读者详细分析了SpringMVC的初始化主线的全部过程。整个初始化主线的研究，其 ...
分类：
编程语言 时间：
2016-08-07 20:04:46
阅读次数：
220
本文是专栏文章（SpringMVC深度探险）系列的文章之一，博客地址为：http://downpour.iteye.com/blog/1330596。 对于任何事物的研究，总是由表及里、由浅入深地进行。在本系列的第二篇文章中，我们将通过不同的观察视角，对SpringMVC做一些概要性的分析，帮助大家 ...
分类：
编程语言 时间：
2016-08-07 20:01:28
阅读次数：
222
本文是专栏文章（SpringMVC深度探险）系列的文章之一，博客地址为：http://downpour.iteye.com/blog/1330537 在我们熟知的建立在三层结构（表示层、业务逻辑层、持久层）基础之上的J2EE应用程序开发之中，表示层的解决方案最多。因为在表示层自身的知识触角很多，需要 ...
分类：
编程语言 时间：
2016-08-07 19:58:41
阅读次数：
250
逻辑回归常用于分类问题，最简单诸如二分类问题：是否是垃圾邮件？比赛是赢是输？ 对于线性回归问题， z = w0*x0+w1*x1+w2*x2+... 一般的通过最小二乘法学习参数w来预测给定一个x值时z的大小，其值域在(-∞,+∞)，而对于分类问题，显然预测值是离散的，通过引入S函数先将值域y缩小到 ...
分类：
其他好文 时间：
2016-07-07 19:16:56
阅读次数：
921
对数据集movie ml-100k 有用户，电影，评分，时间戳四个数据字段， 以用户-电影组成的评分矩阵R，可以用SVD方法转化成两个因子矩阵P,Q ，用两个因子的乘积R'来作为原先矩阵的近似，R由于用户看的电影数目及一个电影所能吸引用户的数量，决定了R是稀疏的，然而R'是R的近似，相对于R是稠密的 ...
分类：
其他好文 时间：
2016-07-07 01:01:12
阅读次数：
446
Deep learning中的优化方法
三种常见优化算法：SGD（随机梯度下降），LBFGS（受限的BFGS），CG（共轭梯度法）。
1.SGD（随机梯度下降）
随机梯度下降(Stochastic Gradient Descent, SGD)是随机和优化相结合的产物，是一种很神奇的优化方法，属于梯度下降的一种，适用于大规模问题。
...
分类：
其他好文 时间：
2016-06-24 15:36:58
阅读次数：
629
Blob 四維度（N K H W） N : SGD 一次 mini-batch 個數 K : 如果是圖片表示圖片通道數 如果是中間結果 則理解爲 feature map 個數 H、W : 如果是圖片理解爲圖片的高度寬度 如果是feature map理解爲核的寬度及高度 重點包括 個部分： 1、數據成 ...
分类：
其他好文 时间：
2016-06-11 15:53:16
阅读次数：
134
