码迷,mamicode.com
首页 >  
搜索关键字:downpour sgd    ( 229个结果
【原创】batch-GD, SGD, Mini-batch-GD, Stochastic GD, Online-GD -- 大数据背景下的梯度训练算法
机器学习中梯度下降(Gradient Descent, GD)算法只需要计算损失函数的一阶导数,计算代价小,非常适合训练数据非常大的应用。梯度下降法的物理意义很好理解,就是沿着当前点的梯度方向进行线搜索,找到下一个迭代点。但是,为什么有会派生出 batch、mini-batch、online这些GD...
分类:编程语言   时间:2015-06-06 19:23:07    阅读次数:237
【转】Struts2的线程安全 和Struts2中的设计模式----ThreadLocal模式
【转】Struts2的线程安全 和Struts2中的设计模式----ThreadLocal模式博客分类:企业应用面临的问题java并发编程Struts2的线程安全ThreadLocal模式Struts2调用流程转载自http://downpour.iteye.com/blog/1335991Stru...
分类:编程语言   时间:2015-04-21 12:42:47    阅读次数:241
梯度下降法
f:\python_workspace\SGD>python gd.py [ 5.68071667 -21.54721046] [ 4.54457333 -17.23776836] [ 3.63565867 -13.79021469] [ 2.90852693 -11.03217175] [ 2.32682155 -8.8257374 ] [ 1.86145724 -7.060...
分类:其他好文   时间:2015-03-15 22:59:39    阅读次数:155
2015-2-11 log
Finish the sequence to sequence learning feed forward and backward function. TODO: SGD, outter loop and gradient check functions.In afternoon I had a ...
分类:其他好文   时间:2015-02-12 00:36:04    阅读次数:201
随机梯度下降的技术细节
本文是关于用SGD解如下四个问题\begin{align*} \mbox{SVM}: & \ \ \min_{\boldsymbol{w}} \ \frac{\lambda}{2} \|\boldsymbol{w}\|_2^2 + \frac{1}{M} \sum_{m=1}^M \max (0.....
分类:其他好文   时间:2015-01-28 06:08:01    阅读次数:167
Caffe中的优化方法
在Deep Learning中,往往loss function是非凸的,没有解析解,我们需要通过优化方法来求解。Caffe通过协调的进行整个网络的前向传播推倒以及后向梯度对参数进行更新,试图减小损失。  Caffe已经封装好了三种优化方法,分别是Stochastic Gradient Descent (SGD), AdaptiveGradient (ADAGRAD), and Nesterov’...
分类:其他好文   时间:2015-01-21 09:06:32    阅读次数:1047
[DL] CNN源码分析
在Hinton的教程中, 使用Python的theano库搭建的CNN是其中重要一环, 而其中的所谓的SGD - stochastic gradient descend算法又是如何实现的呢? 看下面源码(篇幅考虑只取测试模型函数, 训练函数只是多了一个updates参数): 3 classi...
分类:其他好文   时间:2014-12-01 10:02:51    阅读次数:336
sql2000 还原BAK文件
restore database SGD from disk='C:\20141023.bak' --c:\a.bak是备份文件名 with move 'AIS20050620140226_Data' to 'c:\SGD.mdf' --将sxt_d...
分类:数据库   时间:2014-10-30 11:37:22    阅读次数:179
Factorization Machines 学习笔记(一)预测任务
最近学习了一种叫做 Factorization Machines(简称 FM)的通用算法,它可对任意的实值向量进行预测。其主要优点包括: 1) 可用于高度稀疏数据场景; 2) 具有线性的计算复杂度。本文将对 FM 框架进行简单介绍,并对其训练算法 — 随机梯度下降(SGD) 法和交替最小二乘法(ALS)法进行详细推导。...
分类:系统相关   时间:2014-10-28 12:21:35    阅读次数:333
Factorization Machines 学习笔记(二)模型方程
最近学习了一种叫做 Factorization Machines(简称 FM)的通用算法,它可对任意的实值向量进行预测。其主要优点包括: 1) 可用于高度稀疏数据场景; 2) 具有线性的计算复杂度。本文将对 FM 框架进行简单介绍,并对其训练算法 — 随机梯度下降(SGD)法和交替最小二乘(ALS)法进行详细推导。...
分类:系统相关   时间:2014-10-28 12:21:25    阅读次数:371
229条   上一页 1 ... 20 21 22 23 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!