一步了解常见的梯度下降法主要有两种：（1）批量梯度下降法 （2）随机梯度下降法为预测值，要拟合的函数设为，那么误差准则函数为 这是典型的线性回归问题，现在的目的是使得这个误差准则函数的值最小化，可以用如下两种梯度下降法。（1）批量梯度下降法批量梯度下降法需要把个样本全部带入计算，迭代一次计算量为，先...
分类：
编程语言 时间：
2015-08-19 13:01:00
阅读次数：
419
Martin A. Zinkevich 等人（Yahoo。Lab）合作的论文 Parallelized Stochastic Gradient Descent 中给出了一种适合于 MapReduce 的并行随机梯度下降法，并给出了对应的收敛性分析。这里忽略理论部分。依据自己的理解给...
分类：
其他好文 时间：
2015-07-13 13:35:01
阅读次数：
185
关注了Q18~Q20三道编程作业题。这三道题都与Logistic Regression相关。Q18~19是用全量梯度下降实现Logistic Regression；Q20要求用随机梯度下降实现Logistic Regression。这三题的代码都何在一个py文件中了。个人觉得，这道题的程序设计，完全...
分类：
其他好文 时间：
2015-06-28 16:49:11
阅读次数：
266
感知机算法属于比较简单的分类器算法，但是跟逻辑回归和支持向量机一样属于构建分类超平面。
不同的是感知机采用分错的样本与分类超平面的距离作为损失函数，下面的算法基于随机梯度下降法，采用异步方式达到收敛状态
function [w,b]=perceptionLearn(x,y,learningRate,maxEpoch)
% Perception Learn Algorithm
% x...
分类：
编程语言 时间：
2015-06-19 23:06:59
阅读次数：
1995
代码： 1 import numpy as np 2 import csv 3 import math as mt 4 5 def hypo(tt,xx): #hypothesis函数 6 exp=mt.e 7 tmp=0.0 8 for i in range...
分类：
其他好文 时间：
2015-06-14 18:11:23
阅读次数：
141
随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比分类：梯度下降最优化2013-05-25 21:2122978人阅读评论(16)收藏举报梯度下降最优化迭代梯度下降（GD）是最小化风险函数、损失...
分类：
其他好文 时间：
2015-05-21 12:07:43
阅读次数：
156
隐语义模型：物品 表示为长度为k的向量q（每个分量都表示 物品具有某个特征的程度）用户兴趣 表示为长度为k的向量p（每个分量都表示 用户对某个特征的喜好程度）用户u对物品i的兴趣可以表示为 其损失函数定义为- 使用随机梯度下降，获得参数p,q负样本生成：对于只有正反馈信息（用户收藏了，关注了...
分类：
其他好文 时间：
2015-04-09 23:26:50
阅读次数：
476
机器学习Machine Learning - Andrew NG
courses学习笔记
Large Scale Machine Learning大规模机器学习
Learning With Large Datasets大数据集学习
Stochastic Gradient Descent随机梯度下降
Mini-Batch Gradient Descent迷你批处理梯度下降...
分类：
系统相关 时间：
2015-04-06 20:20:23
阅读次数：
220
感知机是古老的统计学习方法，主要应用于二类线性可分数据，策略是在给定的超平面上对误差点进行纠正，从而保证所有的点都是正确可分的。用到的方法是随机梯度下降法，由于是线性可分的，可保证最终在有限步内收敛。具体可参考李航的《统计学习方法》#include#include#include#includeus...
分类：
编程语言 时间：
2015-03-17 23:16:25
阅读次数：
244
上篇文章中，我们获得了人脸的各种表情模式，也就是一堆标注点的形变参数。这次我们需要训练一个人脸特征描述结构，它能够对人脸的不同部位(即“标注点”)分别进行描述，作为后面人脸跟踪、表情识别的区分依据。本次博文的主要内容：
a. 介绍下人脸特征检测器大概有哪些类别
b. 详细介绍随机梯度法，并介绍在人脸团块特征提取时的应用
c. 为了提高训练/跟踪的健壮性，利用上一...
分类：
其他好文 时间：
2015-02-28 23:06:17
阅读次数：
605
