在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分布式坐标下降法）的算法框架、收敛性理论、...
分类：
其他好文 时间：
2014-06-29 07:38:26
阅读次数：
350
回顾一些参数估计的方法，包括梯度下降算法和牛顿法及其扩展梯度下降算法(Gradient
Descent, GD)目的是优化参数，使得估计值与真实值的误差最小。试用于优化目标形式为:其中表示特征权重，表示样本的以维特征描述，为样本。1,
批梯度下降算法(batch gradient decent, B...
分类：
其他好文 时间：
2014-06-12 15:20:17
阅读次数：
526
Logistic回归主要用于医学中对流行病分析，或者对某种疾病的危险因素分析。通常用于二分类，也就是说因变量
只有两个，当然也可以用于多分类。
Logistic回归的理论内容上篇文章已经讲述过，在求解参数时可以用牛顿迭代，可以发现这种方法貌似
太复杂，今天我们介绍另一种方法，叫梯度下降。当然求最小值就是梯度下降，而求最大值相对就是梯度上升。
在Logistic回归中，由于，如果...
分类：
其他好文 时间：
2014-06-03 00:06:19
阅读次数：
353
1.在高纬度大数量的数据情况下，用线性+松弛因子做SVM效果是很不错的2.在高纬度大数量的情况下，一般用批量梯度下降做计算效果会很好3.在低纬度大数量的情况下，可以用牛顿法来求解，一般迭代两三次就好了4.有个叫Le
BOTTON 的人，对常用目标函数的SGD公式做了很好的推导5.有一个响亮求导的书叫...
分类：
其他好文 时间：
2014-06-02 08:07:18
阅读次数：
250
本栏目来源于Andrew NG老师讲解的Machine
Learning课程，主要介绍大规模机器学习以及其应用。包括随机梯度下降法、维批量梯度下降法、梯度下降法的收敛、在线学习、map
reduce以及应用实例：photo OCR。课程地址为：https://www.coursera.org/cou...
分类：
移动开发 时间：
2014-05-18 00:36:57
阅读次数：
452
主要内容来自stanford Andrew Ng视频课程的总结。讲的很好，还有对应的习题，课程可以在下面网站搜索到。
https://www.coursera.org/
机器学习的目的是在训练数据的基础上得出一个模型，该模型对于给定的输入x，给出相应的输出y。用公式表示就是：y = h(x)。注意x表示一维向量，x={x1,x2,x3...}。这里的xi也就是特征（featur...
分类：
其他好文 时间：
2014-05-15 08:20:58
阅读次数：
366
mert主要运用于机器翻译的参数调节过程中。由于目前主流的机器翻译模型多为log-linear模型，在log-linear模型中，有很多参数weights，对于每一个特征，都有与之对应的weight。如何调节这些weights，才能获取更好的翻译结果呢？Och提出了mert——最小错误率训练的方法用于调节参数。
其实在Och之前就有参数调节的方法，他们优化的目标多为翻译结果的最大翻译概率，采用的方法多为梯度下降、Powell搜索等，由于目标函数的特性，这些方法都能够搜索到最优的结果。
但是这些方法有一个...
分类：
其他好文 时间：
2014-05-09 01:53:18
阅读次数：
459
最近在搞论文，需要用梯度下降算法求解，所以重新整理分享在这里。主要包括梯度介绍、公式求导、学习速率选择、代码实现。
梯度下降的性质：
1.求得的解和选取的初始点有关
2.可以保证找到局部最优解，因为梯度最终会减小为0，即步长会自动越来越小。
梯度简介
一个多元函数的在某点的梯度方向是函数值在该点增长最快的方向，即方向导数取最大值的方向。
问题描述公式求导学习率选择
假...
分类：
其他好文 时间：
2014-05-07 07:05:49
阅读次数：
287
梯度下降法是求解无约束最优化问题的一种常用方法。实现简单，代码如下。 1 # -*-
coding: utf8 -*- 2 3 delta = 0.00001 4 5 # f = x^2 + y^2 6 my_function = lambda
point : point[0] ** 2 + p.....
分类：
其他好文 时间：
2014-05-01 03:14:54
阅读次数：
267
