在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分布式坐标下降法）的算法框架、收敛性理论、...
分类：
其他好文 时间：
2014-06-29 07:38:26
阅读次数：
350
Log-Linear 模型（也叫做最大熵模型）是 NLP 领域中使用最为广泛的模型之一，其训练常采用最大似然准则，且为防止过拟合，往往在目标函数中加入（可以产生稀疏性的） L1 正则。但对于这种带 L1 正则的最大熵模型，直接采用标准的随机梯度下降法（SGD）会出现效率不高和难以真正产生稀疏性等问题。本文为阅读论文 Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty...
分类：
其他好文 时间：
2014-06-19 12:01:04
阅读次数：
286
回顾一些参数估计的方法，包括梯度下降算法和牛顿法及其扩展梯度下降算法(Gradient
Descent, GD)目的是优化参数，使得估计值与真实值的误差最小。试用于优化目标形式为:其中表示特征权重，表示样本的以维特征描述，为样本。1,
批梯度下降算法(batch gradient decent, B...
分类：
其他好文 时间：
2014-06-12 15:20:17
阅读次数：
526
Fort.js 是表单填写进度提示效果的 JavaScript 库，使用非常简单。
提供了Default、Gradient、Sections 以及 Flash 四种效果...
分类：
Web程序 时间：
2014-06-08 08:17:28
阅读次数：
340
Fort.js 是一款用于时尚、现代的表单填写进度提示效果的 JavaScript
库，你需要做的就是添加表单，剩下的任务就交给 Fort.js 算法了，真的非常简单。提供了Default、Gradient、Sections 以及 Flash
四种效果，满足开发的各种场合需要。
分类：
Web程序 时间：
2014-06-06 06:44:18
阅读次数：
490
1.梯度上升优化1).
伪代码：所有回归系数初始化为1-------------------weights = ones((colNum,1))重复r次：
计算整个数据集的梯度gradient 使用alpha*gradient更新回归系数的向量 返回回归系数weights2). 迭代r次的代码...
分类：
其他好文 时间：
2014-06-02 18:11:41
阅读次数：
271
使用gradient的地方有：background-imageborder-imagelist-style-imagecontent
propertylinear-gradient:语法：Formal grammar: linear-gradient( [ | to ,]? [, ]+ )
...
分类：
Web程序 时间：
2014-05-30 02:56:32
阅读次数：
283
问题：用以下代码为button绘制边框时，如button的height为1会导致button不显示（既没有边框，也没有button本身）。GradientDrawable
gradient = new GradientDrawable(Orientation.BOTTOM_TOP, new int[...
分类：
移动开发 时间：
2014-05-28 22:42:27
阅读次数：
508
引自http://blog.csdn.net/xianlingmao/article/details/7712217Jackknife，Bootstraping,
bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting这些术语，...
