一、要理解GBDT当然要从GB(Gradient Boosting)和DT(Decision Tree)两个角度来理解了；
二、GB其实是一种理念，他并不是这一个具体的算法，意思是说沿着梯度方向，构造一系列的弱分类器函数，并以一定权重组合起来，形成最终决策的强分类器；注意，这里的梯度下降法是在函数空间中通过梯度下降法寻找使得LOSS最小的一个函数，区别于传统的梯度下降法选择一个方向；那么问题就来...
分类：
其他好文 时间：
2015-02-10 18:48:53
阅读次数：
410
再理解RankNet算法
前面的一篇博文介绍了学习排序算法（Learning to Rank）中的RankNet算法。如下：
http://blog.csdn.net/puqutogether/article/details/42124491
那次的入门对其中的算法流程和基本原理没有深入了解，这次看自动摘要提取算法的时候，里面有一个排序单元，使用到的...
分类：
编程语言 时间：
2015-02-09 11:04:55
阅读次数：
334
看最优化的文章时总能看到牛顿法和梯度下降法等基础算法，这里对牛顿法做个总结。
牛顿法一般的用途有：1、求方程的根；2、求极值
求方程的根
并不是所有的方程都有求根公式，或者求根公式很复杂，导致求解困难。利用牛顿法，可以迭代求解。
原理是利用泰勒公式，在x0处展开，且展开到一阶，即f(x) = f(x0)+(x－x0)f'(x0)
求解方程f(x)=0，即f(x0)+(x-x0)*f'(x...
分类：
其他好文 时间：
2015-02-02 00:47:18
阅读次数：
232
下面是一个典型的机器学习的过程，首先给出一个输入数据，我们的算法会通过一系列的过程得到一个估计的函数，这个函数有能力对没有见过的新数据给出一个新的估计，也被称为构建一个模型。就如同上面的线性回归函数。我们用X1，X2..Xn 去描述feature里面的分量，比如x1=房间的面积，x2=房间的朝向，等...
分类：
其他好文 时间：
2015-01-31 14:25:36
阅读次数：
191
Regularization能在一定程度上减少过拟合 在线性回归中，J(θ)修改为： 在逻辑回归中，J(θ)修改为： 不管是线性回归还是逻辑回归，梯度下降的计算公式都是：
分类：
其他好文 时间：
2015-01-28 18:09:20
阅读次数：
178
本文是关于用SGD解如下四个问题\begin{align*} \mbox{SVM}: & \ \ \min_{\boldsymbol{w}} \ \frac{\lambda}{2} \|\boldsymbol{w}\|_2^2 + \frac{1}{M} \sum_{m=1}^M \max (0.....
分类：
其他好文 时间：
2015-01-28 06:08:01
阅读次数：
167
Stanford机器学习课程笔记——单变量线性回归和梯度下降法
1. 问题引入
单变量线性回归就是我们通常说的线性模型，而且其中只有一个自变量x，一个因变量y的那种最简单直接的模型。模型的数学表达式为y=ax+b那种，形式上比较简单。Stanford的机器学习课程引入这个问题也想让我们亲近一下machine learning这个领域吧~吴恩达大神通过一个房屋交易的问...
分类：
其他好文 时间：
2015-01-23 13:31:42
阅读次数：
174
利用图分割算法对图片进行分割是目前比较流行的算法之一。利用这种方法对图片进行分割时需要对相应的能量函数进行最小值搜索，当能量函数在定义域中属于凸函数时利用梯度下降法、EM等经典算法可以得到唯一的极值解，该解便是全局最小解。但是对于能量函数在定义域中不是凸函数，利用上面的经典算法很容易陷入局部极小值问题，从而很难得到理想效果。虽然采用模拟退火方法可以减轻陷入局部极小值可能性，但是这并不是最优的解法。...
分类：
编程语言 时间：
2015-01-19 19:14:47
阅读次数：
817
理论和公式请看网易公开课中Andrew Ng的机器学习，或者coursera中Andrew Ng的机器学习对于多元线性回归要拟合最好的直线，要使得误差平方和最小，课本上的方法都是求偏导，并使其为0，然后求解线性方程组。但是还有很多其他方法可以达到上述效果，Andrew在大样本和小样本的情况下给出了两...
分类：
其他好文 时间：
2015-01-06 19:59:23
阅读次数：
746
