今天来讨论多元函数求极值问题，在Logistic回归用牛顿迭代法求参数会提到这个，所以很有必要把它研究清楚。
回想一下，一元函数求极值问题中我们是怎样做的？比如对于凹函数，先求一阶导数，得到，
由于极值处导数一定为零，但是导数等于零的点不一定就有极值，比如。所以我们还需要进一步判断，对
函数继续求二阶导得到，现在因为在驻点处二阶导数成立，所以
在处取得极小值，二阶导数在这里的意义就是...
分类：
其他好文 时间：
2014-11-23 20:19:23
阅读次数：
279
逻辑回归（Logistic Regression）是机器学习中十分常用的一种模型，属于广义线性模型。在互联网领域得到了广泛的应用，尤其是在广告系统中用来估计CTR。本文主要介绍逻辑回归的模型形式，求解策略和算法。接着介绍逻辑回归的最大似然估计，最后说明为什么逻辑回归要采用sigmoid函数做变换。模...
分类：
其他好文 时间：
2014-11-21 18:26:10
阅读次数：
360
官方Tutorial地址：http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/...
分类：
其他好文 时间：
2014-11-20 20:24:03
阅读次数：
289
1 Gradient Checking 说明前面我们已经实现了Linear Regression和Logistic Regression，关键在于代价函数Cost Function和其梯度Gradient的计算。在Gradient的计算中，我们一般采用推导出来的计算公式来进行计算。但是我们看到，推导出来的公式是复杂的，特别到后面的神经网络，更加复杂。这就产生了一个问题，我们如何判断我们编写的程序就...
分类：
其他好文 时间：
2014-11-20 13:46:16
阅读次数：
339
1 Logistic Regression 简述Linear...
分类：
其他好文 时间：
2014-11-19 22:20:55
阅读次数：
207
train_data是训练特征数据, train_label是分类标签。Predict_label是预测的标签。MatLab训练数据, 得到语义标签向量 Scores(概率输出)。1.逻辑回归(多项式MultiNomial logistic Regression)Factor = mnrfit(tr...
分类：
其他好文 时间：
2014-11-13 20:41:50
阅读次数：
211
大多数分类器都是01分类器，如logistic regression。当我们要将数据分为多类的时候，可以用一种叫one-vs-all的方法将01分类器用于多类分类（mult-class classification）原理很简单，训练与类数（k）相同个数的分类器，每个分类器只判断每个item是否属于某...
分类：
其他好文 时间：
2014-11-13 10:47:29
阅读次数：
193
一般的线性回归使用的cost function为:但由于logistic function：本身非凸函数（convex function）， 如果直接使用线性回归的cost function的话，很难到达全局最优解。相反，很容易陷入局部最优解然后就认为到达收敛条件了。因此，logistic regr...
分类：
其他好文 时间：
2014-11-13 08:16:45
阅读次数：
221
《PRML》中Logistic回归（逻辑回归，LR）的推导...
分类：
其他好文 时间：
2014-11-12 21:16:56
阅读次数：
280
