首页 > 编程语言 > 详细

机器学习算法笔记1_2:分类和逻辑回归(Classification and Logistic regression)

时间：2016-04-22 19:32:34 阅读：314 评论：0 收藏：0 [点我收藏+]

标签：

形式：

采用sigmoid函数： $g (z) = 1 1 + e ? z$ $g(z)=\frac{1}{1+e^{-z}}$
其导数为 $g^\prime(z)=(1-g(z))g(z)$
假设：

即：

若有m个样本，则似然函数形式是：

对数形式：

采用梯度上升法求其最大值
求导：

更新规则为：

可以发现，则个规则形式上和LMS更新规则是一样的，然而，他们的分界函数 $h_\theta(x)$ 却完全不相同了（逻辑回归中h(x)是非线性函数）。关于这部分内容在GLM部分解释。
注意：若h(x)不是sigmoid函数而是阈值函数：

这个算法称为感知学习算法。虽然得到更新准则虽然相似，但与逻辑回归完全不是一个算法了。
另一种最大化似然函数的方法–牛顿逼近法
- 原理：假设我们想得到一个函数的过零点 $f(\theta)=0$ ,可以通过一下方法不断更新 $\theta$ 来得到：
  
  其直观解释如下图：
  
  给定一个初始点 $\theta_0$ ,如果 $f(\theta_0)$ 和其导数同号说明过零点在初始点左边，否则在初始点右边，将初始点更新过该店的切线的过零点继续上述步骤，得到的切线过零点会不断逼近最终所要求的函数过零点。
- 应用：在逻辑回归中，我们要求似然函数的最大(最小)值，即似然函数导数为0，因此可以利用牛顿逼近法：
  
  由于lr算法中 $\theta$ 是一个向量，上式改写为：
  
  其中H为Hessian矩阵:
  
  牛顿法往往比(批处理)梯度下降法更快收敛。

机器学习算法笔记1_2:分类和逻辑回归(Classification and Logistic regression)

标签：

原文地址：http://blog.csdn.net/bupt_wx/article/details/51208543

踩

(0)

赞

(0)

举报

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行

更多

友情链接

兰亭集智国之画百度统计站长统计阿里云 chrome插件新版天听网

关于我们 - 联系我们 - 留言反馈

© 2014 mamicode.com 版权所有联系我们:gaon5@hotmail.com

迷上了代码！