码迷,mamicode.com
首页 > 其他好文 > 详细

机器学习实战第五章Logistic回归

时间:2018-08-05 00:42:03      阅读:152      评论:0      收藏:0      [点我收藏+]

标签:推导   tran   blank   迭代   表示   bubuko   class   技术分享   类别   


def
gradAscent(dataMatIn, classLabels): dataMatrix = mat(dataMatIn) #convert to NumPy matrix labelMat = mat(classLabels).transpose() #convert to NumPy matrix m,n = shape(dataMatrix) alpha = 0.001 maxCycles = 500 weights = ones((n,1)) for k in range(maxCycles): #heavy on matrix operations h = sigmoid(dataMatrix*weights) #matrix mult error = (labelMat - h) #vector subtraction weights = weights + alpha * dataMatrix.transpose()* error #matrix mult return weights

这是书中梯度上升算法的代码,但看到倒数第三行和倒数第二行的时候就懵逼了,书中说这里略去了一个简单的数据推导,嘤嘤嘤,想了一会没想出来,于是乎就百度看看大神的解释,这是找到的一篇解释的比较好的,仔细一看发现是在Ag的机器学习视频中讲过的,忘了。。。

Sigmoid函数: $g(z)=\frac{1}{1+e^{-z}}$

  $h_{\theta }(x)=g(\theta ^{T}x)$

这里$\theta$和书中w一样,表示系数

代价函数如下,代价函数是用来计算预测值(类别)与实际值(类别)之间的误差的

  $cost(h_{\theta} (x),y)=\left\{\begin{matrix}
  -log(h_{\theta}(x)), y=1\\
  -log(1-h_{\theta}(x)), y=0\end{matrix}\right.$

写在一起表示为:

  $cost(h_{\theta} (x),y)=-ylog(h_{\theta}(x))-(1-y)log(1-h_{\theta}(x))$

 总体的代价函数为:

  $J(\theta)=\frac{1}{m}\sum_{m}^{i=1}cost(h_{\theta} (x^{(i)}),y^{(i)})=\frac{1}{m}\sum_{m}^{i=1}-y^{(i)}log(h_{\theta}(x^{(i)}))-(1-y^{(i)})log(1-h_{\theta}(x^{(i)}))$

要使误差最小,即求$J(\theta)$最小,也可以转化成就$-J(\theta)$的最大值,可以用梯度上升算法来求最大值,

    $\theta := \theta+ \alpha \frac{\partial J(\theta )}{\partial \theta_{j}}$

下面是推导过程:

  技术分享图片

所以权重的迭代更新公式为:  

  $\theta_{j} = \theta_{j}+ \alpha \sum_{m}^{i=1}(y_{i}-h_{\theta}(x^{(i)}))x^{(i))}$

       

 

机器学习实战第五章Logistic回归

标签:推导   tran   blank   迭代   表示   bubuko   class   技术分享   类别   

原文地址:https://www.cnblogs.com/weiququ/p/9414746.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!