码迷,mamicode.com
首页 > 编程语言 > 详细

logistic回归算法的损失函数:binary_crossentropy(二元交叉熵)

时间:2018-12-03 01:01:55      阅读:1561      评论:0      收藏:0      [点我收藏+]

标签:选择   log   平均值   ali   方法   更新   alt   die   目标   

假设函数

技术分享图片

技术分享图片
更为一般的表达式:技术分享图片   
 技术分享图片       (1)
 
似然函数:
技术分享图片技术分享图片             (2)
对数似然函数:
技术分享图片
如果以上式作为目标函数,就需要最大化对数似然函数,我们这里选择最小化负的对数似然函数
 技术分享图片技术分享图片          (3)
对J(w)求极小值,对技术分享图片求导
 
技术分享图片 技术分享图片 
技术分享图片              (4)
上述中 技术分享图片表示第i个样本的第j个属性的取值。
 
于是技术分享图片的更新方式为:
     
技术分享图片                        (5)
 
将(5)式带入(4)式,得:
 
梯度下降GD技术分享图片的更新方式,使用全部样本:
 技术分享图片 (6)
当样本不多的时候,可以选择这个方法
随机梯度下降:
每次只取一个样本,则技术分享图片技术分享图片的更新方式:
 
  技术分享图片                  (7)
 
技术分享图片技术分享图片技术分享图片 为这个样本的特征值,技术分享图片技术分享图片是其真实值,技术分享图片技术分享图片是这个样本的第j个属性
 
随机平均梯度下降法(sag,Stochasitc Average Gradient )
该算法是选取一小部分样本梯度的平均值来更新权重(其中n<m,m为样本数)
 技术分享图片           (8)
SGD和GD算法的折中
 
小结:
在尝试写一些机器学习相关的笔记,先写下一篇,欢迎讨论~

logistic回归算法的损失函数:binary_crossentropy(二元交叉熵)

标签:选择   log   平均值   ali   方法   更新   alt   die   目标   

原文地址:https://www.cnblogs.com/sunrise-keephungary/p/10056027.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!