码迷,mamicode.com
首页 > 其他好文 > 详细

Softmax函数与交叉熵

时间:2019-11-10 17:22:54      阅读:106      评论:0      收藏:0      [点我收藏+]

标签:神经网络   图片   size   fun   输出   img   误差   idt   概率   

一般在神经网络中, softmax可以作为分类任务的输出层。

输出n个类别选取的概率,并且概率和为1。

 

 

 

技术图片

 


i?代表的是第i个神经元的输出,zi是下面

 

技术图片

 

loss function表示的是真实值与网络的估计值的误差。交叉熵的函数是这样的

 

 

 

技术图片

 

yi?表示真实的分类结果。

求导。首先,我们要明确一下我们要求什么,我们要求的是我们的loss对于神经元输出的梯度。

 

技术图片

 

 

 

Softmax函数与交叉熵

标签:神经网络   图片   size   fun   输出   img   误差   idt   概率   

原文地址:https://www.cnblogs.com/pocahontas/p/11830840.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!