码迷,mamicode.com
首页 > 其他好文 > 详细

scikit-learn 多分类混淆矩阵

时间:2019-06-01 13:55:21      阅读:114      评论:0      收藏:0      [点我收藏+]

标签:$$   分类   imp   混淆   计算   module   cal   --   语法   

注:有些markdown语法没渲染出来,可以简书查看:scikit-learn 多分类混淆矩阵

前面

sklearn.metrics.multilabel_confusion_matrixscikit-learn 0.21 新增的一个函数。看名字可知道是用来计算多标签的混淆矩阵的。不过也可以用它来计算多分类的混淆矩阵。MCM将多分类数据转化为2分类问题,采用one-vs-rest策略,即某一类为正样本,其余类别为负样本。每一类都作为正样本,计算混淆矩阵。按标签的顺序返回所有。
MCM 返回的每一个二分类混淆矩阵中,TN 在 [0, 0] ,FN 在 [1, 0] 是 , TP 在[1,1], FP 在 [1, 0] , 即
| TN | FP |
|--|--|
| FN | TP |

官方例子

## 如果导入报错,检查一下 sk-learn version >= 0.21
>>> from sklearn.metrics import multilabel_confusion_matrix
>>> y_true = ["cat", "ant", "cat", "cat", "ant", "bird"]
>>> y_pred = ["ant", "ant", "cat", "cat", "ant", "cat"]
>>> mcm = multilabel_confusion_matrix(y_true, y_pred,
...                             labels=["ant", "bird", "cat"])
>>> mcm
array([[[3, 1],
        [0, 2]],
       [[5, 0],
        [1, 0]],
       [[2, 1],
        [1, 2]]])

以第一个类别 ‘ant’ 为例,预测对的有2个,它的负样本,‘bird‘ 和 ‘cat‘ 预测对的有3个(‘bird’ 预测成 ‘cat’, 也算对的,因为它们是一类,都是负样本。)负样本预测成正样本的有一个。

评估指标

每一类的TP, FP等可以提取通过:

>>> tp = mcm[:, 1, 1]
>>> tn = mcm[:, 0, 0]
>>> fn = mcm[:, 1, 0]
>>> tp, tn
(array([2, 0, 2], dtype=int64), array([3, 5, 2], dtype=int64))

这里有几个常用的评估指标:

  1. 敏感性(sensitivity)也叫召回率(recall),也叫查全率。这个指标是看一下正样本中预测对的占总正样本的比例。也可以说成预测器对正样本的敏感性,越大,说明预测器对正样本越敏感。
    $$ sn=\frac{tp}{tp+fn} $$
  2. 特异性(specificity)这个和敏感性相反,敏感性算正样本的,而特异性算的是负样本的。换句话说,它是指负样本的敏感性。毕竟你的预测器,不能仅仅是对正样本敏感,负样本,就随意了。所以需要评估一下预测器对负样本的敏感性。
    $$sp=\frac{tn}{tn+fp}$$
  3. 查准率(precision), 这是看你预测为正样本中预测正确的占总的预测为正样本的比例。
    $$precision=\frac{tp}{tp+fp}$$
  4. f1值,一般而言,查全率和查准率是不能同时都很大的。举个例子:你现在有100个A和100个B,你用现在训练好的模型去预测A,预测到有80个A。但是这其中75个是正确的A。也就是说查准率是$75/80=0.9375%$,查全率是$75/100=0.75$。你觉得查全率太低,你继续改进模型。又进行了一次预测,这次预测到了95个A。其中预测正确的有85个,即查全率:$85/100=0.85$,增加了0.1,但是查准率:$85/95=0.895$下降了。你想查得越多,就更容易产生误差。为了照顾两头,使得两个指标都有不错得值,就有了f1值:
    $$F1 = \frac{2 * (precision * recall)}{ (precision + recall)}$$

很容易通过代码获得多分类中每一类的评价指标值:

>>> sn = tp / (tp + fn) ## 其它同理
>>> sn
 array([1.        , 0.        , 0.66666667])x xz

利用one-vs-rest将多分类转化为二分类问题时,往往会丢失一些信息。在负样本中有多个类别,但不管在负样本中否预测到其本身的标签,只要不是预测为正样本标签就是正确的。所以不能很好的评价rest里的预测效果。想要更好的评价多分类,应考虑下宏平均或者微平均。

参考

sklearn.metrics.multilabel_confusion_matrix

原文:scikit-learn 多分类混淆矩阵

scikit-learn 多分类混淆矩阵

标签:$$   分类   imp   混淆   计算   module   cal   --   语法   

原文地址:https://www.cnblogs.com/huanping/p/10959271.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!