码迷,mamicode.com
首页 > 编程语言 > 详细

Python机器学习及实践 课后小题

时间:2020-02-09 16:37:56      阅读:94      评论:0      收藏:0      [点我收藏+]

标签:blog   title   类别   ima   water   大量   基础   参数   性能   

@(Python机器学习及实践-----从零开始通往Kaggle竞赛之路)

第二章 2.3章末小结

1

机器学习模型按照使用的数据类型,可分为监督学习和无监督学习两大类。

  1. 监督学习主要包括分类和回归的模型。
  • 分类:线性分类,支持向量机(SVM),朴素贝叶斯,k近邻,决策树,集成模型(随机森林(多个决策树)等)。
  • 回归:线性回归,支持向量机(SVM),k近邻,回归树,集成模型(随机森林(多个决策树)等)。
  1. 无监督学习主要包括:数据聚类(k-means)和数据降维(主成分分析)等等。

技术图片

分类模型

线性:假设特征与分类结果存在线性关系,使用sigmoid函数映射到0~1,适合处理具有线性关系的数据。
在科学研究与工程实践中可把线性分类器的表现作为基准。lr使用精确解析,SGD使用随机梯度上升估计模型参数,耗时短,准确率略低

  • 评价指标:准确性,召回率,精准率,和后二者混合的F1指标

支持向量机:精妙的模型假设,线性假设,只用考虑两个空间间隔最小的两个不同类别的数据点。可以在高维数据中选择最为有效的少数训练样本。这样不仅节省了模型学习所需要的内存,而且也提高了模型的预测性能,但付出了计算资源和时间的代价。

  • 评价指标:同上,在回归中有R^2^,MS(平方)E,MA(绝对)E。

朴素贝叶斯 (naive bayes )基于贝叶斯理论。前提:各个维度上的特征被分类的条件概率之间互相独立。

  • 缺点:由于模型的强假设,需要估计的参数规模从幂指数量级到线性数量级减少,极大节约了内存消耗和计算时间。但是对特征关联性较强的任务上表现不佳。
  • 评价指标:同线性

k近邻:不需要参数训练,其属于无参数模型。非常高的计算复杂度(平方级)和内存消耗。

决策树:推断逻辑直观,有清晰的可解释性,也方便模型的可视化,易描述非线性关系。模型在学习的时候,需要考虑特征节点的选取顺序。
常用的度量方式包括信息熵和基尼不纯性。并不懂。。

集成模型: 有代表性的随机森林,同时搭建多个决策树模型,开始投票。
决策树可以随机选取特征构建节点(随机森林),或者按次序搭建分类模型(梯度提升决策树GTB)
特点:训练耗费时间,但是往往有更好的表现性能和稳定性。

我看分类这边都在用线性的度量指标。

回归模型

只是评估指标变了,在回归中有R^2^,MS(平方)E 均方误差,MA(绝对)E平方绝对误差。
R^2^用来衡量模型回归结果的波动可被真实值验证的百分比,也暗示了模型在数值回归方面的能力。

无监督学习

数据聚类

主流的k-means采用的迭代算法,直观易懂并非常实用。

  • 容易收敛到局部最优解
  • 需要预先设定簇的数量
    可使用“肘部”观察法粗略地预估相对合理的类簇个数。

    数据降维

    主成分分析(PCA principal component analysis)
    相较于损失的少部分模型性能。维度压缩能够节省大量模型训练时间。

明天开始进阶篇

隐隐约约感觉不太对,这个没啥 基础啊 全是调用

Python机器学习及实践 课后小题

标签:blog   title   类别   ima   water   大量   基础   参数   性能   

原文地址:https://www.cnblogs.com/love-study-chase/p/12287401.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!