码迷,mamicode.com
首页 > 编程语言 > 详细

机器学习--聚类系列--K-means算法

时间:2018-07-21 11:47:37      阅读:262      评论:0      收藏:0      [点我收藏+]

标签:als   col   font   false   评估   度量   str   thml   标记   

一、聚类

  聚类分析是非监督学习的很重要的领域。所谓非监督学习,就是数据是没有类别标记的,算法要从对原始数据的探索中提取出一定的规律。而聚类分析就是试图将数据集中的样本划分为若干个不相交的子集,每个子集称为一个“簇”。它的难点是不好调参和评估。下面是sklearn中对各种聚类算法的比较。 

  技术分享图片

二、K-Means算法

  KMeans算法在给定一个数k之后,能够将数据集分成k个“簇”={C1,C2,?,Ck}C={C1,C2,?,Ck},不论这种分类是否合理,或者是否有意义。算法需要最小化平方误差:

                  技术分享图片

  其中μi是簇Ci的均值向量,或者说是质心。其中x?μi‖^2代表每个样本点到均值点的距离(其实也是范数)。这里就稍微提一下距离度量。

  所以要得到簇的个数,需要指定K值
  质心:均值,即向量各维取平均即可
  距离的度量:常用欧几里得距离和余弦相似度(先标准化)
  优化目标:

      技术分享图片

  工作流程:

  根据给定的K值,随便取K个点作为K个簇的质心,比如K=2,然后计算各个点到两个质心的距离,离哪个近则划入那一边,然后重新调整质心位置,再分簇,直至质心不再变动为止。

  技术分享图片

  优势:简单,快速,适合常规数据集
  劣势:

  • K值难确定,根本不知道有几个类
  • 初值设置对结果影响很大,所以要多次取初值。有时候设置初始点,并不能正确分类。
  • 复杂度与样本呈线性关系,样本越多计算越多
  • 很难发现任意形状的簇,比如环状的,单计算到质心距离很难分类。

        技术分享图片

 

机器学习--聚类系列--K-means算法

标签:als   col   font   false   评估   度量   str   thml   标记   

原文地址:https://www.cnblogs.com/zongfa/p/9344751.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!