K-means算法属于无监督学习聚类算法，其计算步骤还是挺简单的，思想也挺容易理解，而且还可以在思想中体会到EM算法的思想。K-means 算法的优缺点：
1.优点：容易实现
2.缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢
使用数据类型：数值型数据以往的回归算法、朴素贝叶斯、SVM等都是有类别标签y的，因此属于有监督学习，而K-means聚类算法只有x，没有y在聚类问题中，我们的...
分类：
编程语言 时间：
2015-04-17 13:54:08
阅读次数：
162
这节课的学习，相信一般上过统计或者运筹相关课程的同学应该都会有所了解。课上涉及的知识虽然很基础，但是也是很重要的。 在搜集了一些房价相关数据的基础上，利用线性回归算法来预测房价。 为了方便算法的训练推导，进行了很多符号的标准规定，从这当中也学到了一些知识，以后自己在进行一些算法的推导时也可学...
分类：
其他好文 时间：
2015-04-13 22:52:06
阅读次数：
203
本系列内容大部分来自Standford公开课machine learning中Andrew老师的讲解，附加自己的一些理解，编程实现和学习笔记。第一章 Logistic regression1.逻辑回归逻辑回归是一种监督学习的分类算法，相比较之前的线性回归算法，差别在于它是一个分类算法，这也意味着y不...
分类：
其他好文 时间：
2015-04-12 11:56:50
阅读次数：
225
生成学习算法本次课程大纲：1、生成学习算法2、高斯判别分析（GDA，Gaussian Discriminant Analysis）-高斯分布（简要）-对比生成学习算法&判别学习算法（简要）3、朴素贝叶斯4、Laplace平滑复习：分类算法：给出一个训练集，若使用logistic回归算法，其工作方式是...
分类：
编程语言 时间：
2015-04-11 14:48:14
阅读次数：
209
这篇文章将介绍过拟合和欠拟合的概念，并且介绍局部加权回归算法。过拟合和欠拟合之前在线性回归中，我们总是将单独的x作为我们的特征，但其实我们可以考虑将，甚至x的更高次作为我们的特征，那么我们通过线性回归得到的就将是一个多次函数了。我们可以想象当我们只用x作为我们的特征的时候，我们的数据可能实际呈现的样...
分类：
其他好文 时间：
2015-04-08 21:08:58
阅读次数：
236
CART算法原理与理解
CART算法的全称是分类回归树算法，分类即划分离散变量；回归划分连续变量。他与C4.5很相似，但是一个二元分类，采用的是类似于熵的GINI指数作为分类决策，形成决策树之后还要进行剪枝，我自己在实现整个算法的时候采用的是代价复杂度算法。
GINI指数
GINI指数主要是度量数据划分或训练数据集D的不纯度为主，系数值的属性作为测试属性，GINI值越小，表明样本的纯净度越高...
分类：
编程语言 时间：
2015-04-01 22:02:53
阅读次数：
324
Logistic回归用来分类，线性回归用来回归。
线性回归是把让样本的属性前面加系数，相加。代价函数是误差平方和形式。所以，在最小化代价函数的时候，可以直接求导，令导数等于0，如下：
也可以使用梯度下降法，学习的梯度和Logistic回归形式一样。
线性回归的优点：计算简单。
缺点：不好处理非线性数据。...
分类：
编程语言 时间：
2015-03-05 10:48:54
阅读次数：
154
DeepLearning tutorial（1）Softmax回归原理简介+代码详解
@author：wepon
@blog：http://blog.csdn.net/u012162613/article/details/43157801
本文介绍Softmax回归算法，特别是详细解读其代码实现，基于python theano，代码来自：Classifying MNIST...
分类：
其他好文 时间：
2015-01-27 09:36:44
阅读次数：
852
soft binary classification
Logistics回归模型要解决的是分类问题，在之前的二元分类问题中，我们将数据分成正例和负例，但是像PLA算法一样，用单位阶跃函数来处理的这种瞬间跳跃的过程有时很难处理。于是，我们希望能得到正例的概率值是多少。
logistic regression的假设
我们在PLA和线性回归算法中都用数据的加权来计算一个分数...
分类：
其他好文 时间：
2015-01-11 17:50:58
阅读次数：
6277
前言 前文讨论的回归算法都是全局且针对线性问题的回归，即使是其中的局部加权线性回归法，也有其弊端(具体请参考前文：) 采用全局模型会导致模型非常的臃肿，因为需要计算所有的样本点，而且现实生活中很多样本都有大量的特征信息。 另一方面，实际生活中更多的问题都是非线性问题。 针对这些问题，有了树回...
分类：
编程语言 时间：
2015-01-05 18:05:58
阅读次数：
241
