一、线性分类器： 首先给出一个非常非常简单的分类问题（线性可分），我们要用一条直线，将下图中黑色的点和白色的点分开，很显然，图上的这条直线就是我们要求的直线之一（可以有无数条这样的直线） 假如说，我们令黑色的点 = -1， 白色的点 = +1，直线f(x) = w.x + b，这儿的x、w是向量，其 ...
分类：
其他好文 时间：
2016-05-16 10:59:28
阅读次数：
210
支持向量机是一个相对较新和较先进的机器学习技术，最初提出是为了解决二类分类问题，现在被广泛用于解决多类非线性分类问题和回归问题。继续阅读本文，你将学习到支持向量机如何工作，以及如何利用R语言实现支持向量机。...
分类：
其他好文 时间：
2016-05-12 18:26:10
阅读次数：
237
逻辑回归（Logistic regression）
逻辑回归是统计学习中的经典分类方法。其多用在二分类{0,1}问题上。
定义1：
设X是连续随机变量，X服从逻辑回归分布是指X具有下列分布函数与密度函数：
分布函数属于逻辑斯谛函数，其图形是一条S形曲线。
定义2：
二项逻辑斯谛回归模型是如下条件概率分布：
从上式可以看出，逻辑回归对线性回归经行了归一化...
分类：
编程语言 时间：
2016-05-12 15:23:00
阅读次数：
346
转自：http://www.cnblogs.com/BYRans/ 多分类问题 在一个多分类问题中，因变量y有k个取值，即。例如在邮件分类问题中，我们要把邮件分为垃圾邮件、个人邮件、工作邮件3类，目标值y是一个有3个取值的离散值。这是一个多分类问题，二分类模型在这里不太适用。 多分类问题符合多项分布 ...
分类：
其他好文 时间：
2016-05-11 13:22:42
阅读次数：
181
感知机(Perceptron)是二分类问题的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。 感知机于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机于1957年由Rosenblatt提出，是神经网络和支持向量机的基础。 在这里，不用《统计学习方 ...
分类：
其他好文 时间：
2016-05-08 16:51:49
阅读次数：
785
kNN-------k-邻近算法
1.kNN是non-parametric分类器，既不做分布式假设，直接从数据估计概率密度；
2.kNN不适用于高维数据
优点：
1.无需估计参数，无需训练；
2.特别适合于多分类问题（对象具有多个标签）。
缺点：
1.当样本容量不平衡是，输入有个新样本，该样本的K个邻值中大容量样本占多数，对分类不利；
2.计算量过大，需要计算待分类...
分类：
编程语言 时间：
2016-05-07 08:07:46
阅读次数：
231
提升是一个机器学习技术，可以用于回归和分类问题，它每一步产生一个弱预测模型（决策树），并加权累加到总模型中；如果每一步的弱预测模型生成都是依据损失函数的梯度方向，则称之为梯度提升。
梯度提升算法首先给定一个目标损失函数，它的定义域是所有可行的弱函数集合（基函数）；提升算法通过迭代的选择一个负梯度方向上的基函数来逐渐逼近局部极小值。这种在函数域的梯度提升观点对机器学习的很多领域有深刻...
分类：
编程语言 时间：
2016-05-06 15:11:42
阅读次数：
231
R语言杂七杂八
与R语言有关的应用工具
探索性数据分析
统计推断
回归分析
机器学习-分类问题
R与Rstudio的获取与安装
包package一种扩展R基本功能的机制集成了众多函数
获取包
导入包libraryname
获取帮助
R语言特点
R语言语法基础
R语言中的数据
R语言支持的数据类型
基本数据结构
一维数据类型
向量
1创建
2提取子集
因子
1创建
2提取子集
二维数据类型
矩阵
1生...
分类：
编程语言 时间：
2016-05-06 14:56:18
阅读次数：
717
要求如下： 所以当神经元输出函数选择在硬极函数的时候，如果想分成上面的四个类型，则必须要2个神经元，其实至于所有的分类问题，n个神经元则可以分成2的n次方类型。 又前一节所证明出来的关系有： 从而算出了所有的权重的值。。 代码实现如下： 第一个类是用来操实际操作的类，真正核心的内容是在Percept ...
分类：
编程语言 时间：
2016-05-05 15:53:06
阅读次数：
441
转（http://www.cnblogs.com/hexinuaa/articles/2143483.html） 朴素贝叶斯分类 1.1、摘要 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。本文作为分类算法的第一篇，将首先介绍分类问题，对分类问题进行一个正式的定义 ...
分类：
其他好文 时间：
2016-05-03 22:07:45
阅读次数：
245
