kNN是一种基本分类与回归方法。k-NN的输入为实例的特征向量，对应于特征空间中的点；输出为实例的类别，可以取多类。k近邻实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。k值的选择、距离度量及分类决策规则是k近邻的三个基本要素。算法输入：训练数据集T={(x1,y1),(x2,y... ...
分类：
编程语言 时间：
2017-12-31 12:00:05
阅读次数：
137
最小二乘法可以从Cost/Loss function角度去想，这是统计（机器）学习里面一个重要概念，一般建立模型就是让loss function最小，而最小二乘法可以认为是 loss function = （y_hat -y )^2的一个特例，类似的像各位说的还可以用各种距离度量来作为loss fu ...
分类：
其他好文 时间：
2017-12-18 18:46:01
阅读次数：
165
7. 夹角余弦(Cosine) 也可以叫余弦相似度。 几何中夹角余弦可用来衡量两个向量方向的差异，机器学习中借用这一概念来衡量样本向量之间的差异。 (1)在二维空间中向量A(x1,y1)与向量B(x2,y2)的夹角余弦公式： (2) 两个n维样本点a(x11,x12,…,x1n)和b(x21,x22 ...
分类：
编程语言 时间：
2017-11-20 21:55:10
阅读次数：
356
先收藏，用到了在看 1. 欧氏距离(Euclidean Distance) 欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。 (1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离： (2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离： ...
分类：
编程语言 时间：
2017-11-20 21:44:29
阅读次数：
227
一、K近邻算法 k近邻法（k-nearest neighbor，k-NN）是一种基本分类与回归方法，输入实例的特征向量，输出实例的类别，其中类别可取多类 二、k近邻模型 2.1 距离度量 距离定义： （1）当p=1,称为曼哈顿距离 （2）当p=2，称为欧式距离 （3）当p取无穷大时，它是各个坐标距离 ...
分类：
编程语言 时间：
2017-07-30 20:07:30
阅读次数：
247
2017-07-20 15:18:25 k近邻（k-Nearest Neighbour, 简称kNN）学习是一种常用的监督学习方法，其工作机制非常简单，对某个给定的测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个‘邻居’的信息进行预测。一般来说，在分类中采用‘投票法’， ...
分类：
编程语言 时间：
2017-07-20 19:45:29
阅读次数：
138
运行平台： Windows Python版本： Python3.x IDE： Sublime text3 一 简单k-近邻算法 1 k-近邻法简介 2 距离度量 3 Python3代码实现 31 准备数据集 32 k-近邻算法 33 整体代码 二 k-近邻算法实战之约会网站配对效果判定 1 实战背景 ...
分类：
编程语言 时间：
2017-07-17 22:15:00
阅读次数：
307
1. 欧氏距离(Euclidean Distance) 欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。(1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离：(2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离：(3)两个n维向量a(x1 ...
分类：
编程语言 时间：
2017-07-12 17:47:45
阅读次数：
2873
1、f 散度（f-divergence) KL-divergence 的坏处在于它是无界的。事实上KL-divergence 属于更广泛的 f-divergence 中的一种。 如果P和Q被定义成空间中的两个概率分布，则f散度被定义为： 一些通用的散度，如KL-divergence, Helling ...
分类：
编程语言 时间：
2017-06-20 18:10:01
阅读次数：
1351
接上一篇：http://www.cnblogs.com/denny402/p/7027954.html 7. 夹角余弦(Cosine) 也可以叫余弦相似度。 几何中夹角余弦可用来衡量两个向量方向的差异，机器学习中借用这一概念来衡量样本向量之间的差异。 (1)在二维空间中向量A(x1,y1)与向量B( ...
分类：
编程语言 时间：
2017-06-16 19:21:15
阅读次数：
164
