人工智能是当下很热门的话题，手写识别是一个典型的应用。为了进一步了解这个领域，我阅读了大量的论文，并借助opencv完成了对28x28的数字图片（预处理后的二值图像）的识别任务。 预处理一张图片： 首先采用opencv读取图片的构造函数读取灰度的图片，再采用大津法求出图片的二值化的阈值，并且将图片二 ...
分类：
其他好文 时间：
2016-04-01 20:37:09
阅读次数：
293
Some further statements on KNN:
It
appears that k-nearest-neighbor fits have a single parameter, the number of neighbors k, compared to the p parameters in least-squares fits. Although this is the...
分类：
其他好文 时间：
2016-04-01 18:33:09
阅读次数：
516
Prepare the data 数据来自UCIhttp://archive.ics.uci.edu/ml/machine-learning-databases/credit-screening,一个信a用卡的数据,具体各项变量名以及变量名代表的含义不明(应该是出于保护隐私的目的),本文会用logi ...
分类：
编程语言 时间：
2016-03-31 12:51:17
阅读次数：
593
左图中，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。 K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方 ...
分类：
编程语言 时间：
2016-03-30 00:08:05
阅读次数：
295
KNN(K-Nearest Neighbors algorithm)是一种非参数模型算法。在训练数据量为N的样本点中，寻找最近邻测试数据x的K个样本，然后统计这K个样本的分别输入各个类别w_i下的数目k_i，选择最大的k_i所属的类别w_i作为测试数据x的返回值。当K=1时，称为最近邻算法，即在样本数据D中，寻找最近邻x的样本，把x归为此样本类别下。常用距离度量为欧式距离。在二维平面上要预测中间'*'所属颜色，采用K=11时的情况，其中有4黑色，7个蓝色，即预测'*'为蓝色。
右图所示：当K=1时，即最近邻...
分类：
其他好文 时间：
2016-03-18 17:56:25
阅读次数：
262
一、 马氏距离 我们熟悉的欧氏距离虽然很有用，但也有明显的缺点。它将样品的不同属性（即各指标或各变量）之间的差别等同看待，这一点有时不能满足实际要求。例如，在教育研究中，经常遇到对人的分析和判别，个体的不同属性对于区分个体有着不同的重要性。因此，有时需要采用不同的距离函数。 如果用dij表示第i个样...
分类：
编程语言 时间：
2016-03-11 11:38:59
阅读次数：
713
最近邻搜索（Nearest Neighbor Search） Name of the problem: nearest neighbors, k nearest neighbors (kNN, k-NN), nearset neighbor search, proximity search, sim
分类：
编程语言 时间：
2016-03-07 22:22:51
阅读次数：
206
听朋友说machine Learning 很牛，特地买了本《机器学习实战》，了解机器学习，顺便学习python。。 第一个算法是kNN，很容易理解，简单实用，但是存储和计算的复杂度有点高，而且无法给出数据的内在含义。 书中介绍的两个实例，让我感觉机器学习确实很实用，以下是从《机器学习实战》中整理摘抄
分类：
编程语言 时间：
2016-03-01 22:20:58
阅读次数：
376
KNN算法的介绍请参考： http://blog.csdn.net/zouxy09/article/details/16955347 统计学习方法里面给出了KD Tree的算法介绍,按照书上的进行了实现： # -*- coding: utf-8 -*- from operator import it
分类：
编程语言 时间：
2016-03-01 00:44:25
阅读次数：
323
