本篇博客将围绕Hadoop伪分布安装+MapReduce运行原理+基于MapReduce的KNN算法实现这三个方面进行叙述。
（一）Hadoop伪分布安装1、简述Hadoop的安装模式中–伪分布模式与集群模式的区别与联系.
Hadoop的安装方式有三种:本地模式,伪分布模式,集群(分布)模式,其中后两种模式为重点,有意义
伪分布:如果Hadoop对应的Java进程都运行在一个物理机器上,称为伪...
分类：
编程语言 时间：
2016-06-16 14:41:00
阅读次数：
370
一、在PyCharm 5.0.4(编写python程序的IDE) 编写kNN.py文件的代码 1、 kNN.py 运算符模块 1)、打开命令行 先进入kNN.py的所在文件夹，在对kNN.py进行程序处理，效果如下图所示 2、 kNN.py k-近邻算法 2） 在1）的基础上，进行2）的内容，可以修 ...
分类：
编程语言 时间：
2016-06-03 18:42:59
阅读次数：
177
linear classification上节中简单介绍了图像分类的概念，并且学习了费时费内存但是精度不高的knn法，本节我们将会进一步学习一种更好的方法，以后的章节中会慢慢引入神经网络和convolutional neural network。这种新的算法有两部分组成：
1. 评价函数score function，用于将原始数据映射到分类结果
2. 损失函数loss function， 用于定...
分类：
Web程序 时间：
2016-05-27 12:17:33
阅读次数：
368
一个简单的例子！环境：CentOS6.5Hadoop集群、Hive、R、RHive，具体安装及调试方法见博客内文档。 KNN算法步骤：需对所有样本点（已知分类+未知分类）进行归一化处理。然后，对未知分类的数据集中的每个样本点依次执行以下操作：1、计算已知类别数据集中的点与当前点（未知分类）的距离。2 ...
分类：
编程语言 时间：
2016-05-25 12:48:06
阅读次数：
151
user-knn 1 import numpy 2 import csv 3 from numpy import * 4 5 ''' 6 data from (1,1)->(user, item) 7 (user, 0) mean the mean rating of user u 8 (0, it ...
分类：
其他好文 时间：
2016-05-13 12:23:01
阅读次数：
237
第一个作业的第一个问题，写KNN分类器，KNN的原理本身描述起来还是比较简单， 用到的一些函数： （1）numpy.flatnonzero(): 该函数输入一个矩阵，返回扁平化后矩阵中非零元素的位置（index） 这是官方文档给出的用法，非常正规，输入一个矩阵，返回了其中非零元素的位置 这是在作业中 ...
分类：
编程语言 时间：
2016-05-10 23:27:54
阅读次数：
3780
一 算法原理：已知一个训练样本集，其中每个训练样本都有自己的标记（label）,即我们知道样本集中每一个样本数据与所属分类的对应关系。输入没有标记的新数据后，将新数据的每个特征与样本集中的数据对应的特征进行比较，然后提取样本集中特征最相似数据的分类标记。一般的，我们选择样本集中前k个最相似的数据分类... ...
分类：
编程语言 时间：
2016-05-08 15:17:16
阅读次数：
228
kNN-------k-邻近算法
1.kNN是non-parametric分类器，既不做分布式假设，直接从数据估计概率密度；
2.kNN不适用于高维数据
优点：
1.无需估计参数，无需训练；
2.特别适合于多分类问题（对象具有多个标签）。
缺点：
1.当样本容量不平衡是，输入有个新样本，该样本的K个邻值中大容量样本占多数，对分类不利；
2.计算量过大，需要计算待分类...
分类：
编程语言 时间：
2016-05-07 08:07:46
阅读次数：
231
KNN分类CIFAR-10，并且做Cross Validation，CIDAR-10数据库数据如下： knn.py : 主要的试验流程 from cs231n.data_utils import load_CIFAR10 from cs231n.classifiers import KNearest ...
分类：
编程语言 时间：
2016-05-04 21:00:26
阅读次数：
2711
