码迷,mamicode.com
首页 >  
搜索关键字:mapreduce实现    ( 106个结果
MapReduce实现排序功能
期间遇到了无法转value的值为int型,我采用try catch解决 str2 2 str1 1 str3 3 str1 4 str4 7 str2 5 str3 9 用的\t隔开,得到结果  str1 1,4  str2 2,5 str3 3,9 str4 7 我这里map,reduce都是单独出来的类,用了自定义的key package com.kan...
分类:其他好文   时间:2014-06-05 06:52:38    阅读次数:353
Mahout kmeans聚类
K-means算法是最为经典的基于划分的聚类方法,是十大经典数据挖掘算法之一。K-means算法的基本思想是:以空间中k个点为中心进行聚类,对最靠近他们的对象归类。通过迭代的方法,逐次更新各聚类中心的值,直至得到最好的聚类结果。Mahout kmeans MapReduce实现的原理和上述的一致,值得注意的是,Mahout将数据存储在HDFS,用MapReduce做批量并行的计算。在做kmeans之前,需要将文本用Mahout向量化模块工具做向量化。计算过程主要分为三个步骤:初始中心选取,寻找簇中心,划分数...
分类:其他好文   时间:2014-05-26 06:00:31    阅读次数:239
hadoop学习;block数据块;mapreduce实现例子;UnsupportedClassVersionError异常;关联项目源码
对于开源的东东,尤其是刚出来不久,我觉得最好的学习方式就是可以看源码和doc,测试它的例子 为了方便查看源码,关联导入源码的项目 block数据块,在配置文件hdfs-default.xml中可以查看到,记住要修改不是在这里 block文件存储块是最基本的单位 查看block存放位置,配置文件中查看 如果文件大于64M会占两个块,meta文件是校验...
分类:其他好文   时间:2014-05-26 05:30:58    阅读次数:227
MapReduce Kmeans聚类算法
最近在网上查看用MapReduce实现的Kmeans算法,例子是不错,http://blog.csdn.net/jshayzf/article/details/22739063但注释太少了,而且参数太多,如果新手学习的话不太好理解。所以自己按照个人的理解写了一个简单的例子并添加了详细的注释。大致的步...
分类:其他好文   时间:2014-05-24 10:41:01    阅读次数:315
【甘道夫】MapReduce实现矩阵乘法--实现代码
MapReduce实现矩阵乘法--实现代码...
分类:其他好文   时间:2014-05-15 23:57:37    阅读次数:390
MapReduce 实现数据join操作
前段时间有一个业务需求,要在外网商品(TOPB2C)信息中加入联营自营识别的字段。但存在的一个问题是,商品信息和自营联营标示数据是两份数据;商品信息较大,是存放在hbase中。他们之前唯一的关联是url。所以考虑用url做key将两者做join,将联营自营标识信息加入的商品信息中,最终生成我需要的数...
分类:其他好文   时间:2014-05-04 10:02:22    阅读次数:565
106条   上一页 1 ... 9 10 11
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!