本人最近研究Aprior算法，由于要实现海量数据的分析挖掘，需要在hadoop平台加以实现。在网上看过一些Aprior算法Mapreduce的代码，感觉拿过来都不好直接用，而且，多数都不是原味的Aprior，或者经过改进，是FP-growth算法，或者是将数据分块，各块独立运行Aprior算法，不是...
分类：
编程语言 时间：
2014-12-17 22:10:20
阅读次数：
298
创建一个bin目录，用于存放编译.java文件产生的.class等结果，然后编译！编译结果！打包操作！打包结果！验证打包生成的jar包，是否正常，验证成功！！！！！！！！！！！！结果正确！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！...
分类：
编程语言 时间：
2014-12-17 18:19:22
阅读次数：
201
本文实例介绍了SpatialHadoop平台，它是第一个基于成熟MapReduce对空间数据具有原生支持的框架。SpatialHadoop是对Hadoop的做了一个全面的扩展，使其核心功能可以支持空间数据。因此，对于处理空间数据，SpatialHadoop与目前存在的Hadoop项目相比具有更好的性能。SpatialHadoop主要包括一个简单的空间高级语言、两级空间索引结构，以及建立在MapReduce层的基本空间组件和三个基本空间操作（范围查询、K-NN查询和空间链接）。其他的空间操作同样也可以在Spa...
分类：
其他好文 时间：
2014-12-17 14:45:31
阅读次数：
414
MapReduce简介
声明：本文是本人基于Hadoop权威指南学习的一些个人理解和笔记，仅供学习参考，有什么不到之处还望指出，一起学习一起进步。
转载请注明：http://blog.csdn.net/my_acm
上一篇介绍了什么是Hadoop，Hadoop的作用等。本篇同样基于Hadoop权威指南，结合迪伦的Hadoop的视频教程对MapReduce做一个介绍。
1、
Map...
分类：
其他好文 时间：
2014-12-17 14:38:02
阅读次数：
149
在概况(一)中，主要简单的对Yarn的情况作了简单的介绍，今天花一定时间在某些具体的模块上呈现以下Yarn的整体情况，帮助大家更好的理解Yarn。
1）ResourceManager
在Yarn的整体架构中，他用的也是Master/Slave架构，他的Slave是NodeManager，RM在Yarn中扮演着一个非常重要的角色，他是负责集群中所有资源的统一管理和分配的。他根据各个NM的资源汇报...
分类：
其他好文 时间：
2014-12-16 17:08:18
阅读次数：
178
在idea中的hadoop程序开发（MAC或Linux） hadoop的安装（自己查） 新建一个java project ????3.配置项目结构与依赖（project structure） 4.配置构件（artifacts）：名称（name），类型（Type），构件时重新编...
分类：
其他好文 时间：
2014-12-16 15:26:37
阅读次数：
1010
1 用hbase工具导入 实际上市从hdfs 到hbase 的过程。 hive表的hdfs 路径为 ${hive.metastore.warehouse.dir}hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns...
分类：
其他好文 时间：
2014-12-16 11:34:40
阅读次数：
505
MapReduce-MulitipleOutputs实现自定义输出到多个目录...
分类：
其他好文 时间：
2014-12-16 10:03:43
阅读次数：
218
一. Partitioner是partitioner的基类，如果需要定制partitioner也需要继承该类。
public class DataCount {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job =...
分类：
其他好文 时间：
2014-12-15 23:43:24
阅读次数：
447
转自：http://zengzhaozheng.blog.51cto.com/8219051/1557054一、概述这2个月研究根据用户标签情况对用户的相似度进行评估，其中涉及一些推荐算法知识，在这段时间研究了一遍《推荐算法实践》和《Mahout in action》，在这里主要是根据这两本书的一些...
分类：
编程语言 时间：
2014-12-15 17:15:03
阅读次数：
542
