码迷,mamicode.com
首页 >  
搜索关键字:hadoop-mapreduce    ( 502个结果
MapReduce分区方法Partitioner方法
前言:对于二次排序相信大家也是似懂非懂,我也是一样,对其中的很多方法都不理解诶,所有只有暂时放在一边,当你接触到其他的函数,你知道的越多时你对...
分类:其他好文   时间:2015-08-07 16:12:39    阅读次数:442
MapReduce源码分析:Mapper和Reducer类
一:Mapper类 在Hadoop的mapper类中,有4个主要的函数,分别是:setup,clearup,map,run。代码如下: protected void setup(Context context) throws IOException, InterruptedException { // NOTHING } protected void map(KEYIN...
分类:移动开发   时间:2015-08-07 14:50:29    阅读次数:187
windows下使用Eclipse编译运行MapReduce程序 Hadoop2.6.0/Ubuntu
一、环境介绍 宿主机:windows8 虚拟机:Ubuntu14.04 hadoop2.6伪分布:搭建教程http://blog.csdn.net/gamer_gyt/article/details/46793731 Eclipse:eclipse-jee-luna-SR2-win32-x86_64 二、准备阶段 网上下载hadoop-eclipse-plugin-2.6.0.ja...
分类:Windows程序   时间:2015-08-02 20:04:24    阅读次数:199
hadoop分布式系统下的mapreduce java小程序计算网站uv
一.准备工作1.1搭建hadoop分布式系统,博主是用3台虚拟机搭建的一个简易hadoop分布式系统。linux5.564位hadoop2.6.0192.168.19.201h1(master)192.168.19.202h2(slaver1)192.168.19.203h3(slaver2)1.2准备网站访问IP文件由于是实验,一个简单的txt文件即可如:vima.txt10.0.0.11..
分类:编程语言   时间:2015-07-31 06:44:49    阅读次数:909
Hadoop--MapReduce运行处理流程
1. Hadoop 编程读写HDFS: Hadoop文件API起点:FileSystem. 通过调用factory方法FileSystem.get(Configuration conf)来的到FileSystem实例. 具体写法: Configuration conf = new Configuration(); FileSystem hdfs = FileSystem.get(conf...
分类:其他好文   时间:2015-07-31 01:33:15    阅读次数:162
分布式存储系统-HBASE
简介HBase –Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBse技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协调工具。HBase(NoSQL)的数据模型 HBase 存储的网...
分类:其他好文   时间:2015-07-27 00:25:41    阅读次数:122
eclipse hadoop ERROR [main] security.UserGroupInformation
2015-07-26 23:49:05,594 ERROR [main] security.UserGroupInformation (UserGroupInformation.java:doAs(1494)) - PriviledgedActionException as:cau (auth:SIMPLE) cause:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/...
分类:系统相关   时间:2015-07-27 00:21:44    阅读次数:335
Hadoop学习笔记(两)设置单节点集群
本文描写叙述怎样设置一个单一节点的Hadoop安装。以便您能够高速运行简单的操作,使用HadoopMapReduce和Hadoop分布式文件系统(HDFS)。參考官方文档:Hadoop MapReduce Next Generation - Setting up a Single Node Clus...
分类:其他好文   时间:2015-07-25 15:08:24    阅读次数:195
什么是Spark?
什么是Spark Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的ma...
分类:其他好文   时间:2015-07-25 09:29:52    阅读次数:140
hadoop安装和hadoop pipes编程说明
hadoop的安装和启动以及hadoop pipes的编程说明,重点是hadoop pipes相关的东西...
分类:其他好文   时间:2015-07-22 20:59:44    阅读次数:320
502条   上一页 1 ... 25 26 27 28 29 ... 51 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!