本篇博客将结合手机上网流量业务来详细介绍Hadoop的二次排序机制、分区机制，先介绍一下业务场景：
先介绍一下业务场景：统计每个用户的上行流量和，下行流量和，以及总流量和。
本次描述所用数据：
日志格式描述：
日志flowdata.txt中的具体数据：
首先我们先通过mapreduce程序实现上面的业务逻辑：
代码实现：package FlowSum;import jav...
分类：
移动开发 时间：
2016-07-08 11:52:48
阅读次数：
330
大家都知道，Hadoop中为Key的数据类型必须实现WritableComparable接口，而Value的数据类型只需要实现Writable接口即可；能做Key的一定可以做Value，能做Value的未必能做Key.但是具体应该怎么应用呢？—-本篇文章将结合手机上网流量业务进行分析。
先介绍一下业务场景：统计每个用户的上行流量和，下行流量和，以及总流量和。
本次描述所用数据：
日志格式描述：...
分类：
移动开发 时间：
2016-07-08 00:17:51
阅读次数：
382
1. Hadoop 64位centos 下编译 hadoop 2.6.0 源码 2. 学习问题汇总 hadoop多次格式化后，导致datanode启动不了 3. HDFS Hadoop中NameNode存储的元数据记录和NameNode的启动过程 4. Java Maven仓库常用地址 ...
分类：
其他好文 时间：
2016-07-07 19:08:12
阅读次数：
189
hadoop 执行中的setup run cleanup context的作用1.简介1) setup()，此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中，导致Mapper任务在解析每一行输入时都会进行资 ...
分类：
其他好文 时间：
2016-07-04 01:00:48
阅读次数：
186
在JavaSe的基础课程当中，可以说流是一个非常重要的概念，并且在Hadoop中得到了广泛的应用，本篇博客将围绕流进行深入的详解。
(一)JavaSe中流的相关概念
1、流的定义
①在Java当中，若一个类专门用于数据传输，则这个类称为流
②流就是程序和设备之间嫁接以来的一根用于数据传输的管道，这个设备可以是本地硬盘，可以是内存条，也可以是网络所关联的另外一台计算机等等，其中不同管道上有不同...
分类：
编程语言 时间：
2016-06-28 12:58:12
阅读次数：
223
伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：./bin/hdfs dfs -mkdir -p /user/hadoop接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/... ...
分类：
其他好文 时间：
2016-06-25 08:28:22
阅读次数：
248
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修... ...
分类：
其他好文 时间：
2016-06-25 08:25:47
阅读次数：
156
Hadoop中WordCount代码-直接加载hadoop的配置文件在Myeclipse中，直接编写WordCount代码，代码中直接调用core-site.xml，hdfs-site.xml，mapred-site.xml配置文件packagecom.apache.hadoop.function;
importjava.io.IOException;
importjava.util.Iterator;
importjava.util.S..
分类：
其他好文 时间：
2016-06-23 22:26:57
阅读次数：
137
转载▼ 转载▼ Hadoop中在计算一个JOB需要的map数之前首先要计算分片的大小。计算分片大小的公式是： goalSize = totalSize / mapred.map.tasks minSize = max {mapred.min.split.size, minSplitSize} spl ...
分类：
其他好文 时间：
2016-06-23 12:35:59
阅读次数：
112
基于hadoop2.6.4，RPC相关的实现位于hadoop-common这个project中hadoop-common-project/hadoop-common/src/main/java的包package org.apache.hadoop.ipc中 而在hadoop-common-proje ...
分类：
其他好文 时间：
2016-06-21 22:24:37
阅读次数：
167
