Apache Spark是一个集群计算设计的快速计算。它是建立在Hadoop MapReduce之上，它扩展了 MapReduce 模式，有效地使用更多类型的计算，其中包括交互式查询和流处理。这是一个简单的Spark教程，介绍了Spark核心编程的基础知识。 工业公司广泛的使用 Hadoop 来分析 ...
分类：
编程语言 时间：
2019-05-08 09:17:58
阅读次数：
150
官网：http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.html Hadoop MapReduce Next Generation - Setting up a Single No ...
分类：
其他好文 时间：
2019-05-04 10:10:06
阅读次数：
260
大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。Hadoop工程师用人企业普遍要求掌握以下技术：1、熟悉Linux开发环境，熟悉Shell命令2、熟悉Java、python、scala语言（至少一种）3、具备较丰富的基于Hadoop、MapReduce、Yarn、Storm、Spark、Hive、Hbase、kafka、F
分类：
其他好文 时间：
2019-05-03 16:24:53
阅读次数：
132
MapReduce 里面的shuffle:描述者数据从map task 输出到reduce task 输入的这段过程 Shuffle 过程： 首先，map 输出的<key,value > 会放在内存中，内存有一定的大小，超过之后，会将内存里的东西溢写（spill） 到磁盘（disk)中 。在从内存溢 ...
分类：
其他好文 时间：
2019-04-26 13:17:05
阅读次数：
109
Mapper Input： 输入为 InputFormat产生的 InputSplit The Hadoop MapReduce framework spawns one map task for each InputSplit generated by the InputFormat for th ...
分类：
编程语言 时间：
2019-04-15 19:57:43
阅读次数：
183
cloudera manager 进到cluster里面，点击Dynamic Resource Pools，没做任何配置默认情况下，资源池里有个default资源组 hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar ...
分类：
其他好文 时间：
2019-04-07 20:31:50
阅读次数：
203
Error:(37, 47) java: 无法访问org.apache.hadoop.mapred.JobConf 找不到org.apache.hadoop.mapred.JobConf的类文件 出现此异常，就是缺少相关的依赖包，你检查一下以下四个依赖包是否齐全： hadoop-mapreduce- ...
分类：
编程语言 时间：
2019-03-19 12:02:20
阅读次数：
565
package com.rabbit.hadoop.mapreduce; import java.io.IOException;import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration;import o ...
分类：
其他好文 时间：
2019-03-18 13:32:18
阅读次数：
189
一.Mapreduce 中的Combiner 在job类中声明如下： 二.MapTask工作机制 主要的核心类： 读：FileInputFormat TextInputFormat createRecordReader LineRecordReader nextKeyValue 写：context. ...
分类：
其他好文 时间：
2019-03-11 01:02:11
阅读次数：
205
需要被统计流量的文件内容如下： 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 13826544101 5C-0E-8 ...
分类：
移动开发 时间：
2019-03-06 19:28:09
阅读次数：
266
