码迷,mamicode.com
首页 >  
搜索关键字:hadoop-mapreduce    ( 502个结果
java框架之spring解析
Apache Spark是一个集群计算设计的快速计算。它是建立在Hadoop MapReduce之上,它扩展了 MapReduce 模式,有效地使用更多类型的计算,其中包括交互式查询和流处理。这是一个简单的Spark教程,介绍了Spark核心编程的基础知识。 工业公司广泛的使用 Hadoop 来分析 ...
分类:编程语言   时间:2019-05-08 09:17:58    阅读次数:150
hadoop-hdfs-环境搭建配置解读
官网:http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.html Hadoop MapReduce Next Generation - Setting up a Single No ...
分类:其他好文   时间:2019-05-04 10:10:06    阅读次数:260
做大数据工程师需要掌握哪些技能呢?
大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。Hadoop工程师用人企业普遍要求掌握以下技术:1、熟悉Linux开发环境,熟悉Shell命令2、熟悉Java、python、scala语言(至少一种)3、具备较丰富的基于Hadoop、MapReduce、Yarn、Storm、Spark、Hive、Hbase、kafka、F
分类:其他好文   时间:2019-05-03 16:24:53    阅读次数:132
Hadoop Mapreduce中shuffle 详解
MapReduce 里面的shuffle:描述者数据从map task 输出到reduce task 输入的这段过程 Shuffle 过程: 首先,map 输出的<key,value > 会放在内存中,内存有一定的大小,超过之后,会将内存里的东西溢写(spill) 到磁盘(disk)中 。在从内存溢 ...
分类:其他好文   时间:2019-04-26 13:17:05    阅读次数:109
Hadoop MapReduce Java API
Mapper Input: 输入为 InputFormat产生的 InputSplit The Hadoop MapReduce framework spawns one map task for each InputSplit generated by the InputFormat for th ...
分类:编程语言   时间:2019-04-15 19:57:43    阅读次数:183
Hadoop多租户架构配置
cloudera manager 进到cluster里面,点击Dynamic Resource Pools,没做任何配置默认情况下,资源池里有个default资源组 hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar ...
分类:其他好文   时间:2019-04-07 20:31:50    阅读次数:203
Error:(37, 47) java: 无法访问org.apache.hadoop.mapred.JobConf 找不到org.apache.hadoop.mapred.JobConf的类文件
Error:(37, 47) java: 无法访问org.apache.hadoop.mapred.JobConf 找不到org.apache.hadoop.mapred.JobConf的类文件 出现此异常,就是缺少相关的依赖包,你检查一下以下四个依赖包是否齐全: hadoop-mapreduce- ...
分类:编程语言   时间:2019-03-19 12:02:20    阅读次数:565
入门程序 ==> WordCount
package com.rabbit.hadoop.mapreduce; import java.io.IOException;import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration;import o ...
分类:其他好文   时间:2019-03-18 13:32:18    阅读次数:189
Hadoop Mapreduce 工作机制
一.Mapreduce 中的Combiner 在job类中声明如下: 二.MapTask工作机制 主要的核心类: 读:FileInputFormat TextInputFormat createRecordReader LineRecordReader nextKeyValue 写:context. ...
分类:其他好文   时间:2019-03-11 01:02:11    阅读次数:205
Hadoop Mapreduce 案例 统计手机流量使用情况
需要被统计流量的文件内容如下: 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 13826544101 5C-0E-8 ...
分类:移动开发   时间:2019-03-06 19:28:09    阅读次数:266
502条   上一页 1 ... 3 4 5 6 7 ... 51 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!