从word count这个实例理解MapReduce。 MapReduce大体上分为六个步骤：input, split, map, shuffle, reduce, output。细节描述如下： 输入(input)：如给定一个文档，包含如下四行：Hello JavaHello CHello Java ...
分类：
其他好文 时间：
2019-07-16 20:10:14
阅读次数：
143
记得在代码顶部加上python的环境路径 (#!/usr/bin/python) linux环境下需要找到python解释器 1. chmod -R 777 x.py 给代码文件赋予权限 2. chown 用户(hadoop) x.py 给代码转换用户 3. chgrp 用户(hadoop) x.p ...
分类：
编程语言 时间：
2019-07-16 16:47:01
阅读次数：
146
写于2016.7月 最近项目需要在hbase上做统计分析，在本机上装了hive，结果跑小批量数据sum时报错： 查看yarn日志，一样也是空指针异常，还有个提示是No plan file found: hdfs://... 查看hive源码，发现gWork为null，导致空指针异常 接着查看Util ...
分类：
编程语言 时间：
2019-07-15 17:36:26
阅读次数：
545
3、clouderaManager安装资源下载 第一步：下载安装资源并上传到服务器 我们这里安装CM5.14.0这个版本，需要下载以下这些资源，一共是四个文件即可 下载cm5的压缩包 下载地址：http://archive.cloudera.com/cm5/cm/5/ 具体文件地址： http:// ...
分类：
其他好文 时间：
2019-07-15 01:41:26
阅读次数：
179
Hadoop 2.0产生背景 Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题(2个) NameNode单点故障，难以应用于在线场景 HA NameNode压力过大，且内存受限，影扩展性 F MapReduce存在的问题响系统 JobTracker ...
分类：
其他好文 时间：
2019-07-14 15:21:20
阅读次数：
68
概念 海量数据的数据统计平台，将hql翻译为mapreduce程序。 优点 简单；适用于对实时性要求不严的场合；适合处理大数据 缺点 无法表达迭代式计算； 不擅长数据挖掘； 效率比较低。 本质（相当于hadoop的一个客户端） hive的数据存储在hdfs； hive的数据处理在mapreduce; ...
分类：
其他好文 时间：
2019-07-13 21:29:55
阅读次数：
138
Hadoop与Spark的关系： mapReduce和spark的内存结构： spark替代hive的查询引擎 ...
分类：
其他好文 时间：
2019-07-13 13:41:35
阅读次数：
105
Hadoop的背景起源二：MapReduce 一、什么是大数据，本质？ （1）数据的存储：分布式文件系统（分布式存储） > HDFS: Hadoop Distributed File System （2）数据的计算：分布式计算 二、如何解决大数据的计算？分布式计算 （1）什么是PageRank(Ma ...
分类：
其他好文 时间：
2019-07-12 11:24:48
阅读次数：
91
前面2篇文章知道了HDFS的存储原理，知道了上传和下载文件的过程，同样也知晓了MR任务的执行过程，以及部分代码也已经看到，那么下一步就是程序员最关注的关于MR的业务代码（这里不说太简单的）： 一、关于MapTask的排序 mapTask正常情况，按照key的hashcode进行从小到大的排序操作，形 ...
分类：
其他好文 时间：
2019-07-12 00:40:00
阅读次数：
108
