mapred-site.xml <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> yarn-site.xml <property> <name>yarn.nodemanager.aux-s ...
分类：
其他好文 时间：
2019-03-21 00:50:19
阅读次数：
154
先说一下环境，我用的是hadoop3.1.1 + zookeeper3.4.6 + hive3.1.1。采用多用户模式搭建hive，建表、导入数据等很正常。select如果是hdfs操作也很正常，但如果涉及到MapReduce操作就有个很奇怪的现象：每次启动hive以后，第一次select的时候可以 ...
分类：
其他好文 时间：
2019-03-19 16:54:21
阅读次数：
431
Error:(37, 47) java: 无法访问org.apache.hadoop.mapred.JobConf 找不到org.apache.hadoop.mapred.JobConf的类文件 出现此异常，就是缺少相关的依赖包，你检查一下以下四个依赖包是否齐全： hadoop-mapreduce- ...
分类：
编程语言 时间：
2019-03-19 12:02:20
阅读次数：
565
Hadoop是目前最常用的一个大数据分析工具，其核心组成是HDFS和MapReduce。本文对Hadoop2.0的基本安装和配置进行了一个概述，希望对Hadoop感兴趣的人能够对Hadoop有进一步的了解
分类：
其他好文 时间：
2019-03-18 18:38:33
阅读次数：
145
package com.rabbit.hadoop.mapreduce; import java.io.IOException;import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration;import o ...
分类：
其他好文 时间：
2019-03-18 13:32:18
阅读次数：
189
1、查看 HBase 的 MapReduce 任务的执行 $ bin/hbase mapredcp 2、执行环境变量的导入 $ export HBASE_HOME= ~/hadoop_home/hbase-1.2.6$ export HADOOP_HOME= ~/hadoop_home$ expor ...
分类：
其他好文 时间：
2019-03-16 09:47:30
阅读次数：
232
Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 HDFS HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。 ...
分类：
其他好文 时间：
2019-03-15 19:05:06
阅读次数：
151
1.大纲 Storm工作原理是什么？ 流的模式是什么？默认是什么？ 对于mapreduce如何理解？ Storm的特点和特性是什么？ Storm组件有哪些？ 2.Storm工作原理是什么？ 相对于hadoop而言，strom的优势在于对于应对大数据两的实时数据处理上，因为hadoop在处理大数据过程 ...
分类：
其他好文 时间：
2019-03-14 00:49:56
阅读次数：
764
一.简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十 ...
分类：
其他好文 时间：
2019-03-13 16:47:26
阅读次数：
220
因业务上的需要，无可避免的一些运算一定要使用shuffle操作，无法用map类的算子来替代，那么尽量使用可以map侧预聚合的算子。 map侧预聚合，是指在每个节点本地对相同的key进行一次聚合操作，类似于MapReduce中的本地combine。map-side预聚合之后，每个节点本地就只会有一条相 ...
分类：
其他好文 时间：
2019-03-12 09:12:48
阅读次数：
303
