一、uber模式 MapReduce以Uber模式运行时，所有的map，reduce任务都在一个jvm中运行，对于小的mapreduce任务，uber模式的运行将更为高效。 uber模式配置，在mapred-site.xml中进行配置，如下 mapreduce.job.ubertask.enable ...
分类：
其他好文 时间：
2017-03-17 23:32:08
阅读次数：
174
在etc/profile文件中添加 1.hadoop-env.sh文件 修改java_home的位置 2.修改core-site.xml文件 3.修改hdfs-site.xml文件 4.mapred-site.xml ...
分类：
其他好文 时间：
2017-03-10 23:33:15
阅读次数：
166
1.mrjob介绍 一个通过mapreduce编程接口（streamming）扩展出来的Python编程框架。 2.安装方法 pip install mrjob，略。初学，叙述的可能不是很细致，可以加我扣扣：2690382987，一起学习和交流~ 3.代码运行方式 下面简介mrjob提供的3种代码运 ...
分类：
其他好文 时间：
2017-02-20 23:02:41
阅读次数：
213
LZO表创建：createtablelzoer(idint,namestring,ipstring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY‘,‘STOREDASINPUTFORMAT‘com.hadoop.mapred.DeprecatedLzoTextInputFormat‘OUTPUTFORMAT‘org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat‘;LZO表创建索引：hadoopjar..
分类：
其他好文 时间：
2017-02-17 15:56:38
阅读次数：
219
hadoop-2.5.0\share\hadoop\common 所有jar，hadoop-2.5.0\share\hadoop\common\lib 所有jar，hadoop-2.5.0\share\hadoop\hdfs 所有jar hadoop-2.5.0\share\hadoop\mapre ...
分类：
编程语言 时间：
2017-01-31 15:59:34
阅读次数：
291
唐 清原, 咨询顾问 简介： 本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序 ...
分类：
其他好文 时间：
2017-01-30 21:06:21
阅读次数：
367
伪分布式需要修改5个配置文件（hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop） 第一个：hadoop-env.sh 第二个：core-site.xml 第三个：hdfs-site.xml 第四个：mapred-site.xml (mv mapred-site.xml.te ...
分类：
系统相关 时间：
2017-01-22 07:51:40
阅读次数：
198
Map阶段的优化(Map phase) Mapred.min.split.size指的是数据的最小分割单元大小。 Mapred.max.split.size指的是数据的最大分割单元大小。 dfs.block.size指的是HDFS设置的数据块大小。 Reduce阶段的优化(Reduce phase) ...
分类：
数据库 时间：
2017-01-03 20:20:41
阅读次数：
319
首先祝大家2017新年快乐，我今天分享的是通过ElasticSearch与hbase进行整合的一个搜索案例，这个案例涉及的技术面比较广，首先你得有JAVAEE的基础，要会SSM,而且还要会大数据中的h...
分类：
其他好文 时间：
2017-01-03 08:13:39
阅读次数：
6861
1 Storm介绍 Storm是由Twitter开源的分布式、高容错的实时处理系统，它的出现令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。 在Storm的集群里面有两种节点：控制节点(Mas ...
分类：
其他好文 时间：
2016-12-30 09:25:22
阅读次数：
628
