core-site.xml是全局配置；hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置；HDFS端口参数描述默认配置文件例子值fs.default.namenamenodeRPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.addressNameNodeweb管理端口50070hdfs-site.xml0.0.0.0:50070df..
分类：
其他好文 时间：
2016-09-19 22:52:44
阅读次数：
168
order by order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。 set hive.mapred.mode=nonstrict; (default value / 默认值) s ...
分类：
其他好文 时间：
2016-09-19 17:59:22
阅读次数：
132
1、果断先上结论 1.如果想增加map个数，则设置mapred.map.tasks 为一个较大的值。 2.如果想减小map个数，则设置mapred.min.split.size 为一个较大的值。 3.如果输入中有很多小文件，依然想减少map个数，则需要将小文件merger为大文件，然后使用准则2。 ...
分类：
系统相关 时间：
2016-09-07 19:25:47
阅读次数：
266
5Hive参数hive.exec.max.created.files说明：所有hive运行的map与reduce任务可以产生的文件的和默认值:100000hive.exec.dynamic.partition说明：是否为自动分区默认值：falsehive.mapred.reduce.tasks.speculative.execution说明：是否打开推测执行默认值：truehive.input.form..
分类：
其他好文 时间：
2016-09-02 23:46:17
阅读次数：
827
在hive里面可以通过严格模式防止用户执行那些可能产生意想不到的不好的效果的查询,从而保护hive的集群。 用户可以通过 set hive.mapred.mode=strict 来设置严格模式，改成unstrict则为飞严格模式。 在严格模式下，用户在运行如下query的时候会报错。 1. 分区表的 ...
分类：
其他好文 时间：
2016-08-29 12:38:45
阅读次数：
645
linux参数 以下参数最好优化一下： JVM参数 JVM方面的优化项Hadoop Performance Tuning Guide Hadoop参数大全 主要配置文件： core hdfs yarn mapred 重要性表示如下： 重要 一般 不重要 core-default.xml hadoop ...
分类：
其他好文 时间：
2016-08-25 20:33:47
阅读次数：
174
hadoop参数配置，主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置，core-default.x ...
分类：
其他好文 时间：
2016-08-23 06:54:29
阅读次数：
254
Job的运行过程 Job的具体运行过程 a) 运行mapred程序 b) 本次运行将生成一个Job,于是JobClient向JobTracker(ResourceManager)申请一个JobId以标识这个Job c) JobClient将Job所需要的资源提交到HDFS中一个以JOBID命名的目录 ...
分类：
其他好文 时间：
2016-08-19 19:00:52
阅读次数：
154
这一节将在《Dockerfile完成Hadoop2.6的伪分布式搭建》的基础上搭建一个完全分布式的Hadoop集群。 1. 搭建集群中需要用到的文件 2. Hadoop的配置文件内容： core-site.xml文件： hdfs-site.xml文件： mapred-site.xml文件： yarn ...
分类：
其他好文 时间：
2016-08-12 21:27:10
阅读次数：
243
今天启动hadoop时，发现datanode启动不了，查看日志发现出现以下的错误： java.io.IOException: File /opt/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, ...
分类：
其他好文 时间：
2016-07-31 00:08:34
阅读次数：
159
