1、进入hadoop的配置目录 ，找到 环境变量的 $HADOOP_HOME cd $HADOOP_HOME 2、修改dataNode 节点的 单个map的能使用的内存配置 找到配置的文件： /opt/aisc/app/hadoop-2.3.0-cdh5.1.2/etc/hadoop/mapred- ...
分类：
其他好文 时间：
2017-05-02 23:45:26
阅读次数：
260
猪会飞么?提高pig的性能,让猪飞起来有例如以下办法：1. 尽早地并常常地进行过滤2. 尽早地并常常地进行映射3. 正确并合理地使用Join4. 选择正确的数据类型，合适的并行值5. 调整pig 的性能属性：pig.cachedbag.menusage 和pig.skewedjoin.reduce. ...
分类：
其他好文 时间：
2017-04-25 22:25:53
阅读次数：
100
1、上传2、解压 3、重命名 4、配置hadoop环境变量5、修改配置文件5.1、编辑hadoop-env.sh，修改JAVA_HOME 5.2、编辑core-site.xml修改如下 5.3、修改hdfs-site.xml，如下 5.4、修改mapred-site.xml，如下 5.4、修改yar ...
分类：
其他好文 时间：
2017-04-25 11:44:35
阅读次数：
143
14/07/21 17:49:59 ERROR security.UserGroupInformation: PriviledgedActionException as:chenlongquan cause:org.apache.hadoop.mapred.FileAlreadyExistsExce ...
分类：
系统相关 时间：
2017-04-24 18:58:00
阅读次数：
196
Redisson入门 Redisson入门 Author:Ricky Date:2017-04-24 Redisson概述 Redisson概述 Redisson是架设在Redis基础上的一个Java驻内存数据网格（In-Memory Data Grid）。充分的利用了Redis键值数据库提供的一系 ...
分类：
其他好文 时间：
2017-04-24 17:25:04
阅读次数：
695
在mapred-site.xml配置文件中添加如下信息： <property> <name>mapreduce.jobhistory.address</name> <value>chavin.king:10020</value> </property> <property> <name>mapred ...
分类：
其他好文 时间：
2017-04-19 10:14:35
阅读次数：
171
hadoop配置文件 默认配置文件：四个模块相对应的jar包中：$HADOOP_HOME/share/hadoop *core-default.xml *hdfs-default.xml *yarn-default.xml *mapred-default.xml 用户自定义配置文件：$HADOOP_ ...
分类：
其他好文 时间：
2017-04-19 10:13:25
阅读次数：
215
1.关闭防火墙service iptables stop，（已经这是开机关闭的忽略） 2.进入hadoop目录，修改hadoop配置文件（4个） core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 3.开启服务 1.开始namenode ...
分类：
其他好文 时间：
2017-04-18 23:52:40
阅读次数：
340
MapReduce是Hadoop2.x的一个计算框架，利用分治的思想，将一个计算量很大的作业分给很多个任务，每个任务完成其中的一小部分，然后再将结果合并到一起。将任务分开处理的过程为map阶段，将每个小任务的结果合并到一起的过程为reduce阶段。下面先从宏观上介绍一下客户端提交一个作业时，Hado ...
分类：
其他好文 时间：
2017-04-16 17:51:16
阅读次数：
179
Hadoop生产环境搭建 1. 将安装包hadoop-2.x.x.tar.gz存放到某一目录下，并解压。 2. 修改解压后的目录中的文件夹etc/hadoop下的配置文件（若文件不存在，自己创建。） 包括hadoop-env.sh,mapred-site.xml,core-site.xml,hdfs... ...
分类：
其他好文 时间：
2017-04-15 18:26:10
阅读次数：
123
