是在reduce阶段报的错误，详细错误信息是 我的hive版本是hive-0.13.1+cdh5.3.6+397 执行的脚本是： 注意，iptocode是个UDF 然后网上查到：https://issues.apache.org/jira/browse/HIVE-5771 我理解，这个是hive的b ...
分类：
编程语言 时间：
2016-06-12 20:16:15
阅读次数：
661
后儿就放假了，上班这心真心收不住，为了能充实的度过这难熬的两天，我决定搞个大工程。。。。。ps：我为啥这么期待放假呢，在沙发上像死人一样躺一天真的有意义嘛。。。。。。。 当然版本：hadoop2.3.0cdh5.0.2 机器： 目标版本：hadoop2.6.0cdh5.7.0 升级方式：Upgrad ...
分类：
其他好文 时间：
2016-06-07 16:17:00
阅读次数：
252
一、 准备工作 1. 需求条件网速好因为是线上安装，所以要求要有比较大的带宽，特别是并行安装台服务器时。 网络稳一旦网络中断，可能你花费了半天或则一天的时间，就有可能会浪费，然后重装。 内存大最少要求10G以上内存，特别NameNode节点分配的角色较多，占用内存会更多。 2. 安装环境 安装版本OS：CentOS 6.7CM：Cloudera Manager5.7CHD：Clo...
分类：
其他好文 时间：
2016-06-02 13:42:16
阅读次数：
552
http://blog.javachen.com/2014/06/24/tuning-in-mapreduce/ 本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）： core-default.xml hdf ...
分类：
其他好文 时间：
2016-05-27 23:35:44
阅读次数：
194
在CDH5.5.2上运行spark1.5的程序，运行起来就直接shutdown，并报出如下的异常： INFO YarnClientSchedulerBackend: SchedulerBackend is ready for scheduling beginning after waiting ma ...
分类：
其他好文 时间：
2016-05-24 01:45:29
阅读次数：
780
1，安装cloudera-manager-agent 时，报错，报端口80问题， 开启80端口 firewall-cmd --zone=public --add-port=80/tcp --permanent 出现success表明添加成功 命令含义： --zone #作用域 --add-port= ...
分类：
其他好文 时间：
2016-05-23 15:02:07
阅读次数：
334
配置 CDH 本地 YUM1. 解压介质到本地 [root@localhost CDH]# tar zxvf cm5.2.0-centos6.tar.gz 2. 创建软连接 [root@localhost CDH]# mv cm /opt/ [root@localhost opt]# ln -s / ...
分类：
其他好文 时间：
2016-05-19 21:24:05
阅读次数：
268
CDH5.6.0
官方安装文档：http://www.cloudera.com/documentation/enterprise/5-6-x/topics/installation.html
相关包的下载地址：
Cloudera Manager地址：http://archive.cloudera.com/cm5/cm/5/
CDH安装包地址：http://http://archive.cloudera.co...
分类：
系统相关 时间：
2016-05-19 10:49:50
阅读次数：
611
一、对于CDH的小总结： CDH：是Cloudera公司在Apache开源项目hadoop的基础上发型的，共有五个版本前两个已不再更新，最经的两个分别是CDH4（基于hadoop2.0.0版本演化而来）、CDH5（每隔一段时间就会有更新） CDH与Apache hadoop的区别：1.CDH的版本更 ...
分类：
其他好文 时间：
2016-05-13 10:11:48
阅读次数：
156
CDH5包下载：http://archive.cloudera.com/cdh5/ 主机规划： IP Host 部署模块 进程 192.168.107.82 Hadoop-NN-01 NameNode ResourceManager NameNode DFSZKFailoverController ...
分类：
其他好文 时间：
2016-05-02 13:10:29
阅读次数：
244
