最近集群准备升级到cdh5.2.0，并使用tez，在测试集群cdh5.2.0已经稳定运行了很长时间，因此开始折腾hiveontez了，期间遇到不少问题，这里记录下。hiveontez的部署比较简单，可以参考wiki.主要注意几个地方1.编译的时候mvncleanpackage-Dtar-DskipTests=true-Dmaven.javadoc.ski..
分类：
其他好文 时间：
2015-01-15 01:52:44
阅读次数：
1156
在测试hive0.14.0ontez时遇到的问题比较多：1.在使用cdh5.2.0+hive0.14.0+tez-0.5.0测试时，首先遇到下面的问题java.lang.NoSuchMethodError:org.apache.tez.dag.api.client.Progress.getFailedTaskAttemptCount()I
atorg.apache.hadoop.hive.ql.exec.tez.TezJobMonitor.printS..
分类：
其他好文 时间：
2015-01-15 01:50:47
阅读次数：
441
工欲善其事，必先利其器，啥都不说，hadoop下载：http://archive.cloudera.com/cdh5/cdh/5/ 选择好相应版本搞起
在本文讲述的是 围绕hadoop-2.3.0-cdh5.1.2版本安装过程。（安装环境为自己在VMWare 10里面搭建的三台linux 虚拟机）
1、hadoop 是大apache开源的分布式离线计算框架，语言：java，既然这样，要想搭建...
分类：
其他好文 时间：
2015-01-13 19:49:37
阅读次数：
340
环境：cdh5.1.0
方法1.
启用协处理器 Aggregation(Enable Coprocessor Aggregation)
我们有两个方法：1.启动全局aggregation，能过操纵所有的表上的数据。通过修改hbase-site.xml这个文件来实现，只需要添加如下代码：
hbase.coprocessor.user.region.classes
o...
分类：
其他好文 时间：
2015-01-12 19:18:46
阅读次数：
167
本章我们安装了时钟同步环境，以便后续的安装中，所有服务器有相同的时间...
分类：
其他好文 时间：
2015-01-10 22:22:06
阅读次数：
222
Hadoop是一个复杂的系统组合，搭建一个用于生产的Hadoop环境是一件非常麻烦的事情。但这个世界上总有一些牛人会帮你解决一些看似痛苦的问题，如果现在没有，那也是早晚的事。CDH是Cloudera旗下的Hadoop套装环境，CDH的相关介绍请各位亲自己查阅www.cloudera.com，我就不再多说了。这里主要是介绍使用CDH5.3安装一个可以用于生产的Hadoop环境。虽然人家Cloudera牛人帮你解决了hadoop安装的问题，但随之而来的是：Cloudera Manager的安装不比hadoop的...
分类：
其他好文 时间：
2015-01-09 23:48:10
阅读次数：
514
离线安装ClouderaManager5.3关于CDH和ClouderaManagerCDH(Cloudera‘sDistribution,includingApacheHadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的ApacheHadoop构建，并集成了很多补丁，可直接用于生产环境（本次项目环境使用了4个节点的CDH5.1.3版本）。C..
分类：
其他好文 时间：
2015-01-08 07:07:05
阅读次数：
454
正在准备做Spark SQL external data source与关系型数据库交互的部分，参考下Sqoop2是如何操作关系型数据库的。下载地址：http://archive.cloudera.com/cdh5/cdh/5/下载并安装：cd /home/spark/app/wget http:/...
分类：
其他好文 时间：
2015-01-07 18:19:09
阅读次数：
373
