环境如下： Centos6.5 Apache Hadoop2.7.1 Apache Hbase0.98.12 Apache Zookeeper3.4.6 JDK1.7 Ant1.9.5 Maven3.0.5 最近在测Hbase的压缩，Hadoop安装了lzo和snappy，插入50条文本数据，每条数...
分类：
其他好文 时间：
2016-01-06 11:34:55
阅读次数：
131
转载自：http://my.oschina.net/muou/blog/408543【木偶：Windows下使用Hadoop2.6.0-eclipse-plugin插件】 对于一些细节地方，我进行了补充。 一．简介 Hadoop2.x之后没有Eclipse插件工具，我们就不能在Ecli...
课程观看地址：http://www.xuetuwuyou.com/course/62课程出自学途无忧网：http://www.xuetuwuyou.com一、软件版本Centos6.5、VMware10CDH5.2.0（Hadoop2.5.0）Hive-0.13sqoop-1.4.5二、学完课程之后，您可以：①、一个人搞定企业Hadoop平台搭建和运维工作；界面化高效运维和监..
分类：
其他好文 时间：
2016-01-04 17:04:21
阅读次数：
219
一 、新建用户和用户组 注明：（这个步骤事实上能够不用的。只是单独使用一个不同的用户好一些） 1.新建用户组 sudo addgroup hadoop 2.新建用户sudo adduser -ingroup hadoop hadoop 3.加入hadoop用户权限 sudo gedit /etc.....
分类：
系统相关 时间：
2015-12-28 11:58:32
阅读次数：
234
代码測试环境：Hadoop2.4应用场景：当须要定制输出数据格式时能够採用此技巧，包含定制输出数据的展现形式。输出路径。输出文件名称称等。Hadoop内置的输出文件格式有：1）FileOutputFormat 经常使用的父类。2）TextOutputFormat 默认输出字符串输出格式。3）Sequ...
分类：
其他好文 时间：
2015-12-23 21:11:47
阅读次数：
275
参见：http://www.powerxing.com/install-hadoop/完全拷贝至上面网址环境本教程使用 Ubuntu 14.04 64位 作为系统环境（Ubuntu 12.04 也行，32位、64位均可），请自行安装系统。如果用的是 RedHat/CentOS 系统，请查看相应的Ce...
分类：
系统相关 时间：
2015-12-21 07:07:07
阅读次数：
403
hadoop：hadoop2.2 ，windows myeclipse环境；Eclipse调用hadoop运行MR程序其实就是普通的java程序可以提交MR任务到集群执行而已。在Hadoop1中，只需指定jt（jobtracker）和fs（namenode）即可，一般如下：[java]view pl...
分类：
系统相关 时间：
2015-12-20 22:37:52
阅读次数：
484
一.自己搭建开发环境 今天自己搭建了一套Centos5.3 + Hadoop2.2 + Hbase0.96.1.1的开发环境，Win7 Eclipse调试MapReduce成功。可能是版本比较高的原因，出了问题，网上找不到完整解决方案，只能靠自己。二.Hadoop安装 这个就不啰嗦了，网上大把文章。...
以hdfsreader到hdfswriter为例进行说明：1.datax的任务配置文件里需要指明使用的hadoop的配置文件，在datax+hadoop1.X的时候，可以直接使用hadoop1.X/conf/core-site.xml;但是当要datax+hadoop2.X的时候，就需要将hadoo...
分类：
其他好文 时间：
2015-12-18 18:59:27
阅读次数：
197
踩坑贴，自己记录一下，免得以后再掉进去当前版本：HADOOP2.7.11.主机名和IP地址尽管hadoop文档里说了可以用ip地址配置，但却行不通，必须要配置主机名。主机名的坑：不允许包含下划线，如果包含下划线，报错信息更是让人看不懂。2.hiveserve的坑hiveserve2和在服务器上执行hiv..
分类：
其他好文 时间：
2015-12-18 14:57:00
阅读次数：
148
