详情可以参考《Mahout实战》的第六章代码：package mahout.wiki;import java.io.IOException;import java.util.ArrayList;import java.util.Collections;import java.util.Iterato...
分类：
其他好文 时间：
2014-08-06 18:37:01
阅读次数：
315
导入表的所有字段sqoop import --connect jdbc:oracle:thin:@192.168.1.100:1521:ORCL \--username SCOTT --password tiger \--table EMP -m 1;查看执行结果：hadoop fs -cat /u...
分类：
数据库 时间：
2014-08-06 18:11:53
阅读次数：
434
sqoop产生背景多数是用Hadoop技术处理大数据业务的企业有大量的数据存储在传统的关系型数据库（RDBMS）中；由于缺乏工具的支持、对Hadoop和传统数据库系统中的数据进行相互传输是一件十分困难的事情；Sqoop就是一个在RDBMS和Hadoop之间进行数据传输的项目；sqoop概述sqoop...
分类：
其他好文 时间：
2014-08-06 18:04:35
阅读次数：
236
今天安装了hbase想做下测试，结果发现在创建表时报错“can't get master address from zookeeper, zookeeper date = null”，大致是这样描述的，之后查看日志，发现hbase在启动zookeeper时确实报错了，查阅了网上的资料，说hbas.....
分类：
其他好文 时间：
2014-08-06 17:27:52
阅读次数：
218
background:项目中的一个小工具，是一个Cron Job ，每天去搜集下服务器Hadoop Job的运行状态，并生成一份报告发送给整个Team，生产报告的同时把相关的日志文件保存到固定的一台机子上，方便以后查看和分析，因为生产环境上的Log只保存7天。问题：日志是保存上固定的目录下面，而且是...
分类：
数据库 时间：
2014-08-06 17:18:31
阅读次数：
360
《Hadoop高级编程——构建与实现大数据解决方案》有奖试读，点击查看图书详情...
分类：
其他好文 时间：
2014-08-06 14:55:41
阅读次数：
294
Commands useful for administrators of a hadoop cluster.balancerRuns a cluster balancing utility. An administrator can simply press Ctrl-C to stop the ...
分类：
其他好文 时间：
2014-08-06 08:24:11
阅读次数：
345
archiveCreates a hadoop archive【v.存档; n.档案文件;档案室; 】. More information can be found at Hadoop Archives.distcpCopy file or directories recursively. More...
分类：
其他好文 时间：
2014-08-06 08:23:31
阅读次数：
202
1 概述
为了增大并发性，Yarn采用事件驱动的并发模型，将各种处理逻辑抽象成事件和调度器，将事件的处理过程用状态机表示。什么是状态机？
如果一个对象，其构成为若干个状态，以及触发这些状态发生相互转移的事件，那么此对象称之为状态机。
处理请求作为某种事件发送到系统中，由一个中央调度器传递给对应的事件调度器，进而对事件进行处理，处理完成之后再次发送给中央调度...
分类：
其他好文 时间：
2014-08-05 22:34:40
阅读次数：
232
1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业，在2008年，Hadoop在1TB排序基准评估中赢得第一名，耗时209秒。那么Terasort在Hadoop中是怎样实现的呢？本文主要从算法设计角度分析Terasort作业。2、算法思想实际上，...
分类：
其他好文 时间：
2014-08-05 22:28:20
阅读次数：
357
