hadoop dfs -cat xxxhadoop dfs -ls [xxx]hadoop dfs -rm xxx删除目录及其内容hadoop dfs -rmr xxx 查看子目录数、文件数及大小hadoop dfs -count xxx 查看目录大小hadoop dfs -du xxxhadoop...
分类：
其他好文 时间：
2014-07-12 00:22:25
阅读次数：
164
import org.apache.hadoop.io.Text;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.C...
分类：
其他好文 时间：
2014-07-11 23:34:33
阅读次数：
231
最近Git火得如日中天，而且速度体验和团队模式都很不错。手头正好有个学生实训项目，时间紧任务重，而且学校内网管理太紧，所以就想借助于Internet的分布式开发，因此想到了Github。 经过一天的调试，终于把环境搭建好了，中间遇到了很多小细节问题，走了很多弯路，分享出来，以免后来者重倒覆辙。安装....
分类：
系统相关 时间：
2014-07-09 19:26:16
阅读次数：
333
1.3 Java语言的环境搭建
?
明确什么是JRE,JDK
?
下载JDK
?
安装JDK
?
配置环境变量
?
验证是否成功
1.3.1 什么是JRE,JDK?
JRE(Java Runtime Environment Java运行环境)
包括Java虚拟机(JVM Java Virtual Machine)和Java程序所需的核心类
库等，如果想要运行一个开发...
分类：
编程语言 时间：
2014-07-09 12:07:39
阅读次数：
220
Hadoop分布式平台的大数据解决方案
讲师：迪伦
对这个课程有兴趣的可以加我qq2059055336联系我
1 课程背景
GREENPLUM适用场景
Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中，每个 SMP 节点也可以运行自己的操作系统、数据库等，它的特点主要就是查询速度快，数据装载速度快，批量DML处理快。而且性能可以随着硬件的添加，呈线性增加...
分类：
其他好文 时间：
2014-07-09 11:36:26
阅读次数：
205
1、从HDFS中读取数据
Configuration conf = getConf();
Path path = new Path(pathstr);
FileSystem fs = FileSystem.get(conf);
FSDataInputStream fsin= fs.open(path );
BufferedReader br =null;
Strin...
分类：
其他好文 时间：
2014-07-09 09:17:40
阅读次数：
290
线上一个job出错，报错信息如下：DiagnosticMessagesforthisTask:
Error
:
java.io.IOException:java.io.EOFException:Unexpectedendofinputstream
atorg.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderNextException(HiveIOExceptionHandlerChain.jav..
分类：
其他好文 时间：
2014-07-09 08:40:55
阅读次数：
347
最近学习hadoop，建了个工程，由于是引入的jar包，不方便阅读，百度了一下，发现还是各种麻烦，在这里给大家介绍一种简单的办法，两步搞定一.下载hadoop完整包并解压二.选择hadoopjar包---》右键属性--》source---》外部文件夹（选择解压的目录就可以了）三.看成果是不是方便多..
分类：
系统相关 时间：
2014-07-09 08:32:45
阅读次数：
219
通过HBaseAdmin维护表（创建，删除表）importorg.apache.hadoop.conf.Configuration;
importorg.apache.hadoop.hbase.HBaseConfiguration;
importorg.apache.hadoop.hbase.HColumnDescriptor;
importorg.apache.hadoop.hbase.HTableDescriptor;
importorg.apache.hadoop.hbase...
分类：
编程语言 时间：
2014-07-09 08:28:58
阅读次数：
170
今天收到线上的resourcemanager报警：报错信息如下：2014-07-0813:22:54,118INFOorg.apache.hadoop.yarn.util.AbstractLivelinessMonitor:Expired:xxxx:53356Timedoutafter600secs
2014-07-0813:22:54,118INFOorg.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl..
分类：
其他好文 时间：
2014-07-09 08:21:41
阅读次数：
436
