hadoop dfs -cat xxxhadoop dfs -ls [xxx]hadoop dfs -rm xxx删除目录及其内容hadoop dfs -rmr xxx 查看子目录数、文件数及大小hadoop dfs -count xxx 查看目录大小hadoop dfs -du xxxhadoop...
分类：
其他好文 时间：
2014-07-12 00:22:25
阅读次数：
164
-Djetty.port=8101 jetty:runtomcat6:run org.apache.tomcat.maven tomcat6-maven-plugin 2.2 ...
分类：
系统相关 时间：
2014-07-11 23:52:16
阅读次数：
570
持久化session 背景 使用maven管理项目，使用jetty插件启动项目，虽然jetty是热部署的，但是没有配置的jetty并不算真正的热部署。因为在没有配置前每次热部署都会把session丢了。导致测试期间的数据丢失，重来一遍很麻烦。 本人使用的是jetty-maven-plugin,...
分类：
其他好文 时间：
2014-07-11 23:35:49
阅读次数：
342
import org.apache.hadoop.io.Text;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.C...
分类：
其他好文 时间：
2014-07-11 23:34:33
阅读次数：
231
hadoop2分布式安装后总是报这个bug2014-07-06 08:22:40,506 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (....
分类：
其他好文 时间：
2014-07-11 19:02:38
阅读次数：
364
Hadoop的配置文件解释hadoop-env.sh: 用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等；core-site.xml: 用于定义系统级别的参数，它作...
分类：
其他好文 时间：
2014-07-11 13:05:01
阅读次数：
275
1.配置环境说明 spark:5台zybo板，192.168.1.1master，其它4台为slave hadoop：192.168.1.1（外接SanDisk ) 2.单节点hadoop测试： 如果出现内存不足情况如下： 查看当前虚拟内存容量： free -m cd /mnt mkdir swap...
分类：
其他好文 时间：
2014-07-11 11:38:44
阅读次数：
407
线上一个job出错，报错信息如下：DiagnosticMessagesforthisTask:
Error
:
java.io.IOException:java.io.EOFException:Unexpectedendofinputstream
atorg.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderNextException(HiveIOExceptionHandlerChain.jav..
分类：
其他好文 时间：
2014-07-09 08:40:55
阅读次数：
347
最近学习hadoop，建了个工程，由于是引入的jar包，不方便阅读，百度了一下，发现还是各种麻烦，在这里给大家介绍一种简单的办法，两步搞定一.下载hadoop完整包并解压二.选择hadoopjar包---》右键属性--》source---》外部文件夹（选择解压的目录就可以了）三.看成果是不是方便多..
分类：
系统相关 时间：
2014-07-09 08:32:45
阅读次数：
219
今天收到线上的resourcemanager报警：报错信息如下：2014-07-0813:22:54,118INFOorg.apache.hadoop.yarn.util.AbstractLivelinessMonitor:Expired:xxxx:53356Timedoutafter600secs
2014-07-0813:22:54,118INFOorg.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl..
分类：
其他好文 时间：
2014-07-09 08:21:41
阅读次数：
436
