hadoop dfs -cat xxxhadoop dfs -ls [xxx]hadoop dfs -rm xxx删除目录及其内容hadoop dfs -rmr xxx 查看子目录数、文件数及大小hadoop dfs -count xxx 查看目录大小hadoop dfs -du xxxhadoop...
分类:
其他好文 时间:
2014-07-12 00:22:25
阅读次数:
164
import org.apache.hadoop.io.Text;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.C...
分类:
其他好文 时间:
2014-07-11 23:34:33
阅读次数:
231
hadoop2分布式安装后总是报这个bug2014-07-06 08:22:40,506 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (....
分类:
其他好文 时间:
2014-07-11 19:02:38
阅读次数:
364
Hadoop的配置文件解释hadoop-env.sh: 用于定义hadoop运行环境相关的配置信息,比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等;core-site.xml: 用于定义系统级别的参数,它作...
分类:
其他好文 时间:
2014-07-11 13:05:01
阅读次数:
275
1.配置环境说明 spark:5台zybo板,192.168.1.1master,其它4台为slave hadoop:192.168.1.1(外接SanDisk ) 2.单节点hadoop测试: 如果出现内存不足情况如下: 查看当前虚拟内存容量: free -m cd /mnt mkdir swap...
分类:
其他好文 时间:
2014-07-11 11:38:44
阅读次数:
407
我用命令:bin/hdfsnamenode-format 格式化NameNode时报下面的错:14/07/09 17:12:49 WARN namenode.NameNode: Encountered exception during format: org.apache.hadoop.hdfs.q...
分类:
其他好文 时间:
2014-07-11 11:01:55
阅读次数:
282
海量数据处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞吐量大、自动容错等优点,在海量数据处理上得到了广泛的使用。但是,hadoop不擅长实时计算,因为它天然就是为批处理而生的,这也是业界一致的共识。否则最近这两年也不会有s4,storm,puma这些实时计...
分类:
其他好文 时间:
2014-07-11 10:00:17
阅读次数:
213
Hive学习路线图Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, C...
分类:
其他好文 时间:
2014-07-11 08:48:52
阅读次数:
291
【一】HDFS简介 HDFS的基本概念1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是,HDFS中,如果一...
分类:
其他好文 时间:
2014-07-10 16:51:14
阅读次数:
304
HDFS和Mapreduce是Hadoop的两大核心。整个Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持,MapReduce来实现分布式并行任务处理的程序支持。HDFSHDFS采用了主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个Data...
分类:
其他好文 时间:
2014-07-10 15:36:19
阅读次数:
204