码迷,mamicode.com
首页 >  
搜索关键字:hadoop 安全模式    ( 14428个结果
hadoop dfs常用命令
hadoop dfs -cat xxxhadoop dfs -ls [xxx]hadoop dfs -rm xxx删除目录及其内容hadoop dfs -rmr xxx 查看子目录数、文件数及大小hadoop dfs -count xxx 查看目录大小hadoop dfs -du xxxhadoop...
分类:其他好文   时间:2014-07-12 00:22:25    阅读次数:164
hadoop分类输出
import org.apache.hadoop.io.Text;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.C...
分类:其他好文   时间:2014-07-11 23:34:33    阅读次数:231
20140709 datanode bug
hadoop2分布式安装后总是报这个bug2014-07-06 08:22:40,506 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (....
分类:其他好文   时间:2014-07-11 19:02:38    阅读次数:364
Hadoop配置参数
Hadoop的配置文件解释hadoop-env.sh: 用于定义hadoop运行环境相关的配置信息,比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等;core-site.xml: 用于定义系统级别的参数,它作...
分类:其他好文   时间:2014-07-11 13:05:01    阅读次数:275
Learn ZYNQ(10) – zybo cluster word count
1.配置环境说明 spark:5台zybo板,192.168.1.1master,其它4台为slave hadoop:192.168.1.1(外接SanDisk ) 2.单节点hadoop测试: 如果出现内存不足情况如下: 查看当前虚拟内存容量: free -m cd /mnt mkdir swap...
分类:其他好文   时间:2014-07-11 11:38:44    阅读次数:407
20140709 NameNode bug2
我用命令:bin/hdfsnamenode-format 格式化NameNode时报下面的错:14/07/09 17:12:49 WARN namenode.NameNode: Encountered exception during format: org.apache.hadoop.hdfs.q...
分类:其他好文   时间:2014-07-11 11:01:55    阅读次数:282
storm学习之入门篇(一)
海量数据处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞吐量大、自动容错等优点,在海量数据处理上得到了广泛的使用。但是,hadoop不擅长实时计算,因为它天然就是为批处理而生的,这也是业界一致的共识。否则最近这两年也不会有s4,storm,puma这些实时计...
分类:其他好文   时间:2014-07-11 10:00:17    阅读次数:213
Hive学习路线图
Hive学习路线图Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, C...
分类:其他好文   时间:2014-07-11 08:48:52    阅读次数:291
HDFS详解
【一】HDFS简介 HDFS的基本概念1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是,HDFS中,如果一...
分类:其他好文   时间:2014-07-10 16:51:14    阅读次数:304
Hadoop体系结构
HDFS和Mapreduce是Hadoop的两大核心。整个Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持,MapReduce来实现分布式并行任务处理的程序支持。HDFSHDFS采用了主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个Data...
分类:其他好文   时间:2014-07-10 15:36:19    阅读次数:204
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!