Spark Standalone模式常见的HA部署方式有两种：基于文件系统的HA和基于ZK的HA本篇只介绍基于ZK的HA环境搭建：$SPARK_HOME/conf/spark-env.sh添加SPARK_DAEMON_JAVA_OPTS的配置信息：export SPARK_DAEMON_JAVA_O...
分类：
其他好文 时间：
2014-07-16 20:27:12
阅读次数：
187
HDFS中的NameNode、DataNode、Secondery NameNode是如何在磁盘上组织和存储持久化数据的？下面将分别进行介绍。注意，这里主要介绍的是Hadoop 2.0以前的版本，Hadoop 2.0以后版本文件结构稍微有一些变化，因为目前我们还没有使用hadoop 2.0，所以后面...
分类：
其他好文 时间：
2014-07-12 08:52:04
阅读次数：
544
我用命令：bin/hdfsnamenode-format 格式化NameNode时报下面的错：14/07/09 17:12:49 WARN namenode.NameNode: Encountered exception during format: org.apache.hadoop.hdfs.q...
分类：
其他好文 时间：
2014-07-11 11:01:55
阅读次数：
282
ERROR namenode.NameNode: java.io.IOException: Cannot lock storage /tmp/hadoop-root/dfs/name. The directory is already locked....
分类：
其他好文 时间：
2014-07-11 00:23:43
阅读次数：
362
1.使用命令行操作1）4个通用命令行<1>archive归档文件的创建用途：由于hadoop的设计是为了处理大数据，理想的数据应该blocksize的倍数。namenode在启动时会将所有的元数据load到内存中当大量小于blocksize的文件存在的时候，，不仅占用了大量的存储空间，也占用了大量的n..
分类：
其他好文 时间：
2014-07-10 18:56:21
阅读次数：
353
HDFS和Mapreduce是Hadoop的两大核心。整个Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持，MapReduce来实现分布式并行任务处理的程序支持。HDFSHDFS采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个Data...
分类：
其他好文 时间：
2014-07-10 15:36:19
阅读次数：
204
namenode启动参数：-Xmx153600m -Xms153600m -Xmn4096m -verbose:gc -Xloggc:$ODPS_GC_LOG_DIR/namenode.gc.log -XX:ErrorFile=$ODPS_LOG_DIR/hs_err_pid.log -XX:+Pr...
分类：
其他好文 时间：
2014-07-09 14:55:32
阅读次数：
517
1.文件的读取在客户端执行读取操作时，客户端和HDFS交互过程以及NameNode和各DataNode之间的数据流是怎样的？下面将围绕图1进行具体讲解。 图 1 客户端从HDFS中读取数据1）客户端通过调用FileSystem对象中的open()函数来读取它做需要的数据。FileS...
分类：
其他好文 时间：
2014-07-09 13:58:58
阅读次数：
824
by garrie 一 单词和发音 1 Mandarin 国语，普通话 Cantonese 广东话，粤语 custom patch 自定义补丁 dual 两部分的 2 happiness [ha-pi-nest] different [dif–rent] despi...
分类：
移动开发 时间：
2014-07-08 22:45:22
阅读次数：
252
一、部署环境：服务器版本：CentOS6.5双主热备模式：VIP：192.168.3.30（MASTER上）VIP：192.168.3.32（BACKUP上）主机网络参数：接口MASTERBACKUP说明eth1192.168.3.23192.168.3.24内网管理IPeth2192.168.5.23192.168.5.24心跳线eth3192.168.2.23192.168.2.24外网（临时下载文..
分类：
其他好文 时间：
2014-07-08 09:31:20
阅读次数：
388
