目录(?)[-]还有另外一个httpstackoverflowcomquestions6610709undefined-symbols-for-architecture-i386Undefined symbols for architecture i386 _OBJC_CLASS__SKPSMTPM...
分类：
其他好文 时间：
2015-01-09 19:01:14
阅读次数：
149
我们的HDFS生产环境是Hadoop-0.21,机器规模200台，block在7KW左右. 集群每运行几个月，NameNode就会频繁FGC,最后不得不restart NameNode. 因此怀疑NameNode存在内存泄漏问题，我们dump出了NameNode进程在重启前后的对象统计信息。
07-10重启前:
num #instances #byt...
分类：
其他好文 时间：
2015-01-09 12:42:21
阅读次数：
253
环境：Hadoop1.2. 例1：读取一个大约200k大小的本地文件，并将其第101-120字节的内容写入HDFS成为一个新文 import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org....
分类：
编程语言 时间：
2015-01-09 01:55:19
阅读次数：
285
本地开发spark代码上传spark集群服务并运行（基于spark官网文档）...
分类：
Web程序 时间：
2015-01-08 20:15:02
阅读次数：
192
配置elasticsearch的存储路径为hdfs需要两步，安装插件 elasticsearch-hadoop，在联网的情况下在命令窗口运行：plugin -install elasticsearch/elasticsearch-hadoop/1.2.0即可。如果没有联网解压插件到plugins中即...
分类：
其他好文 时间：
2015-01-08 19:30:38
阅读次数：
404
之前按照这篇文章安装vim7.4，因为使用YCM和UltiSnips的缘故。在安装过程中make时，出现如下错误：
Undefined symbols for architecture x86_64:
"_iconv", referenced from:
_buf_write_bytes in fileio.o
_readfile in fileio.o
_my_iconv_ope...
分类：
系统相关 时间：
2015-01-08 18:11:37
阅读次数：
304
# (WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 > 为了部署HA集群,应该准备以下事情: * namenode服务器: 运行namenode的服务器应该有相同的硬件配置. * journalnode服务器:运行的journalnode进程...
分类：
其他好文 时间：
2015-01-08 13:33:04
阅读次数：
166
hive设置fs.hdfs.impl.disable.cache=true时,使用insert overwrite命令更改分区数据时会出现把分区的路径修改掉异常，根据源码排查了下出现该问题的原因！...
分类：
其他好文 时间：
2015-01-08 11:17:48
阅读次数：
343
http://www.tuicool.com/articles/VfEFjmNutch 2.x 与 Nutch 1.x 相比，剥离出了存储层，放到了gora中，可以使用多种数据库，例如HBase, Cassandra, MySql来存储数据了。Nutch 1.7 则是把数据直接存储在HDFS上。1....
分类：
其他好文 时间：
2015-01-08 11:16:36
阅读次数：
4606
引言 前提和设计目标 硬件错误 流式数据访问 大规模数据集 简单的一致性模型 “移动计算比移动数据更划算” 异构软硬件平台间的可移植性 Namenode 和 Datanode 文件系统的名字空间 (namespace) 数据复制 副本存放: 最最开始的一步 副本选择 安全模式 文件系统元数据的持久化...
分类：
其他好文 时间：
2015-01-08 11:12:54
阅读次数：
166
