----本文大纲分布式文件系统MogileFS环境安装及配置代理测试-------------一、分布式文件系统分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连，也就是集群文件系统，可以支持大数量的节点以..
分类：
其他好文 时间：
2014-05-10 09:05:12
阅读次数：
568
本Hadoop与HBase集群有1台NameNode, 7台DataNode
1. /etc/hostname文件
NameNode:
node1
DataNode 1:
node2
DataNode 2:
node3
.......
DataNode 7:
node8
2. /etc/hosts文件
N...
分类：
其他好文 时间：
2014-05-10 04:55:08
阅读次数：
386
一、 概念知识介绍
Hadoop MapReduce是一个用于处理海量数据的分布式计算框架。这个框架解决了诸如数据分布式存储、作业调度、容错、机器间通信等复杂问题，可以使没有并行 处理或者分布式计算经验的工程师，也能很轻松地写出结构简单的、应用于成百上千台机器处理大规模数据的并行分布式程序。
Hadoop MapReduce基于“分而治之”的思想，将计算任务...
分类：
其他好文 时间：
2014-05-10 04:39:09
阅读次数：
570
声明: 若要转载, 请标明出处.
前提: 在对于大量的数据导入到HBase中, 如果一条一条进行插入, 则太耗时了, 所以可以先采用MapReduce生成HFile文件, 然后使用BulkLoad导入HBase中.
引用:
一、这种方式有很多的优点：
1. 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源， 一个比较高效便捷的方法就是使用 “Bulk...
分类：
其他好文 时间：
2014-05-10 04:33:38
阅读次数：
513
1. Hadoop中遇到的问题
以前所遇到的问题由于没有记录,所以忘了
(1)NameNode没有启动成功, 是由于你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件中的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件中dfs.name.dir参数所指定的路径下的current文件夹中, 对于DataNode节点...
分类：
其他好文 时间：
2014-05-10 04:28:25
阅读次数：
475
AIX5.3下Oracle10gRAC启动故障--CRS启动失败系统环境：操作系统：AIX5300-09集群软件：CRS10.2.0.1数据库：Oracle10.2.0.1系统架构图故障现象：系统重启后，在节点上CRS启动失败或CRS服务启动成功，CRSResource无法ONLINE。[root@aix213racg]cat/etc/hosts127.0.0.1loopbackloc..
分类：
数据库 时间：
2014-05-10 03:57:53
阅读次数：
1163
1、环境描述
一台10.0.0.201SQL节点、管理节点
一台10.0.0.202做一个数据节点
一台10.0.0.203做一个数据节点
2、安装Mysql_custter
在MGM管理节点、SQL节点、NDB节点执行同一操作
#:groupaddmysql
#:useraddmysql-gmysql-s/sbin/nologin
#:tar–xvfmysql-cluster-gpl-7.1.15-l..
分类：
数据库 时间：
2014-05-10 03:57:21
阅读次数：
473
spark shuffle流程分析
回到ShuffleMapTask.runTask函数
现在回到ShuffleMapTask.runTask函数中：
overridedef runTask(context:TaskContext):
MapStatus = {
首先得到要reduce的task的个数。
valnumOutputSplits=
dep.partitioner.num...
分类：
其他好文 时间：
2014-05-09 22:58:33
阅读次数：
574
很多人在学习Nutch、Hadoop或者熟悉Linux操作系统时都会选择在VMWare上安装Linux虚拟机，而又往往不想分配给Linux虚拟机足够大的硬盘空间，这就容易导致使用Linux一段时间后，发现虚拟机上的硬盘空间不够了，此时怎么解决？有的人直接选择了重新安装Linux虚拟机，但是下一次硬盘又不够了呢，还要重新安装操作系统吗，那再下一次呢？这种方法势必会进入一个重复无聊的过程，除了增加安装...
分类：
系统相关 时间：
2014-05-09 21:52:40
阅读次数：
526
AIX5.3InstallOracle10gRAC错误集锦--9iRACPresent系统环境：操作系统：AIX5300-08集群软件：CRS10.2.0.1数据库：Oracle10.2.0.1系统架构图故障现象：解决方法：[root@aix215tmp]#cat/etc/oratab#ThisfileisusedbyORACLEutilities.Itiscreatedbyroot.sh#andupdatedbytheDatabas..
分类：
数据库 时间：
2014-05-09 21:46:15
阅读次数：
596
