目的:本文描述怎么安装和配置一个单结点的Hadoop,以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS);先决条件:支持的平台GNU/Linux
可用作开发和生产平台. Hadoop 在GNU/Linux clusters with 2000 no...
分类:
其他好文 时间:
2014-07-22 23:14:55
阅读次数:
435
本博文议程如下:1、生产情况应用案例2、NFS客户端可挂载的参数3、人为模拟错误的学习方法4、NFS在网站架构中的位置5、NFS的优缺点议程1、生产情况实际案例概述:实现当多台客户端同时挂载一台NFSServer时,无论从哪个客户端写入数据,其他客户端同样可以读写,即让所有NFS客户..
分类:
其他好文 时间:
2014-05-02 08:03:44
阅读次数:
608
1.在开发板具体操作步骤如下:1.1 :设置IPifconfig
eth0172.27.52.2001.2 :ping通 虚拟机Linux 主机Linuxping XXX.XXX.XXX.XXX1.3.挂接mount -t
nfs -o nolock XXX.XXX.XXX.XXX:/work/nf...
分类:
系统相关 时间:
2014-05-01 22:28:55
阅读次数:
792
一、Hadoop概述
hadoop由两部分组成,分别是分布式文件系统和分布式计算框架MapReduce。其中,分布式文件系统主要用于大规模数据的分布式存储,而MapReduce 则构建在分布式文件系
统之上,对存储在分布式文件系统中的数据进行分布式计算。
2、在Hadoop 中,MapReduce 底层的分布式文件系统是独立模块,用户可按照约定的一套接口实现自己的分布式文件系统,然后经过简单...
分类:
其他好文 时间:
2014-05-01 18:34:41
阅读次数:
382
javaScript 关于Windows
1 Windows 对象
所有浏览器都支持 window 对象。它表示浏览器窗口。
所有 JavaScript 全局对象、函数以及变量均自动成为 window 对象的成员。
全局变量是 window 对象的属性。
全局函数是 window 对象的方法。
window.document.getElementById("header");
2...
分类:
编程语言 时间:
2014-04-30 22:27:39
阅读次数:
499
1.Hadoop简介Hadoop[h?du:p]实现了一个分布式文件系统(Hadoop
Distributed File
System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高传输率(high
throughput)来访问应用程序的数...
分类:
其他好文 时间:
2014-04-30 03:17:00
阅读次数:
604
1、Map-Reduce的逻辑过程
假设我们需要处理一批有关天气的数据,其格式如下:
按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中第25位是符号+/-
0067011990999991950051507+0000+
0043011990999991950051512+0022+
00430119...
分类:
其他好文 时间:
2014-04-29 13:22:20
阅读次数:
309
一、NFS的配置
NFS主要用于Libera系统的软件安装,数据存储等。通常NFS安装于一台Linux
PC机上,在Libera的嵌入式系统上挂载该远程文件系统,可以方便的为Libera安装和更新软件,以及导出采集到的数据。1、Ubuntu默认没有nfs服务,需要自己安装nfs服务
$sudo a....
分类:
其他好文 时间:
2014-04-28 15:05:37
阅读次数:
484
简述
经过这几天对Glusterfs的分析, 对其体系结构已经有了初步的理解。 值得庆贺的一点就是 Glusterfs 的整个体系结构非常清晰, 高度模块化的设计使得我们对他的理解和扩展变得比较容易。
我打算从下面几步来分析其体系结构:
1. 给出几个从网络上收集的结构图, 用以帮助我们来从整理上认识其体系结构。
2. 以 Glusterfs 的一个客户端配置文件入手, 来理解...
分类:
其他好文 时间:
2014-04-27 22:24:56
阅读次数:
839
合并并且排序指针数组和二维数组里面存放的字符串用函数调用的格式,C里面的内存模型;
#define _CRT_SECURE_NO_WARNINGS
#include"stdio.h"
#include"stdlib.h"
#include"string.h"
char **sortArray1Array2_01(char **pArray1, int nArray1Num, char(*pArray2)[30], int nArray2Num, int *nArray3Num)...
分类:
其他好文 时间:
2014-04-27 22:16:05
阅读次数:
411