目的:本文描述怎么安装和配置一个单结点的Hadoop,以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS);先决条件:支持的平台GNU/Linux
可用作开发和生产平台. Hadoop 在GNU/Linux clusters with 2000 no...
分类:
其他好文 时间:
2014-07-22 23:14:55
阅读次数:
435
基础配置:Hadoop 2.2.0,Hbase
0.96。四台集群机器,一台master,三台slave。三台slave上分别装gmond;namenode机器上设置datasource。客户端:安装wget:sudo
yum -y install wget安装epel库: a) 下载epel r....
分类:
其他好文 时间:
2014-07-22 23:08:34
阅读次数:
573
1. 下载YCSB 0.1.3:wget
https://github.com/brianfrankcooper/YCSB/archive/0.1.3.tar.gz2. 解压缩:tar zxvf
0.1.3.tar.gz3.安装ant:sudo yum install ant4.把hadoop和hb...
分类:
其他好文 时间:
2014-07-22 23:08:34
阅读次数:
412
CentOS 6.4 64位 源码编译hadoop 2.2.0搭建环境:Centos 6.4
64bit1、安装JDK参考这里2、安装mavenmaven官方下载地址,可以选择源码编码安装,这里就直接下载编译好的wget
http://mirror.bit.edu.cn/apache/maven/m...
分类:
其他好文 时间:
2014-05-01 15:17:23
阅读次数:
524
首先先说一下什么是WIF(Windows Identity
Foundation)。由于各种历史原因,身份验证和标识的管理一般都比较无规律可循。在软件里加入“身份验证”功能意味着要在你的代码里混进处理底层任务(如验证用户名和密码,与X509证书或类似的证书打交道等)的代码。这样一来就得对基础架构相当...
以下主要讲解了Hadoop的文件读写操作流程:读文件 读文件时内部工作机制参看下图:
客户端通过调用FileSystem对象(对应于HDFS文件系统,调用DistributedFileSystem对象)的open()方法来打开文件(也即图中的第一步),DistributedFileSystem通.....
分类:
其他好文 时间:
2014-04-30 13:39:04
阅读次数:
375
一、安装操作系统:windows7安装介质:postgresql-9.1.3-1-windows.exe二、psql控制台简单使用1打开psql2根据提示运行help3列出表命令三、安装uuid的扩展postgresql9.1.3默认没有安装uuid相关函数,虽然在目录C:\Program
File...
分类:
数据库 时间:
2014-04-29 13:36:52
阅读次数:
946
基于spring2.5的采用XML配置的spring
MVC项目注:本项目全部基于XML配置。同时,集成了hibernate。采用的是:spring MVC+hibernate+spring的开发架构。
1.建立web项目2.导入jar包(spring.jar, spring-webmvc.jar,...
分类:
编程语言 时间:
2014-04-29 10:35:45
阅读次数:
637
本文将基于hbase 0.98.1讲解其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:,转载请注明出处!1. 安装与配置1.1. 前置条件确保已经安装了hadoop并保证hadoop运行正常。关于hbase与hadoop的版本依赖关系,请参考: https://hbase.apache.org/book/configuration.html#hadoop 关于java...
分类:
其他好文 时间:
2014-04-27 21:33:59
阅读次数:
462
Hadoop从2.4.0版本开始支持hdfs的ACL,在CDH5.0当中也继承了该特性,下面对其进行一些测试:
一、启用ACL:
dfs.permissions.enabled
true
dfs.namenode.acls.enabled
true
二、测试ACL:
①
[hadoop@master ~]$ groups
hadoop
创建目录并上传文件:
[...
分类:
其他好文 时间:
2014-04-27 21:18:00
阅读次数:
306