码迷,mamicode.com
首页 >  
搜索关键字:hadoop 分布式    ( 35770个结果
Hadoop single Node cluster
目的:本文描述怎么安装和配置一个单结点的Hadoop,以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS);先决条件:支持的平台GNU/Linux 可用作开发和生产平台. Hadoop 在GNU/Linux clusters with 2000 no...
分类:其他好文   时间:2014-07-22 23:14:55    阅读次数:435
Git&GitHub学习日志
Git是一个开源的分布式版本控制系统,用以有效、高速的处理从很小到非常大的项目版本管理。Git是Linus Torvalds为了帮助管理Linux内核开发而开发的一个开放源码的版本控制软件。作为一个开源的分布式版本控制系统,用以有效、高速的处理从很小到非常大的项目版本管理,而且正变得越来越流行了。最...
分类:其他好文   时间:2014-07-22 23:10:54    阅读次数:338
Ganglia安装配置
基础配置:Hadoop 2.2.0,Hbase 0.96。四台集群机器,一台master,三台slave。三台slave上分别装gmond;namenode机器上设置datasource。客户端:安装wget:sudo yum -y install wget安装epel库: a) 下载epel r....
分类:其他好文   时间:2014-07-22 23:08:34    阅读次数:573
YCSB-0.1.3安装使用
1. 下载YCSB 0.1.3:wget https://github.com/brianfrankcooper/YCSB/archive/0.1.3.tar.gz2. 解压缩:tar zxvf 0.1.3.tar.gz3.安装ant:sudo yum install ant4.把hadoop和hb...
分类:其他好文   时间:2014-07-22 23:08:34    阅读次数:412
SolrCloud4.7.1分布式部署
一.环境软件:apache-tomcat-7.0.53.tar.gzsolr-4.7.1.tgzzookeeper-3.4.6.tar.gz规划:三个节点IP:192.168.50.9192.168.50.227192.168.20.32请配置每台机器上hosts文件,使每个节点都能通过机器名访问 ...
分类:其他好文   时间:2014-07-22 23:06:15    阅读次数:494
CentOS 6.4 64位 源码编译hadoop 2.2.0
CentOS 6.4 64位 源码编译hadoop 2.2.0搭建环境:Centos 6.4 64bit1、安装JDK参考这里2、安装mavenmaven官方下载地址,可以选择源码编码安装,这里就直接下载编译好的wget http://mirror.bit.edu.cn/apache/maven/m...
分类:其他好文   时间:2014-05-01 15:17:23    阅读次数:524
Hadoop的文件读写操作流程
以下主要讲解了Hadoop的文件读写操作流程:读文件 读文件时内部工作机制参看下图: 客户端通过调用FileSystem对象(对应于HDFS文件系统,调用DistributedFileSystem对象)的open()方法来打开文件(也即图中的第一步),DistributedFileSystem通.....
分类:其他好文   时间:2014-04-30 13:39:04    阅读次数:375
Hadoop 2.x 重新编译
本文记录Hadoop 2.x在Linux x64下重新编译的过程。环境:Centos 6.5 x64 &Hadoop 2.2一、安装编译包yum install svnyum install autoconfautomake libtool cmakeyum install ncurses-deve...
分类:其他好文   时间:2014-04-29 19:19:52    阅读次数:451
序列化与反序列化 - BinaryFormatter二进制(.dat)、SoapFormatter(.soap)、XmlSerializer(.xml)
序列化的作用是什么?为什么要序列化? 1、在进程下次启动时读取上次保存的对象的信息。 2、在不同的应用程序域或进程之间传递数据。 3、在分布式应用程序中的各应用程序之间传输对象。 所为序列化,就是将对象先转换为一种适当格式,然后再将其传输到目标位置的过程。 所为适当格式,有时候需要是二...
分类:其他好文   时间:2014-04-29 18:31:32    阅读次数:501
分布式数据库中间件–(2) Cobar与客户端的握手认证
Cobar启动完成,监听特定端口。整个认证的流程图:NIOAcceptor类继承自Thread类,该类的对象会以线程的方式运行,进行连接的监听。NIOAcceptor启动的初始化过程如下:1 、打开一个selector,获取一个ServerSocketChannel对象,对该对象的socket绑定特定的监听端口,并设置该channel为非阻塞模式,然后想selector注册该channel,绑定感...
分类:数据库   时间:2014-04-27 21:47:07    阅读次数:462
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!