现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0
集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机,增加更多的slave只需重复slave部分的内容即可。系统版本:master:Ubuntu
12....
分类:
其他好文 时间:
2014-06-10 22:01:07
阅读次数:
423
flume-ng
是一个分布式,高可用的日志收集系统。主要用来将分布在不同服务器上的业务日志汇总在一个集中的数据存储中心一
安装与环境配置下载地址http://flume.apache.org/download.html,下载Apache Flume
binary至目标服务器解压运行环境java版本...
分类:
其他好文 时间:
2014-06-10 21:03:30
阅读次数:
451
最近项目用到了mongoDB,最近类似mongoDB的Nosql数据库也比较火爆,把这个写下来,便于自己回顾和大家学习.
在mongoDB中数据的关系是database,collection,document 放到关系型数据库里面就是库,表,数据.
1.在ubuntu下执行 sudo apt-get install mongo 安装mongo.
2.输入mongo进入数据...
分类:
数据库 时间:
2014-06-10 18:35:53
阅读次数:
333
网站系统的伸缩性架构最重要的技术手段就是使用服务器集群功能,通过不断地向集群中添加服务器来增强整个集群的处理能力。“伸”即网站的规模和服务器的
规模总是在不断扩大。...
分类:
Web程序 时间:
2014-06-10 14:42:54
阅读次数:
364
1HDFS概述HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成:Namenode管理文件系统的元数据,而Datanode存储
了实际的数据。本文档主要关注用户以及管理员怎样和HDFS进行交互。基本上,客户端联系Name...
分类:
其他好文 时间:
2014-06-10 12:40:13
阅读次数:
275
??
管理集群中的 crs 管理员
oracle Managing CRS Administrators in the Cluster
Use the following commands to manage CRS Administrators in the cluster:
The CRS Administrator is a predefined administrator role...
分类:
其他好文 时间:
2014-06-10 11:00:29
阅读次数:
238
一.HAProxy简介 HAProxy提供高可用性
、负载均衡以及基于TCP和HTTP应用的代理,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。
HAProxy运行在当前的硬件上,完全可以支持数以万计 的并发连接。并且....
一、大型网站系统特点 (1)高并发、大流量:PV量巨大 (2)高可用:7*24小时不间断服务
(3)海量数据:文件数目分分钟xxTB (4)用户分布广泛,网络情况复杂:网络运营商 (5)安全环境恶劣:黑客的攻击
(6)需求快速变更,发布频繁:快速适应市场,满足用户需求 (7)渐进式发展...
分类:
Web程序 时间:
2014-06-09 20:33:09
阅读次数:
346
(一)安装nginx前的准备
安装nginx需要安装openssl和pcre,具体安装步骤请参考nginx安装的相关博文(二)nginx和nginx-gridfs 联合编译安装
nginx-gridfs 源码下载(包含Mongo-C-Driver可用的下载链接):地址 http://files.cn...
分类:
其他好文 时间:
2014-06-09 20:17:39
阅读次数:
364
运行HBase时常会遇到个错误,我就有这样的经历。
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
检查日志:org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr...
分类:
其他好文 时间:
2014-06-08 03:02:50
阅读次数:
395