简介
文件浏览系统(ViewFs)提供了一个管理多个Hadoop文件系统命名空间(或者叫Namespace Volume)的方式。它对于有多个NameNode的联邦集群特别有用。ViewFs与Unix/Linux系统中client side mount tables类似。ViewFs可被用来创建个人命名空间视图,也可以每个集群一个公共的试图。
本指南描述了,在有多个集群的Hadoop系统中,每...
分类:
其他好文 时间:
2014-08-15 09:34:27
阅读次数:
286
OpenStackRabbitMQ集群管理手册目录第1章引言...11.1目的...11.2说明...11.3MQ..11.4概念...11.5MQ特点...21.6工作流程...21.7系统环境...3第2章RabbitMQ部署...42.1系统环境基本配置...42.2RabbitMA配置...42.3RabbitMQ集群配置...6第3章RabbitMQ集群验证...93.1Nova配置MQHA...
分类:
其他好文 时间:
2014-08-15 02:46:27
阅读次数:
459
最近Docker1.0稳定版发布了,这给paas注入新鲜的血液。Docker是一个功能强大的自动化分布式系统:大规模的Web部署、数据库集群、持续部署系统、私有PaaS、面向服务的体系结构等。Docker是一种增加了高级API的LinuXContainer(LXC)技术,提供了能够独立运行Unix进程的轻量级虚..
分类:
其他好文 时间:
2014-08-14 21:05:49
阅读次数:
269
这一节学习树状图的制作。树状图的制作和集群图完全相同,经过这两种 layout 转换后的数据也很相似。...
分类:
Web程序 时间:
2014-08-14 20:46:39
阅读次数:
303
Kafka 跨集群同步方案——Kafka内置的MirrorMaker工具该方案解决Kafka跨集群同步、创建Kafka集群镜像等相关问题,主要使用Kafka内置的MirrorMaker工具实现。Kafka镜像即已有Kafka集群的副本。下图展示如何使用MirrorMaker工具创建从源Kafka集群...
分类:
其他好文 时间:
2014-08-14 20:00:59
阅读次数:
283
一、集群启动过程--启动Master$SPARK_HOME/sbin/start-master.shstart-master.sh脚本关键内容:spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip $SPARK_MAST...
分类:
其他好文 时间:
2014-08-14 19:36:09
阅读次数:
387
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
这里我主要讲述我测试flume failover(容错)和load balance(负载均衡)的几个场景以及注意的点。...
分类:
其他好文 时间:
2014-08-14 16:48:08
阅读次数:
578
HDFS
HDFS是一个具有高度容错性的分布式文件系统,适合部署在廉价的机器上,它具有以下几个特点:
1)适合存储非常大的文件
2)适合流式数据读取,即适合“只写一次,读多次”的数据处理模式
3)适合部署在廉价的机器上
但HDFS不适合以下场景(任何东西都要分两面看,只有适合自己业务的技术才是真正的好技术):
1)不适合存储大量的小文件,因为受Namenode内...
分类:
其他好文 时间:
2014-08-14 16:46:28
阅读次数:
260
转自:http://blog.csdn.net/shaunfang/article/details/9091491 Azure为网站、云服务和虚拟机都提供了免费的负载均衡能力。关于负载均衡我们需要注意的一点就是它对Session的处理。一般来说,传统的负载均衡器有一种叫session粘滞(stick...
分类:
Web程序 时间:
2014-08-14 15:56:38
阅读次数:
194
安装sshHadoop是采用ssh进行通信的,此时我们要设置密码为空,即不需要密码登陆,这样免去每次通信时都输入秘密,安装如下:输入“Y”进行安装并等待自动安装完成。安装ssh完成后启动服务以下命令验证服务是否正常启动:可以看到ssh正常启动;设置免密码登录,生成私钥和公钥:在/root/.ssh中...
分类:
其他好文 时间:
2014-08-14 13:50:18
阅读次数:
879