在过去,每个应用都是单个程序,跑在单一CPU的单一服务器上。现在不一样了。在大数据和云计算的世界里,应用都是由许多独立的程序运行在一组不断变化的机器上。 协调这些独立程序的行为比起单一程序来困难的多。这样很容易导致开发人员陷入协调的逻辑而没有时间来实现正确的应用逻辑,或者反过来,花很少的时...
分类:
其他好文 时间:
2014-07-16 21:20:54
阅读次数:
149
异地分布式部署方案应用环境异地部署方案适合以下情况的企业:1)公司有不同分支机构或较小的分散站点与公司总部的网络连接通常是低带宽、高滞后或不可靠的。2)公司总部网络无法处理中心位置的服务流量。3)分支机构有自己的服务器、企业网络、域控制器和系统管理员,包含数目不定的用户。4)用户要求有更快的邮箱访问...
分类:
其他好文 时间:
2014-07-16 19:38:51
阅读次数:
249
集群安装总览参见这里Zookeeper的配置 1,/etc/profile中加入zk的路径设置,见上面背景说明。 2,进入~/zk/conf目录,复制zoo_sample.cfg为zoo.cfg vim zoo.conftickTime=2000initLimit=10syncLimit=5dat....
分类:
其他好文 时间:
2014-07-14 23:08:46
阅读次数:
430
ZooKeeper Programmer's GuideDeveloping Distributed Applications that use ZooKeeperhttp://zookeeper.apache.org/doc/trunk/zookeeperProgrammers.htmlZooKe...
分类:
其他好文 时间:
2014-07-14 15:34:05
阅读次数:
208
启动后,访问:http://IP:1107/mdrill.jsp 蓝鲸任务即http:/IP:1107/topology.jsp 页面出现如下错误:HTTP ERROR 500Problem accessing /topology.jsp. Reason: KeeperErrorCode = ...
分类:
其他好文 时间:
2014-07-13 21:19:51
阅读次数:
447
普通的zk用法,如下写法:zk.Exists("/aaa", true);zk.Create(...);但是由于这些API会抛Zookeeper的Exception,比如ConnectionLossException, NoNodeException等,所以必须配合一堆try/catch的机制来ca...
分类:
Web程序 时间:
2014-07-12 00:58:19
阅读次数:
330
Hive学习路线图Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, C...
分类:
其他好文 时间:
2014-07-11 08:48:52
阅读次数:
291
通过HBase client访问HBase时,配置如下:Configuration conf = HBaseConfiguration.create();// Zookeeper地址 conf.set(HConstants.ZOOKEEPER_QUORUM, "master.hadoop");//....
分类:
其他好文 时间:
2014-07-07 00:38:13
阅读次数:
250
前言: Flume-ng是数据收集/聚合/传输的组件, Flume-ng抛弃了Flume OG原本繁重的zookeeper和Master, Collector, 其整体的架构更加的简洁和明了. 其基础组件就Agent进程, 内部又可以细分为Source, Channel, Sink三个组件, S.....
分类:
其他好文 时间:
2014-07-07 00:26:46
阅读次数:
355
本文简单介绍了ZooKeeper的基本知识。(1)概述①什么是ZooKeeper?Zookeeper是Google的Chubby一个开源的实现,是Hadoop的分布式协调服务它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等②Zookeeper的角色③为什么使用Zookeeper?大部分分..
分类:
其他好文 时间:
2014-07-03 14:02:30
阅读次数:
269