HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。1. 简介HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtab...
分类:
系统相关 时间:
2014-11-27 22:00:10
阅读次数:
291
本文翻译自hadoop官网的ResourceManager Restart一文,主要讲解了ResourceManager在遇到故障重启后而不影响重启前的应用程序的特性,以及如何配置ResourceManager重启...
分类:
其他好文 时间:
2014-11-27 16:29:15
阅读次数:
591
Docker是一个开源的应用容器引擎,可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。利用Linux的LXC、AUFS、Go语言、cgroup实现了资源的独立,可以很轻松的实现文件、资源、网络等隔离,其最终的目标是实现类似PaaS平台的应用隔离。Docker值得关注的特性:文..
分类:
其他好文 时间:
2014-11-26 19:11:06
阅读次数:
240
Hadoop家族系列文章, 主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra...
分类:
其他好文 时间:
2014-11-26 14:09:05
阅读次数:
352
安装docker首先准备源sudosh-c"echodebhttp://get.docker.io/ubuntudockermain>/etc/apt/sources.list.d/docker.list"sudoapt-getupdate安装sudoapt-getinstalllxc-docker提示,官方也提供了一个简单脚本帮助你安装,你可以用curl来获取这个脚本然后执行安装curl-shttps://g..
分类:
其他好文 时间:
2014-11-26 11:38:34
阅读次数:
178
网络参考资料https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/http://agapple.iteye.com/blog/1111377http://zookeeper.apache.org/doc/r3.3.2/zookeeperOver.htmlZookeeperGoogleChubby的开源实现用于协调分布式系统上的各种服务,例如确认消息是否准确到达..
分类:
其他好文 时间:
2014-11-26 06:46:20
阅读次数:
155
本例中主节点的主机名为的master,从节点的主机名分别是slave1,slave2,slave3,用户名为hadoop,使用的zookeeper版本为zookeeper3.4.5。在root下运行如下脚本可以实现Zookeeper集群的快速搭建。在安装之前确保主机之间能够相互通信,修改好主机名,本次试运行一个shall脚本完..
分类:
系统相关 时间:
2014-11-26 06:44:51
阅读次数:
323
I have had this issue as well. I believe it‘s because of a recent update to either boot2docker or Virtualbox. In any case, the solution is to just to temporarily route until it is fixed upstream. F...
分类:
其他好文 时间:
2014-11-25 23:59:51
阅读次数:
497
boot2docker 用的Vbox,所以用VBox的命令做NAT #先要停掉所有的容器 docker ps -a -q | xargs docker stop #停到boot2docker boot2docker stop #如果容器的端口是 8080的话 (docker -p 18080:8080) VBoxManage mo...
分类:
系统相关 时间:
2014-11-25 19:09:13
阅读次数:
183