一、hbase简介HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为 Java。它是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,为 Hadoop 提供类似于BigTable 规模的服务。因此,它可以容错地存...
分类:
其他好文 时间:
2015-10-15 20:35:32
阅读次数:
388
注意:部署Kafka之前先部署环境JAVA、Zookeeper准备三台CentOS_6.5_x64服务器,分别是:IP: 192.168.0.249 dbTest249 Kafka ...
分类:
系统相关 时间:
2015-10-13 15:15:45
阅读次数:
258
当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题。为了解决这些性能压力带来问题,我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段,我们会遇到不同的问题,通过搭建不同的服务和架构来解决。W...
分类:
Web程序 时间:
2015-10-09 09:15:35
阅读次数:
356
转自:http://www.cnblogs.com/cswuyg/p/4355948.html1、count统计结果错误这是由于分布式集群正在迁移数据,它导致count结果值错误,需要使用aggregate pipeline来得到正确统计结果,例如:db.collection.aggregate([...
分类:
数据库 时间:
2015-10-08 11:43:05
阅读次数:
547
环境介绍:在这两种装备centos6.4(32位置)的server安装Hadoop-2.5.1分布式集群(2台机器,主要试验用。哈哈)。1.改动主机名和/etc/hosts文件1)改动主机名(非必要)vi /etc/sysconfig/networkHOSTNAME=XXX重新启动后生效。2)/et...
分类:
其他好文 时间:
2015-10-07 18:54:57
阅读次数:
281
原文链接 http://www.cnblogs.com/shengshengwang/p/4852927.html 还记得2.5年前就搭建好了Hadoop伪分布式集群,安装好Eclipse后运行成功了WordCount.java,然后学习Hadoop的步伐就变得很慢了,相信有很多小伙伴和我一样。自己...
分类:
其他好文 时间:
2015-10-03 13:12:57
阅读次数:
214
还记得2.5年前就搭建好了Hadoop伪分布式集群,安装好Eclipse后运行成功了WordCount.java,然后学习Hadoop的步伐就变得很慢了,相信有很多小伙伴和我一样。自己对MR程序(特指Hadoop 1.x版本)的工作过程一直都不是很清楚,现在重点总结一下,为MR编程打好基础。由于M....
分类:
其他好文 时间:
2015-10-03 00:57:22
阅读次数:
269
概论B KB MB GB TB PB EB ZB大数据的三大特征数量(Volume)种类(Variety)速度(Velocity)Apache Hadoop 黄色大象。Apache LuceneNutch 网页抓取、解析功能。大规模分布式集群。负载均衡。2003年Google两篇论文:...
分类:
其他好文 时间:
2015-09-30 11:07:46
阅读次数:
129
当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题。为了解决这些性能压力带来问题,我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段,我们会遇到不同的问题,通过搭建不同的服务和架构来解决。W...
分类:
Web程序 时间:
2015-09-27 09:54:32
阅读次数:
264