这一章讲hbase的缓存机制,这里面涉及的内容也是比较多,呵呵,我理解中的缓存是保存在内存中的特定的便于检索的数据结构就是缓存。之前在讲put的时候,put是被添加到Store里面,这个Store是个接口,实现是在HStore里面,MemStore其实是它底下的小子。那它和Region
Server...
分类:
其他好文 时间:
2014-05-27 00:16:07
阅读次数:
376
近来做了一阵子程序性能的优化工作,有个比较有意思的想法,想提出来和大家交流一下。
Cache是“以空间换时间”策略的典型应用模式,是提高系统性能的一种重要方法。缓存的使用在大访问量的情况下能够极大的减少对数据库操作的次
数,明显降低系统负荷提高系统性能。相比页面的缓存,结果集是一种“原始数据”...
分类:
Web程序 时间:
2014-05-27 00:15:03
阅读次数:
370
Hadoop的核心处理模块是MapReduce,也是当前最流行的大数据处理架构之一。它能够将Hadoop数据存储无缝的融入到数据处理当中,使得它在操作上足够简单,功能上足够强大。MapReduce已经解决很多实际问题(从日志分析,到数据排序,到文本操作,到基于模式的搜索,到图像处理,到机器学习等等)...
分类:
其他好文 时间:
2014-05-27 00:14:28
阅读次数:
449
因为需要统计hbase中某个特定列不为空的行数,我寻思有没有支持直接用SQL查询的,查找了下,发现有两个可以支持:一个是apache
phoenix,一个是Cloudera的Impala。如果用Impala,需要使用Cloudera的hadoop发行版。
分类:
数据库 时间:
2014-05-26 22:02:35
阅读次数:
322
UML:CashSuper(父类) /// /// 2014-05-21 /// 超市商品收费 ///
public abstract class CashSuper { public abstract double AcceptCash(double...
分类:
其他好文 时间:
2014-05-26 21:25:47
阅读次数:
274
最近使用hive做一些etl工作,除了日常sql的编写,了解hadoop及hive的一些底层原理性质的东西包括调优非常有必要,一次hive调优就把原来的零散文件做了合并。首先记下hadoop常用的命令:(hadoop
fs -help列出全部)1,hadoop fs –fs [local | ]:声...
分类:
其他好文 时间:
2014-05-26 20:44:49
阅读次数:
308
hadoop环境的部署配置很费时间,有时候开发人员也不怎么关注。如何快速部署一个hadoop环境呢,我用shell脚本编写了一个小程序,可以完成这个功能。
分类:
其他好文 时间:
2014-05-26 20:42:07
阅读次数:
436
分布式框架:
Zookeeper与paxos算法一、zookeeper是什么官方说辞:Zookeeper 分布式服务框架是Apache Hadoop
的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。好抽象,我们...
分类:
其他好文 时间:
2014-05-26 16:37:39
阅读次数:
300
方案设计是性能测试中一个非常重要的环节,好的方案设计能够指导性能测试过程、规避性能测试中的盲点、避免性能测试盲目无序化等。性能测试方案中会涉及到以下几点:一、测试范围
一般会包括网络拓扑图、需要测试的特性、不需要测试的特性。二、测试准入准出准则三、业务模型 所选功能点策略以及业务占比描述等四...
分类:
其他好文 时间:
2014-05-26 15:43:54
阅读次数:
237
先前已经做了准备工作安装jdk什么的
接下来开始...
分类:
其他好文 时间:
2014-05-22 18:28:38
阅读次数:
296