本篇介绍两种HBase的安装方式：本地安装方式和伪分布式安装方式。
安装的前提条件是已经成功安装了hadoop，而且hadoop的版本要和hbase的版本相匹配。
我将要安装的hbase是hbase-0.94.11版本，需要的hadoop是hadoop-1.2.1版本。
hbase下载地址：http://mirror.bit.edu.cn/apache/hbase/hbase-0...
分类：
其他好文 时间：
2014-10-08 01:23:44
阅读次数：
279
一、快照机制snapshots简单在hbase上做个表做测试：hbase(main):044:0>scan‘student‘ROWCOLUMN+CELLnum1column=shuxing:name,timestamp=1412189531346,value=jaybingnum2column=shuxing:name,timestamp=1412189623682,value=jaychounum3column=shuxing:like,timestamp=14121..
分类：
其他好文 时间：
2014-10-05 11:43:28
阅读次数：
293
xml、json的优势，在与可以实现树形数据的存储；可以用来表达各种形式的信息；c/cpp的结构体，也可以用来保存各种形式的信息，在schema这一层，两者是等价的；而pb、thrift、avro-rpc等，都是使用紧凑的结构体来表达非紧凑的树形信息；这样，数据传输量更小，更快；所以，在不考虑资源占...
分类：
Web程序 时间：
2014-10-03 18:52:15
阅读次数：
241
起因：最近需要从hbase中向 ES中导一批数据，使用multiprocessing 启动多个程序同时向ES导数据，可以大大提高效率，因为导数的任务是可以按照时间分割的。
令我十分不解的，multiprocessing 是如何实现任务的分发，以及结果的回传的。我希望能够把它的实现机制与操作系统的进程机制对应起来。
经过阅读代码，得出的结论如下：
1. 父进程作为整个任务的分发器，每个worker是一个子进程
2. 子进程和父进程之间通过管道通讯，包括任务的分发和结果的回传（2个【管道】) ，管道通过【信号量...
分类：
其他好文 时间：
2014-10-03 13:57:04
阅读次数：
284
尤其在互联网世界，图计算越来越受到人们的关注，而图计算相关的软件也越来越丰富。本文将快速展示 Titan这个open source 的图数据库。...
分类：
数据库 时间：
2014-10-01 23:11:41
阅读次数：
525
HBase为可伸缩海量数据存储而设计，实现面向在线业务的实时数据访问延迟。HBase的伸缩性主要依赖其可分裂的HRegion及可伸缩的分布式文件系统HDFS实现。HBase中，数据以HRegion为单位进行管理，也就是说应用程序如果想要访问一个数据，必须先找到HRegion，然后将数据读写操作提..
分类：
其他好文 时间：
2014-10-01 00:39:00
阅读次数：
249
RPC作为一种特殊的网络编程，会封装一层传输层来支持底层的网络通信。Thrift使用了Transport来封装传输层，但Transport不仅仅是底层网络传输，它还是上层流的封装。
关于Transport的设计，从架构上看，IO流和网络流都是IO的范畴，用一个统一的接口来抽象并无不可，但是个人感觉看Thrift的代码时，都用的Transport来表示流，不知道是普通IO流还是底层的网络流。还不如...
分类：
其他好文 时间：
2014-09-30 17:15:29
阅读次数：
191
FrameBuffer是Thrift NIO服务器端的一个核心组件，它一方面承担了NIO编程中的缓冲区的功能，另一方面还承担了RPC方法调用的职责。
FrameBufferState定义了FrameBuffer作为缓冲区的读写状态
private enum FrameBufferState {
// in the midst of reading the fra...
分类：
其他好文 时间：
2014-09-30 16:21:19
阅读次数：
366
RPC调用本质上就是一种网络编程，客户端向服务器发送消息，服务器拿到消息之后做后续动作。只是RPC这种消息比较特殊，它封装了方法调用，包括方法名，方法参数。服务端拿到这个消息之后，解码消息，然后要通过方法调用模型来完成实际服务器端业务方法的调用。
这篇讲讲Thrfit的方法调用模型。Thrift的方法调用模型很简单，就是通过方法名和实际方法实现类的注册完成，没有使用反射机制，类加载机制。...
分类：
其他好文 时间：
2014-09-30 13:37:59
阅读次数：
234
需求
在推荐系统场景中，如果基础行为数据太少，或者过于稀疏，通过推荐算法计算得出的推荐结果很可能达不到要求的数量。
比如，希望针对每个item或user推荐20个item，但是通过计算只得到8个，剩下的12个就需要补全。
欢迎转载，请注明出处：
策略
数据补全的具体策略是：
补全时机：在挖掘计算结束后，挖掘结果导入HBase（最终web系...
分类：
数据库 时间：
2014-09-29 21:15:51
阅读次数：
295
