Apache Phoenix 是 HBase 的 SQL 驱动。Phoenix 使得 HBase 支持通过 JDBC 的方式进行访问,并将你的 SQL 查询转成 HBase 的扫描和相应的动作。
兼容性:
Phoenix 2.x - HBase 0.94.x
Phoenix 3.x - HBase 0.94.x
Phoenix 4.x - HBase 0.98.1+...
分类:
其他好文 时间:
2014-09-13 00:50:44
阅读次数:
412
今天在hbase中创建快照的时候遇到了如下错误:
hbase(main):004:0> snapshot 'booking', 'booking-snapshot-20140912'
ERROR: org.apache.hadoop.hbase.snapshot.HBaseSnapshotException: Snapshot { ss=booking-snapshot-20140912 ta...
分类:
其他好文 时间:
2014-09-12 17:21:23
阅读次数:
876
分布式系统的现状,难以区分一个响应慢的节点和一个死掉的节点,所有的rpc流程都是基于timeout机制,我们期望更少的超时时间,则意味着有更高的误判率,误判的情况下hbase容错性虽然很好,但总要付出一些数据恢复的代价。 故障恢复主要牵涉到的组件有zk,hmaster namenode。zk承担锁....
分类:
其他好文 时间:
2014-09-12 16:47:23
阅读次数:
414
最近在做binlog日志采集同步到数据平台的事。刚开始需要借助sqoop将从库数据表数据初始化到hbase中,整个过程都需要自动化进行,尽量减少人为干预。但是,由于历史原因,线上存在两种字符集格式的数据库(表),而导入到hbase的数据我们需要统一采用utf-8格式存储。sqoop直接导入的话,没法控制中文字符转码工作。所以需要对sqoop源码进行简单改动支持这种方式。
大体思路是,通过定义一个...
分类:
数据库 时间:
2014-09-11 19:26:02
阅读次数:
573
1.程序的缓冲流,真是搞不明白 感觉有些 东东 不在对应的场景下 真的很难搞明白2.缓存 缓存到什么地方了 内存,,,?不同的web服务器,不同的操作系统,不同的浏览器 缓存都有写差异,这样一点都不好玩3. echo flush() ob_flush() ob_end_flush(); 各种流烦死了...
分类:
Web程序 时间:
2014-09-11 16:50:32
阅读次数:
187
其实对于我们一般理解的计算机内存,它算是CPU与计算机打交道最频繁的区域,所有数据都是先经过硬盘至内存,然后由CPU再从内存中获取数据进行处理,又将数据保存到内存,通过分页或分片技术将内存中的数据再flush至硬盘。那JVM的内存结构到底是如何呢?JVM做为一个运行在操作系统上,但又独立于os运行的...
分类:
其他好文 时间:
2014-09-11 09:35:31
阅读次数:
346
方法1: /** * 添加一行数据 * * @param tableName * 表名 * @param columnFamily * 列族名 * @param rowKey * ...
分类:
其他好文 时间:
2014-09-10 17:09:30
阅读次数:
493
一、Split触发条件
1、 有任一一个Hfile的大小超过默认值10G时,都会进行split
2、 达到这个值不在拆分,默认为int_max,不进行拆分
3、compaction时,如果compact的store的大小超过了,则进行split
4、 flush之前会检测区域中HStoreFile数目是否超过hbase.h...
分类:
其他好文 时间:
2014-09-10 10:52:00
阅读次数:
266
ob_start此函数将打开输出缓冲。当输出缓冲激活后,脚本将不会输出内容(除http标头外),相反需要输出的内容被存储在内部缓冲区中。内部缓冲区的内容可以用 ob_get_contents() 函数复制到一个字符串变量中。 想要输出存储在内部缓冲区中的内容,可以使用 ob_end_flush() ...
分类:
Web程序 时间:
2014-09-09 19:50:39
阅读次数:
189