在本机上对线下HBase集群做了初步的写性能测试，下面对测试内容做详细说明。
批量写性能提升不少
线上应用最好是禁用buffer刷写功能的，即每一个Put一次RPC写，不过看到这种情况下写速度慢，考虑到机器、网络环境的差别的话，估计能上1K
启用buffer刷写功能的话，要避免未flush的put记录丢失。（HTable在close的时候最后是会自动flush，我们在写服务节点故障的时候也需要flush一次）
Rowkey哈希后性能有小量提升
Rowkey Hash之后对写性能的确有小量提升，但如果要...
分类：
其他好文 时间：
2014-06-19 10:16:00
阅读次数：
296
这里所说的在Java中执行Hive命令或HiveQL并不是指Hive Client通过JDBC的方式连接HiveServer（or HiveServer2）执行查询，而是简单的在部署了HiveServer的服务器上执行Hive命令。当然这是一个简单的事情，平常我们通过Hive做简单的数据分析实验的时候，都是直接进入Hive执行HiveQL，那我们为什么还要在程序中执行呢？
这里涉及到了一个问题，...
分类：
编程语言 时间：
2014-06-15 16:23:19
阅读次数：
301
Hive的TRANSFORM关键字提供了在SQL中调用自写脚本的功能，适合实现Hive中没有的功能又不想写UDF的情况。例如，按日期统计每天出现的uid数，通常用如下的SQLSELECT date, count(uid)FROM xxxGROUP BY date但是，如果我想在reduce阶段对每天...
分类：
其他好文 时间：
2014-06-15 09:03:50
阅读次数：
243
安装mysql (1)执行命令rpm -qa |grep mysql 查看mysql是否安装 删除linux上已经安装的mysql相关库信息。rpm -e xxxxxxx(查看的库名,可使用右键复制) --nodeps 执行命令rpm -qa |grep mysql 检查是否删除干净 (2)执行命令...
分类：
数据库 时间：
2014-06-14 12:13:32
阅读次数：
284
HBase分布式环境搭建一、前期环境安装概览IPHost
NameSoftwareNode192.168.23.128ae01JDK 1.7,
Zookeeper-3.4.5HMaster192.168.23.129ae02JDK 1.7,Zookeeper-3.4.5
HRegionServer1...
分类：
其他好文 时间：
2014-06-13 17:01:24
阅读次数：
142
----资源来自于官网教程
Simple Example Use Cases
MovieLens User Ratings
First, create a table with tab-delimited text file format:
CREATE TABLE u_data (
userid INT,
movieid INT,
rati...
分类：
其他好文 时间：
2014-06-11 06:32:36
阅读次数：
407
如果你指定了\n为sqoop导入的换行符，mysql的某个string字段的值如果包含了\n, 则会导致sqoop导入多出一行记录。有一个选项--hive-drop-import-delimsDrops \n, \r, and \01 from string fields when importing to Hive.这样\n \r 和\01都被自动删除，不会捣乱了。...
分类：
其他好文 时间：
2014-06-11 06:05:59
阅读次数：
310
阅读本文可以带着下面问题：1.HBase遇到问题，可以从几方面解决问题？2.HBase个别请求为什么很慢？你认为是什么原因？3.客户端读写请求为什么大量出错？该从哪方面来分析？4.大量服务端exception，一般原因是什么？5.系统越来越慢的原因是什么？6.Hbase数据写进去，为什么会没有了，可...
分类：
其他好文 时间：
2014-06-10 16:15:36
阅读次数：
185
新项目准备上HBase。HBase目前由组里某牛负责。本着学会使用HBase的目标，先阅读下HBase in Action，学习内容包括HBase基本实现原理，使用方法，Schema设计原则和实战等。借用Michael Stack（HBase Chair）的话，“At a highlevel, HBase is like theatomic bomb.
Its basic operation...
分类：
其他好文 时间：
2014-06-10 06:33:37
阅读次数：
328
