环境：
Unbunt 12.04
Hadoop 2.2.x
Sprak 0.9
Scala scala-2.9.0.final.tgz
步骤
1. 下载 scala
2. 解压scala，然后修改/etc/profile，添加如下
export SCALA_HOME=/home/software/scala-2.9.0.final
export PATH=$P...
分类：
其他好文 时间：
2014-06-05 11:52:46
阅读次数：
484
本文来自于NoSQLFan联合作者@koven2049，他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解，本文就是其在工作中对HBase的应用优化小结，分享给大家。
目 录 [ - ]
前言原因应用情况部署、运维和监控测试与发布改进和优化将来计划
前言
hbase是从 hadoop中分离出来的apache顶级开源项目。由...
分类：
其他好文 时间：
2014-06-05 08:43:04
阅读次数：
275
说明：类似于RDBMS中触发器，允许用户在region服务器上运行自己的代码，在客户端用户不用关心操作具体在哪进行使用场景：权限控制，回调函数(钩子函数)、扫描统计等主要类：observer和endpointobserver：类似触发器，回调函数在特定事件发生时执行endpoint：类似数据库存储过...
分类：
其他好文 时间：
2014-06-03 13:22:54
阅读次数：
229
Hadoop2.0是对Hadoop1.0全面升级，诞生了通用的计算框架YARN，很多计算框架或者应用程序不再基于传统的操作系统开发，而是基于YARN这个云操作系统。典型的代表是DAG计算框架Tez，当然还有一些其他知名的自运行的计算集群系统也在YARN上有开源版本，比如Storm-on-yarn，S...
分类：
其他好文 时间：
2014-06-03 13:09:44
阅读次数：
336
版权全部： zhe-jiang.he@hp.com
严禁转载！1.安装插件准备程序：eclipse-3.3.2（这个版本号的插件仅仅能用这个版本号的eclipse）hadoop-0.20.2-eclipse-plugin.jar
（在hadoop-0.20.2/contrib/eclipse-plu...
分类：
系统相关 时间：
2014-06-03 12:15:46
阅读次数：
414
触发region
flush的因素有很多，如手动触发，memstore压力触发，memstore到达限制触发，flush时间触发等。regionserver的flush由flush实际操作步骤为
1.获得region写锁，将region的所有store执行prepare，产生snapshort，释....
分类：
其他好文 时间：
2014-05-31 21:57:30
阅读次数：
317
Hbase的安装须要考虑Hadoop的版本号，即兼容性。有不足的希望能指出。下面考究官网得到的，关于hadoop版本号和hbase版本号可到下面网址中下载：http://mirror.bit.edu.cn/apache/hbaseHBase-0.92.xHBase-0.94.xHBase-0.96....
分类：
其他好文 时间：
2014-05-31 15:24:19
阅读次数：
377
本篇是本人在做一个大数据项目时，对于系统架构的一点总结，如何在保证存储量的情况下，又能保证数据的检索速度。
分类：
其他好文 时间：
2014-05-30 20:34:01
阅读次数：
405
写在前面前文：用python + hadoop streaming 编写分布式程序（一） --
原理介绍，样例程序与本地调试为了方便，这篇文章里的例子均为伪分布式运行，一般来说只要集群配置得当，在伪分布式下能够运行的程序，在真实集群上也不会有什么问题。为了更好地模拟集群环境，我们可以在mapred-...
分类：
编程语言 时间：
2014-05-30 14:56:56
阅读次数：
309
Hive是基于Hadoop的开源数据仓库工具，提供了类似于SQL的HiveQL语言，使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块，这一部分是用Hadoop中MapRed...
分类：
其他好文 时间：
2014-05-30 14:23:07
阅读次数：
409
