环境：centos6.4X64192.168.2.20Master192.168.2.21Hadoop1192.168.2.22Hadoop2准备工作：1、安装基本开发工具：（所有服务器）yumgroupinstall"DevelopmentTools"-y2、设置IP和hostname映射关系（所有服务器）vi/etc/hosts修改内容如下192.168.2.20Master192.168.2.21Hadoop11..
分类：
其他好文 时间：
2015-01-09 01:48:11
阅读次数：
275
最近因为项目需要接触了kettle，需要为用户定制一些特定的转换。
下面记录一下自己的学习经历。
下载的kettle版本文件稳定版，从github上面下载 github不熟的朋友可以参考文章 如何更好的理解和使用Github
fork一个版本 然后clone in desktop
地址为 https://github.com/bigfishman/...
分类：
其他好文 时间：
2015-01-08 20:12:02
阅读次数：
322
http://www.tuicool.com/articles/VfEFjmNutch 2.x 与 Nutch 1.x 相比，剥离出了存储层，放到了gora中，可以使用多种数据库，例如HBase, Cassandra, MySql来存储数据了。Nutch 1.7 则是把数据直接存储在HDFS上。1....
分类：
其他好文 时间：
2015-01-08 11:16:36
阅读次数：
4606
Zookeeper是什么？ Zookeeper故名思议动物管理员，它是拿来管大象（Hadoop）、蜜蜂（Hive）、小猪（Pig）的管理员，Apache Hbase和Apache Solr以及LinkedIn sensei等项目都采用到了Zookeeper。Zookeeper是一个分布式的，开放源....
分类：
其他好文 时间：
2015-01-07 18:16:30
阅读次数：
131
最近学习HBase源码时发现HRegion在sotre管理上用到了跳表数据结构ConcurrentSkipListMap:
ConcurrentSkipListMap有几个ConcurrentHashMap
不能比拟优点：
1、ConcurrentSkipListMap
的key是有序的。
2、ConcurrentSkipListMap
支持更高的并发。...
分类：
其他好文 时间：
2015-01-07 13:08:24
阅读次数：
191
目录：1-HBase的安装2-Java操作HBase例子3-HBase简单的优化技巧4–存储5(集群) -压力分载与失效转发6 -白话MySQL(RDBMS)与HBase之间7 -安全&权限1-HBase的安装HBase是什么？HBase是Apache Hadoop中的一个子项目，Hbase依托于H...
分类：
其他好文 时间：
2015-01-07 00:35:53
阅读次数：
268
1、主要学习hadoop中的四大框架:hdfs、mapreduce、hive、hbase。这四大框架是hadoop最最核心的，学习难度最大的，也是应用最广泛的。2、熟悉了解hadoop基本知识及其所需要的知识例如java基础、linux环境、linux常用命令3、hadoop一些基本知识：hadoo...
分类：
其他好文 时间：
2015-01-06 15:21:31
阅读次数：
187
# (WJW)基于外部ZooKeeper的GlusterFS作为分布式文件系统的完全分布式HBase集群安装指南 --- ## [X] 前提条件 + 服务器列表: > `192.168.1.84 hbase84` #**hbase-master** > `192.168.1.85 hbase85` #**hbase-re...
分类：
其他好文 时间：
2015-01-06 13:56:18
阅读次数：
273
原创作品，出自 “深蓝的blog” 博客，欢迎转载，转载时请务必注明以下出处，否则追究版权法律责任。
深蓝的blog：
kettle内存溢出错误解决
环境：
源端数据库：oracle 10G R2
目标端数据库：oracle 11G R2
kettle版本：5.0.1-stable
报错：
抽取大数据量表时，报错，日志信息如下：
2015/01/05 11:27:42 -...
分类：
其他好文 时间：
2015-01-06 09:59:13
阅读次数：
252
以horntonworks给出推荐配置为蓝本，给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案，方案预留1-2G的内存给操作系统，分配4G给Yarn/MapReduce，当然也包括了HIVE，剩余的2-3G是在需要使用HBase时预留给HBase的。Configuration FileConfiguration SettingValue Calcula...
分类：
其他好文 时间：
2015-01-06 08:38:43
阅读次数：
160
